2025-09-19 13:47:10 +03:00 | | | //+------------------------------------------------------------------+
|
| | | //| TesterHandler.mqh |
|
| | | //| Copyright 2024-2025, Yuriy Bykov |
|
| | | //| https://www.mql5.com/ru/users/antekov |
|
| | | //+------------------------------------------------------------------+
|
| | | #property copyright "Copyright 2024-2025, Yuriy Bykov"
|
| | | #property link "https://www.mql5.com/ru/users/antekov"
|
| | | #property version "1.07"
|
| | |
|
| | | #include "../Database/Database.mqh"
|
| | | #include "VirtualStrategy.mqh"
|
| | | //#include "VirtualFactory.mqh"
|
| | | #include "../Optimization/OptimizerTask.mqh"
|
| | |
|
| | | //+------------------------------------------------------------------+
|
| | | //| Класс для обработки событий оптимизации |
|
| | | //+------------------------------------------------------------------+
|
| | | class CTesterHandler {
|
| | | static string s_fileName; // Имя базы данных оптимизации
|
| | | static string s_frameFileName; // Имя файла для записи данных фрейма
|
| | | static void ProcessFrame(string values); // Обработка данных одиночного прохода
|
| | | static void ProcessFrames(); // Обработка пришедших фреймов
|
| | | static string GetFrameInputs(ulong pass); // Получение input-параметров прохода
|
| | |
|
| | | // Формирование SQL-запроса на вставку результатов прохода
|
| | | static string GetInsertQuery(string values, string inputs, ulong pass = 0);
|
| | | public:
|
| | | static int TesterInit(ulong p_idTask = 0, string p_fileName = NULL); // Обработка начала оптимизации в главном терминале
|
| | | static void TesterDeinit(); // Обработка завершения оптимизации в главном терминале
|
| | | static void TesterPass(); // Обработка завершения прохода на агенте в главном терминале
|
| | |
|
| | | static void Tester(const double OnTesterValue,
|
| | | const string params); // Обработка завершения прохода тестера для агента
|
| | |
|
| | | // Экспорт массива стратегий в заданную базу данных эксперта как новой группы стратегий
|
| | | static void Export(CStrategy* &p_strategies[], string p_groupName, string p_advFileName);
|
| | |
|
| | | static ulong s_idTask; // Идентификатор задачи оптимизации
|
| | | static ulong s_idPass; // Идентификатор текущего прохода оптимизации
|
| | | };
|
| | |
|
| | | string CTesterHandler::s_fileName = ""; // Имя базы данных оптимизации
|
| | | string CTesterHandler::s_frameFileName = "data.bin"; // Имя файла для записи данных фрейма
|
| | | ulong CTesterHandler::s_idTask = 0;
|
| | | ulong CTesterHandler::s_idPass = 0;
|
| | |
|
| | |
|
| | | //+------------------------------------------------------------------+
|
| | | //| Обработка начала оптимизации в главном терминале |
|
| | | //+------------------------------------------------------------------+
|
| | | int CTesterHandler::TesterInit(ulong p_idTask, string p_fileName) {
|
| | | // Устанавливаем идентификатор задачи
|
| | | s_idTask = p_idTask;
|
| | |
|
| | | s_fileName = p_fileName;
|
| | |
|
| | | // Открываем существующую базу данных
|
| | | DB::Connect(s_fileName);
|
| | |
|
| | | // Если открыть не удалось, то не запускаем оптимизацию
|
| | | if(!DB::IsOpen()) {
|
| | | return INIT_FAILED;
|
| | | }
|
| | |
|
| | | // Закрываем успешно открытую базу данных
|
| | | DB::Close();
|
| | |
|
| | | return INIT_SUCCEEDED;
|
| | | }
|
| | |
|
| | | //+------------------------------------------------------------------+
|
| | | //| Обработка завершения оптимизации в главном терминале |
|
| | | //+------------------------------------------------------------------+
|
| | | void CTesterHandler::TesterDeinit(void) {
|
| | | // Обрабатываем последние пришедшие от агентов фреймы данных
|
| | | ProcessFrames();
|
| | |
|
| | | // Закрываем график с советником, запущенным в режиме сбора фреймов
|
| | | ChartClose();
|
| | | }
|
| | |
|
| | | //+------------------------------------------------------------------+
|
| | | //| Обработка завершения прохода на агенте в главном терминале |
|
| | | //+------------------------------------------------------------------+
|
| | | void CTesterHandler::TesterPass(void) {
|
| | | // Обрабатываем поступившие от агента фреймы данных
|
| | | ProcessFrames();
|
| | | }
|
| | |
|
| | | //+------------------------------------------------------------------+
|
| | | //| Обработка завершения прохода тестера для агента |
|
| | | //+------------------------------------------------------------------+
|
| | | void CTesterHandler::Tester(double custom, // Пользовательский критерий
|
| | | string params // Описание параметров советника в текущем проходе
|
| | | ) {
|
| | | // Массив имён сохраняемых статистических характеристик прохода
|
| | | ENUM_STATISTICS statNames[] = {
|
| | | STAT_INITIAL_DEPOSIT,
|
| | | STAT_WITHDRAWAL,
|
| | | STAT_PROFIT,
|
| | | STAT_GROSS_PROFIT,
|
| | | STAT_GROSS_LOSS,
|
| | | STAT_MAX_PROFITTRADE,
|
| | | STAT_MAX_LOSSTRADE,
|
| | | STAT_CONPROFITMAX,
|
| | | STAT_CONPROFITMAX_TRADES,
|
| | | STAT_MAX_CONWINS,
|
| | | STAT_MAX_CONPROFIT_TRADES,
|
| | | STAT_CONLOSSMAX,
|
| | | STAT_CONLOSSMAX_TRADES,
|
| | | STAT_MAX_CONLOSSES,
|
| | | STAT_MAX_CONLOSS_TRADES,
|
| | | STAT_BALANCEMIN,
|
| | | STAT_BALANCE_DD,
|
| | | STAT_BALANCEDD_PERCENT,
|
| | | STAT_BALANCE_DDREL_PERCENT,
|
| | | STAT_BALANCE_DD_RELATIVE,
|
| | | STAT_EQUITYMIN,
|
| | | STAT_EQUITY_DD,
|
| | | STAT_EQUITYDD_PERCENT,
|
| | | STAT_EQUITY_DDREL_PERCENT,
|
| | | STAT_EQUITY_DD_RELATIVE,
|
| | | STAT_EXPECTED_PAYOFF,
|
| | | STAT_PROFIT_FACTOR,
|
| | | STAT_RECOVERY_FACTOR,
|
| | | STAT_SHARPE_RATIO,
|
| | | STAT_MIN_MARGINLEVEL,
|
| | | STAT_DEALS,
|
| | | STAT_TRADES,
|
| | | STAT_PROFIT_TRADES,
|
| | | STAT_LOSS_TRADES,
|
| | | STAT_SHORT_TRADES,
|
| | | STAT_LONG_TRADES,
|
| | | STAT_PROFIT_SHORTTRADES,
|
| | | STAT_PROFIT_LONGTRADES,
|
| | | STAT_PROFITTRADES_AVGCON,
|
| | | STAT_LOSSTRADES_AVGCON,
|
| | | STAT_COMPLEX_CRITERION
|
| | | };
|
| | |
|
| | | // Массив для значений статистических характеристик прохода в виде строк
|
| | | string stats[];
|
| | | ArrayResize(stats, ArraySize(statNames));
|
| | |
|
| | | // Заполняем массив значений статистических характеристик прохода
|
| | | FOREACH(statNames) stats[i] = DoubleToString(TesterStatistics(statNames[i]), 2);
|
| | |
|
| | | // Добавляем в него значение пользовательского критерия
|
| | | APPEND(stats, DoubleToString(custom, 2));
|
| | |
|
| | | // Объединяем статистические характеристики в строку
|
| | | string data = "";
|
| | | JOIN(stats, data, ",");
|
| | |
|
| | | // В описании параметров экранируем кавычки (на всякий случай на будущее)
|
| | | StringReplace(params, "'", "\\'");
|
| | |
|
| | | // Формируем строку с данными о проходе
|
| | | data = StringFormat("%d, %d, %s,'%s'",
|
| | | MQLInfoInteger(MQL_OPTIMIZATION),
|
| | | MQLInfoInteger(MQL_FORWARD),
|
| | | data, params);
|
| | |
|
| | | // Если это проход в рамках процесса оптимизации, то
|
| | | if(MQLInfoInteger(MQL_OPTIMIZATION)) {
|
| | | // Открываем файл для записи данных для фрейма
|
| | | int f = FileOpen(s_frameFileName, FILE_WRITE | FILE_TXT | FILE_ANSI);
|
| | |
|
| | | // Записываем описание параметров советника
|
| | | FileWriteString(f, data);
|
| | |
|
| | | // Закрываем файл
|
| | | FileClose(f);
|
| | |
|
| | | // Создаём фрейм с данными из записанного файла и отправляем его в главный терминал
|
| | | if(!FrameAdd("", 0, 0, s_frameFileName)) {
|
| | | PrintFormat(__FUNCTION__" | ERROR: Frame add error: %d", GetLastError());
|
| | | }
|
| | | } else {
|
| | | // Иначе это одиночный проход, вызываем метод добавления его результатов
|
| | | // в базу данных оптимизации (если она была задана)
|
| | | if (s_fileName != "") {
|
| | | CTesterHandler::ProcessFrame(data);
|
| | | }
|
| | | }
|
| | | }
|
| | |
|
| | | //+------------------------------------------------------------------+
|
| | | //| Экспорт массива стратегий в заданную базу данных эксперта |
|
| | | //| как новой группы стратегий |
|
| | | //+------------------------------------------------------------------+
|
| | | void CTesterHandler::Export(CStrategy* &p_strategies[], string p_groupName, string p_advFileName) {
|
| | | // Создаём объект задачи оптимизации
|
| | | COptimizerTask task(s_fileName);
|
| | | // Загружаем в него данные текущей задачи оптимизации
|
| | | task.Load(CTesterHandler::s_idTask);
|
| | |
|
| | | // Подключаемся к нужной базе данных эксперта
|
| | | if(DB::Connect(p_advFileName, DB_TYPE_ADV)) {
|
| | | string fromDate = task.m_params.from_date; // Дата начала интервала оптимизации
|
| | | string toDate = task.m_params.to_date; // Дата конца интервала оптимизации
|
| | |
|
| | | // Создаём запись для новой группы стратегий
|
| | | string query = StringFormat("INSERT INTO strategy_groups VALUES(NULL, '%s', '%s', '%s', NULL)"
|
| | | " RETURNING rowid;",
|
| | | p_groupName, fromDate, toDate);
|
| | | ulong groupId = DB::Insert(query);
|
| | |
|
| | | PrintFormat(__FUNCTION__" | Export %d strategies into new group [%s] with ID=%I64u",
|
| | | ArraySize(p_strategies), p_groupName, groupId);
|
| | |
|
| | | // Для каждой стратегии
|
| | | FOREACH(p_strategies) {
|
| | | CVirtualStrategy *strategy = p_strategies[i];
|
| | | // Формируем строку инициализации в виде группы из одной стратегии с нормирующим множителем
|
| | | string params = StringFormat("class CVirtualStrategyGroup([%s],%0.5f)",
|
| | | ~strategy,
|
| | | strategy.Scale());
|
| | |
|
| | | // Сохраняем её в базе данных эксперта с указанием нового идентификатора группы
|
| | | string query = StringFormat("INSERT INTO strategies "
|
| | | "VALUES (NULL, %I64u, '%s', '%s')",
|
| | | groupId, strategy.Hash(~strategy), params);
|
| | | DB::Execute(query);
|
| | | }
|
| | |
|
| | | // Закрываем базу данных
|
| | | DB::Close();
|
| | | }
|
| | |
|
| | | // TODO: Добавить сохранение группы в базу данных оптимизации
|
| | | }
|
| | |
|
| | | //+------------------------------------------------------------------+
|
| | | //| Формирование SQL-запроса на вставку результатов прохода |
|
| | | //+------------------------------------------------------------------+
|
| | | string CTesterHandler::GetInsertQuery(string values, string inputs, ulong pass) {
|
| | | return StringFormat("INSERT INTO passes "
|
| | | "VALUES (NULL, %d, %I64u, %s,\n'%s',\nNULL) RETURNING rowid;",
|
| | | s_idTask, pass, values, inputs);
|
| | | }
|
| | |
|
| | | //+------------------------------------------------------------------+
|
| | | //| Обработка данных одиночного прохода |
|
| | | //+------------------------------------------------------------------+
|
| | | void CTesterHandler::ProcessFrame(string values) {
|
| | | // Открываем базу данных
|
| | | DB::Connect(s_fileName);
|
| | |
|
| | | // Формируем SQL-запрос из полученных данных
|
| | | string query = GetInsertQuery(values, "", 0);
|
| | |
|
| | | // Выполняем запрос
|
| | | s_idPass = DB::Insert(query);
|
| | |
|
| | | // Закрываем базу данных
|
| | | DB::Close();
|
| | | }
|
| | |
|
| | |
|
| | | //+------------------------------------------------------------------+
|
| | | //| Обработка пришедших фреймов |
|
| | | //+------------------------------------------------------------------+
|
| | | void CTesterHandler::ProcessFrames(void) {
|
| | | // Открываем базу данных
|
| | | DB::Connect(s_fileName);
|
| | |
|
| | | // Переменные для чтения данных из фреймов
|
| | | string name; // Название фрейма (не используется)
|
| | | ulong pass; // Индекс прохода фрейма
|
| | | long id; // Идентификатор типа фрейма (не используется)
|
| | | double value; // Одиночное значение фрейма (не используется)
|
| | | uchar data[]; // Массив данных фрейма в виде массива символа
|
| | |
|
| | | string values; // Данные фрейма в виде строки
|
| | | string inputs; // Строка с именами и значениями параметров прохода
|
| | | string query; // Строка одного SQL-запроса
|
| | | string queries[]; // SQL-запросы на добавление записей в БД
|
| | |
|
| | |
|
| | | // Проходим по фреймам и читаем данные из них
|
| | | while(FrameNext(pass, name, id, value, data)) {
|
| | | // Переводим в строку массив символов, прочитанный из фрейма
|
| | | values = CharArrayToString(data);
|
| | |
|
| | | // Формируем строку с именами и значениями параметров прохода
|
| | | inputs = GetFrameInputs(pass);
|
| | |
|
| | | // Формируем SQL-запрос из полученных данных
|
| | | query = GetInsertQuery(values, inputs, pass);
|
| | |
|
| | | // Добавляем его в массив SQL-запросов
|
| | | APPEND(queries, query);
|
| | | }
|
| | |
|
| | | // Выполняем все запросы
|
| | | DB::ExecuteTransaction(queries);
|
| | |
|
| | | // Закрываем базу данных
|
| | | DB::Close();
|
| | | }
|
| | |
|
| | | //+------------------------------------------------------------------+
|
| | | //| Формирует строку с именами и значениями input-переменных прохода |
|
| | | //+------------------------------------------------------------------+
|
| | | string CTesterHandler::GetFrameInputs(ulong pass) {
|
| | | string params[]; // Массив описаний input-переменных
|
| | | uint count; // Количество input-переменных
|
| | | string inputs = ""; // Строка для результата
|
| | |
|
| | | if(FrameInputs(pass, params, count)) {
|
| | | // собираем оптимизируемые параметры и их значения
|
| | | for(uint i = 0; i < count; i++) {
|
| | | string name2value[];
|
| | | string delimeter = (i == count - 1 ? "" : ",");
|
| | | // Делим описание очередной input-переменной по символу '='
|
| | | int n = StringSplit(params[i], '=', name2value);
|
| | | if(n == 2) {
|
| | | // Получаем значение по имени в pvalue
|
| | | double pvalue, pstart, pstep, pstop;
|
| | | bool enabled = false;
|
| | | if(ParameterGetRange(name2value[0],
|
| | | enabled, pvalue, pstart, pstep, pstop)) {
|
| | | // Добавляем в выходную строку имя и значение input-переменной
|
| | | if(MathAbs(pvalue - (long) pvalue) < 1e-6) {
|
| | | // как целое число
|
| | | inputs += StringFormat("%s=%d%s", name2value[0], (long) pvalue, delimeter);
|
| | | } else {
|
| | | // как вещественное число
|
| | | inputs += StringFormat("%s=%.2f%s", name2value[0], pvalue, delimeter);
|
| | | }
|
| | | }
|
| | | }
|
| | | }
|
| | | }
|
| | | //PrintFormat(__FUNCTION__" | pass %d: %s", pass, inputs);
|
| | |
|
| | | return inputs;
|
| | | }
|
| | |
|
| | | //+------------------------------------------------------------------+
|