forked from antekov/Adwizard
//+------------------------------------------------------------------+
| |
//| TesterHandler.mqh |
| |
//| Copyright 2024-2025, Yuriy Bykov |
| |
//| https://www.mql5.com/ru/users/antekov |
| |
//+------------------------------------------------------------------+
| |
#property copyright "Copyright 2024-2025, Yuriy Bykov"
| |
#property link "https://www.mql5.com/ru/users/antekov"
| |
#property version "1.07"
| |
| |
#include "../Database/Database.mqh"
| |
#include "VirtualStrategy.mqh"
| |
//#include "VirtualFactory.mqh"
| |
#include "../Optimization/OptimizerTask.mqh"
| |
| |
//+------------------------------------------------------------------+
| |
//| Класс для обработки событий оптимизации |
| |
//+------------------------------------------------------------------+
| |
class CTesterHandler {
| |
static string s_fileName; // Имя базы данных оптимизации
| |
static string s_frameFileName; // Имя файла для записи данных фрейма
| |
static void ProcessFrame(string values); // Обработка данных одиночного прохода
| |
static void ProcessFrames(); // Обработка пришедших фреймов
| |
static string GetFrameInputs(ulong pass); // Получение input-параметров прохода
| |
| |
// Формирование SQL-запроса на вставку результатов прохода
| |
static string GetInsertQuery(string values, string inputs, ulong pass = 0);
| |
public:
| |
static int TesterInit(ulong p_idTask = 0, string p_fileName = NULL); // Обработка начала оптимизации в главном терминале
| |
static void TesterDeinit(); // Обработка завершения оптимизации в главном терминале
| |
static void TesterPass(); // Обработка завершения прохода на агенте в главном терминале
| |
| |
static void Tester(const double OnTesterValue,
| |
const string params); // Обработка завершения прохода тестера для агента
| |
| |
// Экспорт массива стратегий в заданную базу данных эксперта как новой группы стратегий
| |
static void Export(CStrategy* &p_strategies[], string p_groupName, string p_advFileName);
| |
| |
static ulong s_idTask; // Идентификатор задачи оптимизации
| |
static ulong s_idPass; // Идентификатор текущего прохода оптимизации
| |
};
| |
| |
string CTesterHandler::s_fileName = ""; // Имя базы данных оптимизации
| |
string CTesterHandler::s_frameFileName = "data.bin"; // Имя файла для записи данных фрейма
| |
ulong CTesterHandler::s_idTask = 0;
| |
ulong CTesterHandler::s_idPass = 0;
| |
| |
| |
//+------------------------------------------------------------------+
| |
//| Обработка начала оптимизации в главном терминале |
| |
//+------------------------------------------------------------------+
| |
int CTesterHandler::TesterInit(ulong p_idTask, string p_fileName) {
| |
// Устанавливаем идентификатор задачи
| |
s_idTask = p_idTask;
| |
| |
s_fileName = p_fileName;
| |
| |
// Открываем существующую базу данных
| |
DB::Connect(s_fileName);
| |
| |
// Если открыть не удалось, то не запускаем оптимизацию
| |
if(!DB::IsOpen()) {
| |
return INIT_FAILED;
| |
}
| |
| |
// Закрываем успешно открытую базу данных
| |
DB::Close();
| |
| |
return INIT_SUCCEEDED;
| |
}
| |
| |
//+------------------------------------------------------------------+
| |
//| Обработка завершения оптимизации в главном терминале |
| |
//+------------------------------------------------------------------+
| |
void CTesterHandler::TesterDeinit(void) {
| |
// Обрабатываем последние пришедшие от агентов фреймы данных
| |
ProcessFrames();
| |
| |
// Закрываем график с советником, запущенным в режиме сбора фреймов
| |
ChartClose();
| |
}
| |
| |
//+------------------------------------------------------------------+
| |
//| Обработка завершения прохода на агенте в главном терминале |
| |
//+------------------------------------------------------------------+
| |
void CTesterHandler::TesterPass(void) {
| |
// Обрабатываем поступившие от агента фреймы данных
| |
ProcessFrames();
| |
}
| |
| |
//+------------------------------------------------------------------+
| |
//| Обработка завершения прохода тестера для агента |
| |
//+------------------------------------------------------------------+
| |
void CTesterHandler::Tester(double custom, // Пользовательский критерий
| |
string params // Описание параметров советника в текущем проходе
| |
) {
| |
// Массив имён сохраняемых статистических характеристик прохода
| |
ENUM_STATISTICS statNames[] = {
| |
STAT_INITIAL_DEPOSIT,
| |
STAT_WITHDRAWAL,
| |
STAT_PROFIT,
| |
STAT_GROSS_PROFIT,
| |
STAT_GROSS_LOSS,
| |
STAT_MAX_PROFITTRADE,
| |
STAT_MAX_LOSSTRADE,
| |
STAT_CONPROFITMAX,
| |
STAT_CONPROFITMAX_TRADES,
| |
STAT_MAX_CONWINS,
| |
STAT_MAX_CONPROFIT_TRADES,
| |
STAT_CONLOSSMAX,
| |
STAT_CONLOSSMAX_TRADES,
| |
STAT_MAX_CONLOSSES,
| |
STAT_MAX_CONLOSS_TRADES,
| |
STAT_BALANCEMIN,
| |
STAT_BALANCE_DD,
| |
STAT_BALANCEDD_PERCENT,
| |
STAT_BALANCE_DDREL_PERCENT,
| |
STAT_BALANCE_DD_RELATIVE,
| |
STAT_EQUITYMIN,
| |
STAT_EQUITY_DD,
| |
STAT_EQUITYDD_PERCENT,
| |
STAT_EQUITY_DDREL_PERCENT,
| |
STAT_EQUITY_DD_RELATIVE,
| |
STAT_EXPECTED_PAYOFF,
| |
STAT_PROFIT_FACTOR,
| |
STAT_RECOVERY_FACTOR,
| |
STAT_SHARPE_RATIO,
| |
STAT_MIN_MARGINLEVEL,
| |
STAT_DEALS,
| |
STAT_TRADES,
| |
STAT_PROFIT_TRADES,
| |
STAT_LOSS_TRADES,
| |
STAT_SHORT_TRADES,
| |
STAT_LONG_TRADES,
| |
STAT_PROFIT_SHORTTRADES,
| |
STAT_PROFIT_LONGTRADES,
| |
STAT_PROFITTRADES_AVGCON,
| |
STAT_LOSSTRADES_AVGCON,
| |
STAT_COMPLEX_CRITERION
| |
};
| |
| |
// Массив для значений статистических характеристик прохода в виде строк
| |
string stats[];
| |
ArrayResize(stats, ArraySize(statNames));
| |
| |
// Заполняем массив значений статистических характеристик прохода
| |
FOREACH(statNames) stats[i] = DoubleToString(TesterStatistics(statNames[i]), 2);
| |
| |
// Добавляем в него значение пользовательского критерия
| |
APPEND(stats, DoubleToString(custom, 2));
| |
| |
// Объединяем статистические характеристики в строку
| |
string data = "";
| |
JOIN(stats, data, ",");
| |
| |
// В описании параметров экранируем кавычки (на всякий случай на будущее)
| |
StringReplace(params, "'", "\\'");
| |
| |
// Формируем строку с данными о проходе
| |
data = StringFormat("%d, %d, %s,'%s'",
| |
MQLInfoInteger(MQL_OPTIMIZATION),
| |
MQLInfoInteger(MQL_FORWARD),
| |
data, params);
| |
| |
// Если это проход в рамках процесса оптимизации, то
| |
if(MQLInfoInteger(MQL_OPTIMIZATION)) {
| |
// Открываем файл для записи данных для фрейма
| |
int f = FileOpen(s_frameFileName, FILE_WRITE | FILE_TXT | FILE_ANSI);
| |
| |
// Записываем описание параметров советника
| |
FileWriteString(f, data);
| |
| |
// Закрываем файл
| |
FileClose(f);
| |
| |
// Создаём фрейм с данными из записанного файла и отправляем его в главный терминал
| |
if(!FrameAdd("", 0, 0, s_frameFileName)) {
| |
PrintFormat(__FUNCTION__" | ERROR: Frame add error: %d", GetLastError());
| |
}
| |
} else {
| |
// Иначе это одиночный проход, вызываем метод добавления его результатов
| |
// в базу данных оптимизации (если она была задана)
| |
if (s_fileName != "") {
| |
CTesterHandler::ProcessFrame(data);
| |
}
| |
}
| |
}
| |
| |
//+------------------------------------------------------------------+
| |
//| Экспорт массива стратегий в заданную базу данных эксперта |
| |
//| как новой группы стратегий |
| |
//+------------------------------------------------------------------+
| |
void CTesterHandler::Export(CStrategy* &p_strategies[], string p_groupName, string p_advFileName) {
| |
// Создаём объект задачи оптимизации
| |
COptimizerTask task(s_fileName);
| |
// Загружаем в него данные текущей задачи оптимизации
| |
task.Load(CTesterHandler::s_idTask);
| |
| |
// Подключаемся к нужной базе данных эксперта
| |
if(DB::Connect(p_advFileName, DB_TYPE_ADV)) {
| |
string fromDate = task.m_params.from_date; // Дата начала интервала оптимизации
| |
string toDate = task.m_params.to_date; // Дата конца интервала оптимизации
| |
| |
// Создаём запись для новой группы стратегий
| |
string query = StringFormat("INSERT INTO strategy_groups VALUES(NULL, '%s', '%s', '%s', NULL)"
| |
" RETURNING rowid;",
| |
p_groupName, fromDate, toDate);
| |
ulong groupId = DB::Insert(query);
| |
| |
PrintFormat(__FUNCTION__" | Export %d strategies into new group [%s] with ID=%I64u",
| |
ArraySize(p_strategies), p_groupName, groupId);
| |
| |
// Для каждой стратегии
| |
FOREACH(p_strategies) {
| |
CVirtualStrategy *strategy = p_strategies[i];
| |
// Формируем строку инициализации в виде группы из одной стратегии с нормирующим множителем
| |
string params = StringFormat("class CVirtualStrategyGroup([%s],%0.5f)",
| |
~strategy,
| |
strategy.Scale());
| |
| |
// Сохраняем её в базе данных эксперта с указанием нового идентификатора группы
| |
string query = StringFormat("INSERT INTO strategies "
| |
"VALUES (NULL, %I64u, '%s', '%s')",
| |
groupId, strategy.Hash(~strategy), params);
| |
DB::Execute(query);
| |
}
| |
| |
// Закрываем базу данных
| |
DB::Close();
| |
}
| |
| |
// TODO: Добавить сохранение группы в базу данных оптимизации
| |
}
| |
| |
//+------------------------------------------------------------------+
| |
//| Формирование SQL-запроса на вставку результатов прохода |
| |
//+------------------------------------------------------------------+
| |
string CTesterHandler::GetInsertQuery(string values, string inputs, ulong pass) {
| |
return StringFormat("INSERT INTO passes "
| |
"VALUES (NULL, %d, %I64u, %s,\n'%s',\nNULL) RETURNING rowid;",
| |
s_idTask, pass, values, inputs);
| |
}
| |
| |
//+------------------------------------------------------------------+
| |
//| Обработка данных одиночного прохода |
| |
//+------------------------------------------------------------------+
| |
void CTesterHandler::ProcessFrame(string values) {
| |
// Открываем базу данных
| |
DB::Connect(s_fileName);
| |
| |
// Формируем SQL-запрос из полученных данных
| |
string query = GetInsertQuery(values, "", 0);
| |
| |
// Выполняем запрос
| |
s_idPass = DB::Insert(query);
| |
| |
// Закрываем базу данных
| |
DB::Close();
| |
}
| |
| |
| |
//+------------------------------------------------------------------+
| |
//| Обработка пришедших фреймов |
| |
//+------------------------------------------------------------------+
| |
void CTesterHandler::ProcessFrames(void) {
| |
// Открываем базу данных
| |
DB::Connect(s_fileName);
| |
| |
// Переменные для чтения данных из фреймов
| |
string name; // Название фрейма (не используется)
| |
ulong pass; // Индекс прохода фрейма
| |
long id; // Идентификатор типа фрейма (не используется)
| |
double value; // Одиночное значение фрейма (не используется)
| |
uchar data[]; // Массив данных фрейма в виде массива символа
| |
| |
string values; // Данные фрейма в виде строки
| |
string inputs; // Строка с именами и значениями параметров прохода
| |
string query; // Строка одного SQL-запроса
| |
string queries[]; // SQL-запросы на добавление записей в БД
| |
| |
| |
// Проходим по фреймам и читаем данные из них
| |
while(FrameNext(pass, name, id, value, data)) {
| |
// Переводим в строку массив символов, прочитанный из фрейма
| |
values = CharArrayToString(data);
| |
| |
// Формируем строку с именами и значениями параметров прохода
| |
inputs = GetFrameInputs(pass);
| |
| |
// Формируем SQL-запрос из полученных данных
| |
query = GetInsertQuery(values, inputs, pass);
| |
| |
// Добавляем его в массив SQL-запросов
| |
APPEND(queries, query);
| |
}
| |
| |
// Выполняем все запросы
| |
DB::ExecuteTransaction(queries);
| |
| |
// Закрываем базу данных
| |
DB::Close();
| |
}
| |
| |
//+------------------------------------------------------------------+
| |
//| Формирует строку с именами и значениями input-переменных прохода |
| |
//+------------------------------------------------------------------+
| |
string CTesterHandler::GetFrameInputs(ulong pass) {
| |
string params[]; // Массив описаний input-переменных
| |
uint count; // Количество input-переменных
| |
string inputs = ""; // Строка для результата
| |
| |
if(FrameInputs(pass, params, count)) {
| |
// собираем оптимизируемые параметры и их значения
| |
for(uint i = 0; i < count; i++) {
| |
string name2value[];
| |
string delimeter = (i == count - 1 ? "" : ",");
| |
// Делим описание очередной input-переменной по символу '='
| |
int n = StringSplit(params[i], '=', name2value);
| |
if(n == 2) {
| |
// Получаем значение по имени в pvalue
| |
double pvalue, pstart, pstep, pstop;
| |
bool enabled = false;
| |
if(ParameterGetRange(name2value[0],
| |
enabled, pvalue, pstart, pstep, pstop)) {
| |
// Добавляем в выходную строку имя и значение input-переменной
| |
if(MathAbs(pvalue - (long) pvalue) < 1e-6) {
| |
// как целое число
| |
inputs += StringFormat("%s=%d%s", name2value[0], (long) pvalue, delimeter);
| |
} else {
| |
// как вещественное число
| |
inputs += StringFormat("%s=%.2f%s", name2value[0], pvalue, delimeter);
| |
}
| |
}
| |
}
| |
}
| |
}
| |
//PrintFormat(__FUNCTION__" | pass %d: %s", pass, inputs);
| |
| |
return inputs;
| |
}
| |
| |
//+------------------------------------------------------------------+
|