Почему подборка удачных графиков ещё не проверяет модель

Представьте папку с десятью красивыми разворотами. На каждом изображении цена развернулась после похожей конструкции. Возникает соблазн сказать: «Модель работает в десяти случаях из десяти».

Но что было условием попадания в папку: появление конструкции или удачный исход? Если сначала выбирали сильные движения, а потом искали перед ними похожий рисунок, мы собрали иллюстрации. Частоту успеха модели такая папка не показывает.

Что осталось за пределами подборки

В архиве могли остаться похожие конструкции, после которых движение не началось. Могли быть случаи отмены сценария до подтверждения. Могли встретиться изображения, где нужные точки вообще нельзя уверенно прочитать. У этих ситуаций разные значения, но ни одну нельзя незаметно убрать только потому, что она портит красивую историю.

Условный пример: вы нашли 12 случаев, соответствующих заранее записанному описанию. В пяти условная цель достигнута раньше отмены, в четырёх раньше наступила отмена, в трёх исход пока нельзя определить. Показать только первые пять — значит скрыть основание сравнения. Запись «5 из 12 достигли цели; 4 отменены; 3 не определены» честнее. Это придуманные числа, а не статистика стратегии Николая.

Как собрать учебную подборку

Выберите один инструмент, один таймфрейм и конкретный непрерывный период. Запишите границы до просмотра результатов. Это рамка упражнения, а не универсальный размер выборки.

Опишите, что считается кандидатом на модель. Используйте только признаки, которые были доступны в тот момент. Если определения не хватает, сначала уточните его: нельзя подгонять правило под каждую новую картинку.

Просмотрите выбранный период последовательно. Сохраните все найденные кандидаты, включая те, которые выглядят неудобно для первоначальной идеи. Для каждого оставьте ссылку на исходник и причину включения.

Разделите этапы. «Кандидат обнаружен», «подтверждение получено» и «условная сделка завершена» — разные события. Отменённый до входа сценарий не превращается автоматически в убыточную сделку. Если считаете результаты именно сделок, отдельно задайте правила входа и выхода, расходы и состав знаменателя.

Не прячьте неопределённость. Нечитаемый график, отсутствие продолжения или две границы внутри одной свечи без установленного порядка — повод поставить «исход не определён». Объясните причину и не записывайте случай в победы.

Что делать, если хочется улучшить правило

Допустим, после просмотра неудачных случаев вы решили добавить фильтр. Это может быть полезной гипотезой, но получится новая версия правила. Сохраните прежнюю и отдельно перечислите изменение. Не пересчитывайте прошлую папку так, будто новый фильтр был известен с самого начала.

В работе Bailey, Borwein, López de Prado и Zhu о переобучении бэктестов показано, как перебор вариантов на одних исторических данных способен создавать убедительные результаты, которые плохо переносятся за пределы этих данных. Это исследование алгоритмического тестирования, а не проверка конкретной разворотной модели Николая. Для нашего упражнения вывод ограничен: удачно подобранная история сама по себе ещё не подтверждает устойчивость правила.

Практика без реальной сделки

Возьмите один непрерывный исторический участок и составьте список всех кандидатов по одному неизменному описанию. В конце ответьте на три вопроса: какие случаи попали в список, какие исключены и почему, что осталось неизвестным?

Если правило пришлось менять, пометьте новую версию и продолжайте её проверку на другом, ещё не использованном для настройки участке. Такая проверка тоже не гарантирует результат в будущем. Цель упражнения — сделать отбор прозрачным, а не получить красивый процент.

Хорошая учебная подборка помогает увидеть границы модели. В ней есть место и удачным примерам, и отменам, и честному «данных недостаточно».

Источник: David H. Bailey, Jonathan M. Borwein, Marcos López de Prado, Qiji Jim Zhu. Pseudo-Mathematics and Financial Charlatanism: The Effects of Backtest Overfitting on Out-of-Sample Performance. Версия от 1 апреля 2014 года, аннотация и раздел 1.

https://www.davidhbailey.com/dhbpapers/backtest-pseudo.pdf

Материал образовательный. Упражнение и числовой пример подготовлены редакционно; это не торговый сигнал, не опубликованная статистика и не новое правило авторской стратегии.

Исходная публикация на Boosty ↗