После 20 ставок стратегия показывает +18%. После 100 — +7%. После 300 — уходит в небольшой минус. А после 1000 снова оказывается прибыльной.
Какой из этих результатов считать настоящим?
Одна из главных проблем при оценке прогнозов на спорт — размер выборки. На короткой дистанции результат сильно зависит от случайности, поэтому даже высокая прибыль или впечатляющий Win Rate ещё мало говорят о реальном качестве стратегии.
- Что такое размер выборки в ставках
- Почему короткая дистанция обманывает
- Что можно понять по 100 ставкам
- Что меняется после 500–1000 ставок
- Почему результат всегда имеет погрешность
- Почему количество ставок нельзя оценивать без коэффициентов
- Почему ROI особенно нестабилен на короткой дистанции
- Что может показать CLV
- Когда большая выборка тоже бесполезна
- Как оценивать качество прогнозиста
- Какие цифры должны насторожить
- Главное
Что такое размер выборки в ставках
Размер выборки — это количество наблюдений, на основании которых мы пытаемся сделать вывод.
В ставках таким наблюдением обычно является отдельная ставка.
Если прогнозист дал 25 прогнозов, его статистика основана на выборке из 25 ставок.
Если стратегия протестирована на 3000 ставках, выборка составляет 3000 наблюдений.
На первый взгляд всё просто: чем больше ставок, тем надёжнее статистика. В общем случае это действительно так, но есть важный нюанс.
Количество ставок само по себе ещё не гарантирует качество данных.
1000 однотипных ставок по заранее установленным правилам могут быть гораздо полезнее для анализа, чем 3000 прогнозов, в которых постоянно менялись рынки, коэффициенты, размер ставки и способ отбора.
Почему короткая дистанция обманывает
Предположим, реальная вероятность выигрыша ставки составляет 55%.
Это не означает, что из первых 100 ставок обязательно выиграют ровно 55.
На практике результат может выглядеть так:
- 48 побед из 100;
- 53 победы из 100;
- 61 победа из 100;
- или любое другое близкое значение.
Причина — случайные колебания.
Даже если вероятность каждого исхода известна заранее, фактическая последовательность побед и поражений не обязана идеально повторять эту вероятность на короткой дистанции.
Именно это мы разбирали в статье Дисперсия в ставках.
Что можно понять по 100 ставкам
Сто ставок выглядят как приличная статистика. Но с точки зрения вероятности это всё ещё довольно короткая дистанция.
Возьмём стратегию с предполагаемой истинной проходимостью 55%.
Для упрощённой оценки стандартная ошибка доли рассчитывается так:
где:
- p — вероятность выигрыша;
- n — количество ставок.
Для 55% и 100 ставок:
Приблизительный 95%-й диапазон составляет около двух стандартных ошибок в каждую сторону.
То есть наблюдаемый Win Rate на такой дистанции вполне может отличаться от реального примерно на ±10 процентных пунктов.
Это очень широкий диапазон.
Поэтому результат вроде 60 побед из 100 может выглядеть впечатляюще, но сам по себе ещё не позволяет уверенно утверждать, что прогнозист действительно способен выигрывать 60% ставок в долгосрочной перспективе.
Что меняется после 500–1000 ставок
С ростом выборки влияние случайности уменьшается.
Для той же условной стратегии с реальной проходимостью 55% получаем примерно такую картину:
| Количество ставок | Стандартная ошибка | Приблизительный диапазон 95% |
|---|---|---|
| 100 | ≈ 5,0 п.п. | ≈ ±9,7 п.п. |
| 500 | ≈ 2,2 п.п. | ≈ ±4,4 п.п. |
| 1000 | ≈ 1,6 п.п. | ≈ ±3,1 п.п. |
| 5000 | ≈ 0,7 п.п. | ≈ ±1,4 п.п. |
Это упрощённая модель, в которой предполагается одинаковая вероятность для каждой ставки. Реальные ставки сложнее, потому что коэффициенты и вероятности постоянно меняются.
Но принцип хорошо виден: рост количества наблюдений постепенно сужает диапазон неопределённости.
Разница между 100 и 1000 ставками огромна. Разница между 10 000 и 10 900 — уже намного менее существенна.
Почему результат всегда имеет погрешность
Когда говорят: "Win Rate прогнозиста — 56%", число часто воспринимается как точная характеристика.
Но статистически корректнее мыслить иначе:
Мы получили 56% на определённой выборке и пытаемся оценить, насколько близко это значение к реальному долгосрочному результату.
Чем меньше выборка, тем больше неопределённость.
Например, два прогнозиста показывают одинаковый Win Rate 57%:
- первый — после 70 ставок;
- второй — после 4000 ставок.
Цифра одна и та же, но информационная ценность статистики совершенно разная.
Количество ставок нельзя оценивать без коэффициентов
Win Rate имеет смысл только вместе с коэффициентами.
Допустим, один прогнозист выигрывает 70% ставок, а другой — 40%.
По одной этой цифре невозможно сказать, чья стратегия прибыльнее.
Если первый в среднем ставит по коэффициенту 1.30, его точка безубыточности находится примерно на уровне:
При Win Rate 70% такая стратегия будет убыточной.
У второго прогнозиста средний коэффициент может быть 3.00.
Точка безубыточности:
И Win Rate 40% при таких коэффициентах уже может означать положительный результат.
Поэтому отдельно оценивать количество побед или процент проходимости нельзя.
Подробнее эту связь мы разбирали в статье Win Rate и прибыльность в ставках.
ROI особенно нестабилен на короткой дистанции
На короткой выборке ROI способен выглядеть фантастически.
Представим 20 ставок по 1000 ₽.
Общий оборот:
Если несколько крупных коэффициентов удачно сыграли и прибыль составила 6000 ₽:
ROI 30% выглядит очень сильным.
Но если эта прибыль появилась благодаря двум выигравшим ставкам с высокими коэффициентами, следующие несколько десятков результатов способны изменить показатель очень быстро.
По мере роста оборота влияние каждой отдельной ставки становится меньше.
Поэтому ROI на 30 ставках и ROI на 3000 ставках нельзя воспринимать одинаково, даже если цифра совпадает.
Что может показать CLV
Финансовый результат зависит не только от качества решения, но и от того, как завершились конкретные события.
Поэтому при небольшой выборке полезно смотреть не только на победы и поражения, но и на качество полученного коэффициента.
Для этого используют Closing Line Value — CLV.
Если прогнозист регулярно ставит по коэффициентам выше закрывающей линии рынка, это даёт дополнительную информацию, которой нет в одном только текущем ROI.
Например:
- ставка сделана по 2.10;
- перед началом события рынок закрылся на 1.90.
Сама ставка всё ещё может проиграть.
Но движение коэффициента показывает, что игрок получил более высокую цену, чем та, которую рынок сформировал позднее.
Подробнее: Closing Line Value (CLV): главный показатель качества ставки.
Когда большая выборка тоже бесполезна
Фраза "у меня статистика на 5000 ставок" звучит убедительно. Но перед выводами нужно понять, что именно входит в эти 5000 ставок.
Представим, что статистика состоит из:
- ставок на футбол;
- теннисных тоталов;
- экспрессов;
- live-ставок;
- ставок на фаворитов;
- андердогов;
- коэффициентов от 1.20 до 8.00;
- нескольких разных моделей прогнозирования.
Объединить всё это в одну цифру ROI можно, но аналитическая ценность такого показателя будет ограниченной.
Причина проста: внутри общей выборки находятся стратегии с разными характеристиками.
То же самое происходит, если методика менялась по ходу теста.
Например:
- первые 1000 ставок делались по одной модели;
- следующие 1000 — после изменения фильтров;
- затем изменился диапазон коэффициентов;
- позже добавились новые лиги.
Формально выборка большая. Но это уже не совсем одна и та же стратегия.
Как оценивать качество прогнозиста
Одного показателя недостаточно.
Для более полной оценки стоит смотреть сразу на несколько параметров.
1. Количество ставок
Чем больше наблюдений, тем меньше влияние отдельных случайных результатов.
2. Средний коэффициент
Без него Win Rate практически бессмыслен.
3. Win Rate
Его нужно сравнивать не с условными 50%, а с точкой безубыточности для реальных коэффициентов.
4. ROI
Показывает доходность относительно оборота, но особенно чувствителен к случайности на короткой дистанции.
5. Maximum Drawdown
Позволяет увидеть, насколько глубокие снижения результата происходили внутри общей статистики.
6. CLV
Помогает дополнительно оценивать качество полученных коэффициентов независимо от результата отдельного матча.
7. Стабильность метода
Важно понимать, действительно ли вся статистика относится к одной стратегии.
8. Полнота истории
Если публикуются только выигрышные прогнозы или часть неудачных ставок исчезает из истории, большая цифра "количество прогнозов" теряет смысл.
На BetsPro результаты прогнозов можно рассматривать вместе с общей статистикой, а не только по отдельным удачным событиям.
Посмотреть статистику прогнозов BetsPro →
Какие цифры должны насторожить
Не сама высокая доходность является проблемой. На короткой дистанции необычно высокий результат вполне возможен.
Вопрос в том, как этот результат представляют.
Например, осторожнее стоит относиться к выводам вроде:
- "Win Rate 80%" после 25 прогнозов;
- "ROI 40%" без указания количества ставок;
- "стратегия доказала прибыльность" после одного удачного месяца;
- "максимальная просадка всего 5%" на очень короткой истории;
- "5000 прогнозов", если невозможно увидеть исходные ставки;
- "70% проходимости" без среднего коэффициента.
Все эти цифры могут быть реальными. Проблема возникает, когда по ограниченной статистике делают слишком сильные выводы.
Главное
- Универсального числа ставок, после которого результат становится "достоверным", не существует.
- На короткой дистанции Win Rate и ROI сильно зависят от случайных колебаний.
- 100 ставок дают гораздо меньше информации, чем 1000, а 1000 — меньше, чем несколько тысяч.
- С ростом выборки статистическая погрешность постепенно уменьшается.
- Количество ставок нужно оценивать вместе со средним коэффициентом, Win Rate и ROI.
- CLV может давать дополнительную информацию о качестве решений ещё до того, как накоплена очень большая выборка.
- Большое количество ставок бесполезно, если внутри выборки смешаны совершенно разные стратегии.
- История прогнозов должна быть полной: без удаления неудачных результатов задним числом.
Поэтому вопрос "сколько ставок достаточно?" не имеет ответа в виде одного числа.
Чем больше последовательных и сопоставимых ставок накоплено, тем увереннее можно оценивать стратегию. Но настоящая картина появляется только тогда, когда количество наблюдений рассматривают вместе с коэффициентами, проходимостью, ROI, CLV, просадкой и тем, насколько стабильно применялась сама методика.