Backtesting: testar um método sem lhe mostrar o futuro

Um backtest aplica uma regra definida a dados históricos. O seu interesse depende menos da rapidez do que da capacidade de reproduzir a informação e as odds realmente disponíveis no momento da aposta.

Escrever a regra antes do teste

Precise as competições, os mercados, as horas de decisão, os critérios e os montantes. «Apostar quando encontrar valor» não é uma regra reproduzível. «Apostar se a probabilidade do modelo ultrapassar o limiar da odd segundo um critério fixado» pode sê-lo.

Guarde também as apostas recusadas. Mudar os critérios depois de ver os ganhos transforma o teste na procura de uma curva bonita.

Separar os períodos

Desenvolva num primeiro período, ajuste num segundo e avalie num período final intacto. Uma validação deslizante pode repetir esta lógica: aprender apenas com o passado e prever a janela seguinte.

Todas as transformações devem ser aprendidas nos dados de treino. Não calcule uma média da época com jogos que ainda não se tinham disputado na data da previsão.

Reproduzir a execução

Uma odd de fecho não estava necessariamente disponível quando a sua regra teria sido acionada. Registe preços com data e hora, comissões, recusas e regras de liquidação. Trate as anulações e os reembolsos em vez de os classificar como perdas.

Exemplo: em 100 apostas fixas de 10€ à odd 2,00, 54 vitórias dão 80€ de lucro e 8 % de ROI. Acrescentar 20€ de custos reduz o lucro para 60€, ou seja, 6 %. Os custos podem mudar a conclusão.

Ler vários indicadores

Apresente o volume, o lucro, o ROI, o drawdown, a distribuição das odds e a concentração dos ganhos. Um histórico muito bom depois de muitas tentativas exige uma nova validação em dados futuros.

As apostas em papel completam o backtest, ao revelarem atrasos e odds em falta. Não recriam perfeitamente a execução com dinheiro real.

Exemplo de divisão cronológica

O período de teste só serve uma vez. Se retocar a regra depois de o ver, passa a ser mais um período de ajuste, e é preciso esperar por dados novos para testar.

Lista de verificação de fugas de dados

• Uma classificação ou uma média calculadas com jogos posteriores à data da aposta.
• Odds de fecho usadas como preço de entrada quando a regra é acionada mais cedo.
• Onzes oficiais usados a uma hora em que ainda não tinham sido publicados.
• Uma amostra limitada às equipas que ainda hoje estão na liga (enviesamento de sobrevivência).

Erros frequentes

• Testar dezenas de variantes e ficar só com a melhor curva.
• Esquecer as apostas impossíveis: odds limitadas, mercados retirados, contas limitadas.
• Supor montantes infinitos em mercados pouco líquidos.

Pôr em prática com a SCANbet

Importe o seu histórico real em CSV ou Excel para comparar o que o backtest prometia com o que obteve de facto, e acompanhe a fase de teste numa bankroll separada. A calculadora de significância e o simulador Monte Carlo ajudam a avaliar se o resultado do teste final se distingue do ruído.

Perguntas frequentes

Quantas épocas são precisas para um backtest?

As suficientes para cobrir contextos diferentes (inícios e fins de época, mudanças de regras) e deixar um período final intacto. Duas a três épocas são frequentes, mas a qualidade das odds com data e hora conta mais do que a duração.

Que diferença há entre backtest e apostas em papel?

O backtest repete o passado; as apostas em papel aplicam a regra em tempo real, sem dinheiro. As segundas revelam os problemas de execução que o primeiro esconde.

O meu backtest é excelente: posso apostar forte?

Não. Um backtest excelente é, antes de mais, um resultado a confirmar. Comece pelas apostas em papel, depois com montantes reduzidos, e compare cada etapa com a anterior.

Recursos

Scikit-learn: divisão cronológica e armadilhas de validação (em inglês).

Continue com o acompanhamento sem dinheiro e os testes múltiplos.