Um valor-p mede a probabilidade de obter um resultado pelo menos tão extremo como o observado se a hipótese nula e as restantes hipóteses do teste forem verdadeiras. Não dá a probabilidade de a sua estratégia ser má nem a de ter talento.

Definir o que está a testar

Tome 100 apostas independentes, todas à odd 2,00, sem comissões e com montante fixo. Para testar uma taxa de acerto superior a 50 %, escolha antecipadamente H0 : p = 0,50 contra H1 : p > 0,50.

Com 60 vitórias, o teste binomial exato unilateral dá cerca de 0,0284. O teste bilateral dá cerca de 0,0569. A aproximação normal sem correção dá ainda outro número, cerca de 0,0455 em bilateral. É preciso anunciar o método e o sentido do teste, não escolher depois o número mais favorável.

Interpretar sem extrapolar

Um resultado abaixo de um limiar escolhido é um argumento contra o modelo nulo sob as suas hipóteses. Não prova uma rentabilidade futura. Um resultado acima do limiar não prova a ausência de vantagem: o teste pode ter pouca potência.

Publique também o efeito observado, a sua incerteza, os montantes e o período. As odds variáveis e as apostas correlacionadas exigem um modelo adequado; testar todas as vitórias contra 50 % não serve para uma série de odds altas.

Controlar os testes múltiplos

Com 20 testes independentes ao limiar de 5 %, a probabilidade de pelo menos um falso positivo é 1 − 0,95^20 ≈ 64,15 %. Este valor supõe que os testes são independentes.

Defina as estratégias e os critérios antes da análise. Reserve um período posterior fora da amostra. Procurar o melhor desporto, casa de apostas e horário nos mesmos dados multiplica as ocasiões de encontrar um falso sinal.

Reproduzir o exemplo

from scipy.stats import binomtest
print(binomtest(60, 100, 0.5, alternative="greater").pvalue)
print(binomtest(60, 100, 0.5, alternative="two-sided").pvalue)

Exemplo com odds variáveis

Quando as odds variam, testa-se o rendimento médio em vez do número de vitórias. Tome 400 apostas à odd média 2,20 e um ROI observado de +4 %.

  • Desvio-padrão do rendimento de uma aposta a essa odd: cerca de 1,10 (ou seja, 110 % do montante).
  • Erro-padrão do ROI médio: 1,10 / √400 ≈ 5,5 pontos.
  • Estatística de teste: 4 / 5,5 ≈ 0,73, ou seja, um valor-p unilateral de cerca de 23 %.

Um ROI de +4 % em 400 apostas é, portanto, perfeitamente compatível com a ausência de vantagem. Com o mesmo rendimento real, seriam precisas cerca de 2 000 apostas para chegar ao limiar unilateral de 5 %. É a ordem de grandeza a ter em mente antes de anunciar um «tipster rentável».

Erros frequentes

  • Procurar o subconjunto que funciona (um desporto, um dia, um intervalo de odds) e testar depois esse subconjunto nos mesmos dados.
  • Ler «p < 0,05» como «95 % de probabilidade de ter vantagem». Não é isso que um valor-p mede.
  • Ignorar as apostas ligadas: três seleções no mesmo jogo não são três observações independentes.

Pôr em prática com a SCANbet

A calculadora de significância aplica este raciocínio aos seus próprios números. Nas suas estatísticas, dividir por desporto, casa de apostas ou dia da semana é útil para explorar, mas cada divisão multiplica os testes: confirme uma pista nas apostas seguintes antes de a transformar em regra.

Perguntas frequentes

Um valor-p de 0,03 significa 97 % de probabilidade de ter vantagem?

Não. Diz que um resultado pelo menos tão bom teria 3 % de probabilidade de aparecer se a vantagem fosse nula e o modelo do teste estivesse correto. A probabilidade de ter vantagem exige outro raciocínio, que depende também do que pensava antes.

Quantas apostas são precisas para concluir?

Depende da vantagem e das odds. À odd 2,20 e com +4 % de rendimento real, conte com cerca de 2 000 apostas para um sinal ao limiar de 5 %. Uma vantagem maior ou odds mais baixas exigem menos.

Pode aplicar-se este teste a um tipster?

Sim, com uma precaução: se escolheu esse tipster porque o histórico dele era bom, o passado dele está enviesado pela sua seleção. Teste antes as apostas posteriores à sua escolha.

Fontes e leituras

Declaração da American Statistical Association; documentação oficial do SciPy sobre o teste binomial (em inglês).

Complete com backtesting e valor e variância.