Como funciona
p̄ = (xA+xB)/(nA+nB). z = (pB−pA)/√[p̄(1−p̄)(1/nA+1/nB)]. Valor-p bilateral = 2 × (1−Φ(|z|)).
Exemplo calculado
500/10.000 contra 600/10.000 dão 5% e 6%, lift de 20% e valor-p aproximado de 0,0019.
Premissas e limites
Exige pelo menos 10 conversões e 10 não conversões em cada grupo. Olhar repetidamente e parar ao atingir significância aumenta falsos positivos.
Referência do método: NIST: difference of proportions
Veja isso nos dados reais
ASO
Palavras-chave e posição na busca das lojas
Perguntas frequentes
Como usar calculadora de significância a/b?
Compare duas proporções com um teste z bilateral de taxa combinada e veja diferença, lift e valor-p aproximado.
Um resultado significativo garante que B é melhor?
Não. Verifique direção, tamanho do efeito, integridade da randomização e o horizonte planejado. Valor-p não é probabilidade de uma variante estar correta.
Preciso de cadastro e meus dados são enviados?
Não precisa de cadastro. Os cálculos rodam no navegador. Os números e textos preenchidos não entram nos eventos de analytics da ferramenta; apenas ID, idioma e ação são registrados.