O que é um teste A / A e você realmente precisa usá-lo?

O que é um teste A / A e você realmente precisa usá-lo?

O que é pior do que trabalhar sem dados?

Trabalhar com dados “ruins”.

Como profissionais de marketing, adoramos testar títulos, frases de chamariz e palavras-chave (para citar alguns). Uma das maneiras de fazer isso é executando testes A / B.

Para relembrar, o teste A / B é o processo de dividir um público para testar uma série de variações de uma campanha e determinar qual tem melhor desempenho.

Mas o teste A / B não é infalível.

Na verdade, é um processo complicado. Frequentemente, você precisa confiar no software de teste para extrair os dados e há uma grande probabilidade de receber um falso positivo. Se você não tiver cuidado, poderá fazer suposições incorretas sobre o que faz as pessoas clicarem.

Então, como você pode garantir que seu teste A / B está operando corretamente? É aqui que entra o teste A / A. Pense nisso como um teste para o teste.

O que é um teste A / A?

Um teste envolve conduzir dois ou mais grupos de pessoas a versões idênticas de um determinado conteúdo. Em vez de descobrir um aumento nas conversões, o objetivo é não encontrar nenhuma diferença entre o controle e as variações.

A ideia por trás de um testeé que a experiência seja a mesma para cada grupo, portanto, o KPI (Indicador Chave de Desempenho) esperado também será o mesmo para cada grupo.

Por exemplo, se 20% do grupo A preencher um formulário em uma página de destino, o resultado esperado é que 20% do grupo B (que está interagindo com uma versão idêntica da página de destino) fará o mesmo.

Diferenças entre um teste A / A e um teste A / B

A realização de um teste A / A é semelhante a um teste A / B; um público é dividido em dois grupos de tamanhos semelhantes, mas em vez de direcionar cada grupo para diferentes variações de conteúdo, cada grupo interage com versões idênticas do mesmo conteúdo.

Aqui está outra maneira de pensar sobre isso: você já ouviu a expressão “Comparando maçãs com laranjas”? Um teste A / B faz exatamente isso – compara duas variantes diferentes de um determinado conteúdo para ver qual tem melhor desempenho. Um teste A / A compara uma maçã com, bem, uma maçã idêntica.

Ao executar um teste A / B, você programa uma ferramenta de teste para alterar ou ocultar alguma parte do conteúdo. Isso não é necessário para um teste A / A.

Um teste A / A também requer um tamanho de amostra maior do que um teste A / B para provar um viés significativo. E, devido ao grande tamanho da amostra, esses testes demoram muito mais para serem concluídos.

Como fazer um teste A / A

Exatamente como você faz um A / A irá variar dependendo da ferramenta de teste que você usa. 

Vamos cobrir as etapas para executar um teste.

1. Crie duas versões idênticas de um conteúdo – o controle e a variante.

Depois que seu conteúdo for criado, identifique dois grupos do mesmo tamanho de amostra com os quais você gostaria de conduzir o teste.

2. Identifique seu KPI.

Um KPI é uma medida de desempenho durante um período de tempo. Por exemplo, seu KPI pode ser o número de visitantes que clicam em uma frase de chamariz.

3. Usando sua ferramenta de teste, divida seu público igualmente e aleatoriamente e envie um grupo para o controle e o outro grupo para a variante.

Execute o teste até que o controle e a variação atinjam um determinado número de visitantes.

4. Rastreie o KPI para ambos os grupos.

Como os dois grupos são enviados para partes de conteúdo idênticas, eles devem se comportar da mesma forma. Portanto, o resultado esperado será inconclusivo.

Usos de teste A / A

O teste é usado principalmente quando uma organização implementa um novo software de teste A / B ou reconfigura o atual.

Você pode executar um teste para realizar o seguinte:

1. Para verificar a precisão de um software de teste A / B.

O resultado pretendido de um teste é que o público reaja de maneira semelhante ao mesmo conteúdo.

Mas e se não o fizerem?

Aqui está um exemplo: a empresa XYZ está executando um teste em uma nova página de destino. Dois grupos são enviados para duas versões idênticas da página de destino (o controle e a variante). O Grupo A tem uma taxa de conversão de 8%, enquanto o Grupo B tem uma taxa de 2%.

Em teoria, a taxa de conversão deve ser idêntica. Quando não houver diferença entre o controle e a variante, o resultado esperado será inconclusivo. No entanto, às vezes um “vencedor” é declarado em duas versões idênticas.

Quando isso acontece, é fundamental avaliar a plataforma de teste. A ferramenta pode ter sido configurada incorretamente ou pode ser ineficaz.

2. Para definir uma taxa de conversão de linha de base para testes A / B futuros.

Vamos imaginar que a Empresa XYZ execute outro teste na página de destino. Desta vez, os resultados do Grupo A e do Grupo B são idênticos – ambos os grupos alcançam uma taxa de conversão de 8%.

Portanto, 8% é a taxa de conversão da linha de base. Pensando nisso, a empresa pode realizar futuros testes A / B com o objetivo de superar esse índice.

Se, por exemplo, a empresa executa um teste A / B em uma nova versão da página de destino e recebe uma taxa de conversão de 8,02%, o resultado não é estatisticamente significativo.

Teste A / A: Você realmente precisa usá-lo?

Fazer ou não um teste – essa é a questão. E a resposta vai depender de quem você perguntar. Não há como negar que o teste é um tópico muito debatido.

Talvez o argumento mais prevalente contra o teste se reduza a um fator: o tempo.

O teste leva um tempo considerável para ser executado. Na verdade, os testes A / A normalmente requerem um tamanho de amostra muito maior do que os testes A / B. Ao testar duas versões idênticas, você precisa de um tamanho de amostra grande para provar um viés significativo. Portanto, o teste levará mais tempo para ser concluído e isso pode consumir o tempo gasto na execução de outros testes valiosos.

No entanto, faz sentido executar um teste A / A em alguns casos, especialmente se você não tiver certeza sobre um novo software de teste A / B e quiser uma prova adicional de que ele é funcional e preciso. Os testes A / A são um método de baixo risco para garantir que seus testes sejam configurados corretamente.

Embora os testes A / A tenham utilidade, a execução de tais testes deve ser uma ocorrência relativamente rara. Embora o teste possa executar uma “verificação de integridade” em uma nova ferramenta ou software A / B, pode não valer a pena otimizar cada pequena alteração em seu site ou campanha de marketing devido ao tempo considerável que leva para ser executado.

Gostou deste conteúdo? Receba esses conteúdos gratuitamente por e-mail se inscrevendo em nosso Newsletter.

Fonte: hubspot