Testes A/B não estacionários – Amazon Science

By | Junho 10, 2022

Os testes A/B, também conhecidos como experimentos controlados online, têm sido amplamente utilizados por empresas orientadas por dados para orientar decisões e testar ideias inovadoras. Enquanto isso, a não estacionariedade, como o efeito da hora do dia, geralmente pode ocorrer em uma variedade de métricas de negócios. Mostramos que a resolução inadequada da não estacionaridade pode fazer com que os testes A/B sejam estatisticamente ineficazes ou inválidos, levando a conclusões errôneas. Para resolver esses problemas, estamos desenvolvendo um novo framework que fornece modelagem adequada e análise estatística adequada para testes A/B não estacionários. Sem alterar a infraestrutura para qualquer procedimento de teste A/B existente, propomos um novo estimador que vê o tempo como uma covariável contínua para realizar a pós-estratificação com vários níveis de estratificação dependentes da amostra. Provamos o teorema da fronteira central no regime de fronteira natural sob não estacionaridade, de modo que uma conclusão estatística válida de uma grande amostra está disponível. Mostramos que o estimador proposto alcança a variância assintótica ótima entre todas as estimativas. Quando a fase de projeto do experimento de teste A/B permite, propomos uma nova abordagem de randomização agrupada no tempo para alcançar um melhor equilíbrio nas tarefas de tratamento e controle na presença de não estacionariedade temporal. Uma breve visão geral dos experimentos numéricos ilustrando a análise teórica foi realizada.

Deixe uma resposta

O seu endereço de email não será publicado.