Os testes A/B, também conhecidos como experimentos controlados online, têm sido amplamente utilizados por empresas orientadas por dados para orientar decisões e testar ideias inovadoras. Enquanto isso, a não estacionariedade, como o efeito da hora do dia, geralmente pode ocorrer em uma variedade de métricas de negócios. Mostramos que a resolução inadequada da não estacionaridade pode fazer com que os testes A/B sejam estatisticamente ineficazes ou inválidos, levando a conclusões errôneas. Para resolver esses problemas, estamos desenvolvendo um novo framework que fornece modelagem adequada e análise estatística adequada para testes A/B não estacionários. Sem alterar a infraestrutura para qualquer procedimento de teste A/B existente, propomos um novo estimador que vê o tempo como uma covariável contínua para realizar a pós-estratificação com vários níveis de estratificação dependentes da amostra. Provamos o teorema da fronteira central no regime de fronteira natural sob não estacionaridade, de modo que uma conclusão estatística válida de uma grande amostra está disponível. Mostramos que o estimador proposto alcança a variância assintótica ótima entre todas as estimativas. Quando a fase de projeto do experimento de teste A/B permite, propomos uma nova abordagem de randomização agrupada no tempo para alcançar um melhor equilíbrio nas tarefas de tratamento e controle na presença de não estacionariedade temporal. Uma breve visão geral dos experimentos numéricos ilustrando a análise teórica foi realizada.
window.fbAsyncInit = function() { FB.init({
appId : '1024652704536162',
xfbml : true, version : 'v2.9' }); };
(function(d, s, id){ var js, fjs = d.getElementsByTagName(s)[0]; if (d.getElementById(id)) {return;} js = d.createElement(s); js.id = id; js.src = "https://connect.facebook.net/en_US/sdk.js"; fjs.parentNode.insertBefore(js, fjs); }(document, 'script', 'facebook-jssdk'));