Deja de elegir al ganador de un test publicitario revisando los datos a diario

Mirar el panel de control no es una regla de decisión

No debe asumirse que una regla diseñada para una única evaluación final siga siendo válida si se reutiliza hasta obtener la respuesta deseada. El NIST analiza por qué las comparaciones reiteradas necesitan un procedimiento de comparación global adecuado. Las observaciones diarias de un test que acumula datos están correlacionadas, por lo que requieren su propio diseño; un método de comparaciones múltiples para otro entorno no sirve automáticamente como receta de pruebas secuenciales. Si las decisiones intermedias formales son importantes, define un método secuencial adecuado antes de observar los resultados.

Ilustración probabilística formativa, no una afirmación sobre tu panel diario: imagina veinte oportunidades de decisión independientes, cada una con un 5 % de probabilidad de falso positivo bajo sus supuestos. La probabilidad de al menos un falso positivo es 1 − 0,95^20, aproximadamente un 64 %. Las revisiones diarias de una misma campaña no son independientes, por lo que el 64 % no es su tasa de error real. La ilustración solo muestra por qué ofrecer repetidamente oportunidades para declarar un resultado cambia la pregunta en su conjunto.

Mantén registros independientes. Un registro operativo anota caídas del servicio, sobregastos frente a la exposición autorizada e inconsistencias de tratamiento. Un registro exploratorio anota variaciones interesantes en subgrupos sin tratarlas como confirmaciones. Un registro de decisiones documenta el punto final previsto, el resultado principal maduro, el método de comparación y la incertidumbre. Encontrar una nueva hipótesis durante la exploración es útil; probarla con las mismas observaciones seleccionadas a conveniencia no genera una confirmación independiente.

Las oportunidades reiteradas cambian la pregunta

• Preselecciona un resultado de negocio principal y un calendario de revisión. Un resultado que desaparece cuando cambia la métrica o el rango de fechas debe describirse como inestable, no como oculto.
• Mantén activas las condiciones de emergencia entre evaluaciones. Esperar a un análisis programado no exige tolerar una experiencia de usuario rota o una exposición no autorizada.
• Etiqueta los segmentos post hoc de forma explícita. Una región prometedora descubierta durante un test puede motivar otra prueba, pero no debería sustituir silenciosamente la pregunta original sobre la población completa.

Usa un calendario de evaluación

1. Redacta el plan de decisión y medición del experimento antes de que lleguen los resultados. Incluye el resultado principal, la unidad de asignación, la regla de madurez y el método de interpretación previsto.
2. Programa una evaluación formal en un punto final predefinido. Si es necesario revisar los datos más de una vez para tomar decisiones, acuerda un método que contemple esas revisiones en lugar de usar reiteradamente un criterio de prueba final no ajustado.
3. Asigna las comprobaciones diarias a la salud operativa: cobertura, entrega de tratamientos, disponibilidad de destinos y exposición observada. Haz que las acciones derivadas de incidentes sean distintas de la elección de un ganador.
4. Guarda las notas exploratorias con fechas y etiquetas claras. No amplíes, acortes ni segmentes el test solo porque haya aparecido una cifra favorable; documenta cualquier modificación justificada del protocolo.
5. En la evaluación, informa de todos los resultados predefinidos y las limitaciones pertinentes, incluido si el resultado no es concluyente. AdAce Ads puede aportar la evidencia almacenada disponible para su revisión en modo solo lectura; solicita una evaluación textual sin usar propose_change u otras escrituras de herramientas.

La monitorización debe seguir siendo posible

Fuentes y lecturas recomendadas

• NIST: procedimientos de comparación múltiple