Test Bayesiano vs Frecuentista

Es importante entender las diferencias fundamentales entre ambos, en especial que cada metodología busca contestar preguntas distintas, y que por eso muchos argumentos brindados por los vendors sobre porque uno es mejor que el otro son erróneos

Ezequiel Boehler

19 minute read

Hace ya un tiempo que hay una tendencia en internet sobre una metodología distinta para experimentación, que para este artículo denominaremos “Test AB Bayesiano”. Digo distinta porque por lo general, casi todas las empresas que ofrecían herramientas y calculadoras para Tests AB se basaban en el método frecuentista, también conocido como Null Hypothesis Significance Testing, al que me voy a referir cómo NHST en este artículo.

Calculadora de AB Test y guia de uso

Cree una calculadora en Google Sheets para realizar Tests AB de tamaño de muestra fijo, desde su diseño hasta su evaluación de resultados. En esta nota pueden obtener el link a la misma y un video de como usarla.

Ezequiel Boehler

3 minute read

Existen muchas calculadoras para tests A/B en internet. Pero la mayoría no solo está en inglés, si no que además se centran solo en la evaluación de los resultados, sin tener en cuenta el diseño experimental detrás del mismo. Por último, los cálculos que utilizan suele estar escondidos dentro del código, lo que hace difícil tener un entendimiento claro de cómo llegó a sus resultados.

Toma de decisiones y experimentación

Utilizar la experimentación como reemplazo o justificación de la toma de decisiones está mal. ¿Como podemos hacer para acercarnos a decisiones data-driven?

Ezequiel Boehler

9 minute read

Hay un hecho recurrente en equipos que intentan tomar una cultura data-driven que está mal. Y este es cuando los mismos ponen la experimentación como el objetivo. A qué me refiero con esto? A que les importa más decir que “se experimentó”, que haber tomado una decisión informada, controlando por ciertos factores.

Hipótesis. Distintas opciones y cómo elegir la más adecuada.

No existe una sola hipótesis que sea la mejor para todos los casos de experimentación posibles. Conocer y entender las distintas alternativas nos permite ser más eficientes y certeros a la hora de reducir la incertidumbre para nuestras futuras decisiones.

Ezequiel Boehler

12 minute read

A la hora de hacer Tests de Hipótesis Nula, uno de los factores más importantes es seleccionar la hipótesis correcta. En posts anteriores explique que casi todos los valores resultantes de un test de hipótesis nula, como el p-value y los intervalos de confianza, solo pueden ser interpretados en relación a la hipótesis nula seleccionada.

Errores frequentes en Tests AB clásicos

Muchos equipos suelen cometer errores a al hora de hacer A/B Tests. Aquí encontraran una explicación de los que yo considero más frecuentes y sus efectos en la validez del experimento

Ezequiel Boehler

14 minute read

En mi primer posteo, que pueden encontrar acá , mencioné algunos errores comunes que los equipos cometen a la hora de hacer A/B tests. En este post voy a profundizar en algunos de estos errores. Mi objetivo es que ganen un mejor entendimiento de por qué el error es en efecto un error, y de qué forma altera o invalida la interpretación de resultados de ese experimento.