estadistica

Factores importantes a tener en cuenta cuando experimentamos

Cuando experimentamos estamos realizando inferencias y al hacerlo debemos considerar cómo la metodología que decidimos utilizar afecta a la validez interna y externa de la relación causal que queremos descubrir.

Ezequiel Boehler

10 minute read

En artículos anteriores estuve hablando sobre los beneficios de experimentar en nuestros productos digitales y en el negocio en general. También mencioné algunos errores frecuentes que se cometen al experimentar y cómo evitarlos. Sin embargo, todo eso siempre estuvo relacionado a experimentos de hipótesis nula aleatorios, mejor conocidos como Test A/B, donde la asignación es aleatoria y el tratamiento (un cambio en UX, en precio,etc) es introducido por nosotros mismos.

Test Bayesiano vs Frecuentista

Es importante entender las diferencias fundamentales entre ambos, en especial que cada metodología busca contestar preguntas distintas, y que por eso muchos argumentos brindados por los vendors sobre porque uno es mejor que el otro son erróneos

Ezequiel Boehler

19 minute read

Hace ya un tiempo que hay una tendencia en internet sobre una metodología distinta para experimentación, que para este artículo denominaremos “Test AB Bayesiano”. Digo distinta porque por lo general, casi todas las empresas que ofrecían herramientas y calculadoras para Tests AB se basaban en el método frecuentista, también conocido como Null Hypothesis Significance Testing, al que me voy a referir cómo NHST en este artículo.

Calculadora de AB Test y guia de uso

Cree una calculadora en Google Sheets para realizar Tests AB de tamaño de muestra fijo, desde su diseño hasta su evaluación de resultados. En esta nota pueden obtener el link a la misma y un video de como usarla.

Ezequiel Boehler

3 minute read

Existen muchas calculadoras para tests A/B en internet. Pero la mayoría no solo está en inglés, si no que además se centran solo en la evaluación de los resultados, sin tener en cuenta el diseño experimental detrás del mismo. Por último, los cálculos que utilizan suele estar escondidos dentro del código, lo que hace difícil tener un entendimiento claro de cómo llegó a sus resultados.