CRO · Guía 2026 + calculadoraA/B testing: qué es, cómo hacerlo y cuánta muestra necesitas
Hipótesis con evidencia, tamaño de muestra, duración, p-valor bien leído y errores que invalidan un test. Con calculadora gratis.
Felipe Meza CorredoiraRespuesta corta
El A/B testing es un experimento controlado: repartes al azar a tus visitantes entre la versión actual (A) y una variante (B) y mides si el cambio causa una diferencia en una métrica de negocio. Sirve solo si defines antes la hipótesis, la muestra y la regla de decisión.
- Calcula la muestra antes de lanzar, no durante.
- Corre semanas completas y no te detengas al primer resultado “significativo”.
- Decide con margen de contribución, no solo con tasa de conversión.
En esta guía
- Qué es un A/B test
- Cuándo testear y cuándo no
- De la hipótesis al test
- Métricas y finanzas
- Tamaño de muestra y potencia
- Calculadora A/B
- Duración y estacionalidad
- Significancia y p-valor
- Errores que invalidan un test
- A/B, A/B/n, multivariante y bayesiano
- Herramientas
- Documentar y decidir
- Poco tráfico
Qué es un A/B test y qué pregunta responde
Un test A/B (prueba A/B o split test) asigna al azar a cada visitante a la versión de control (A) o a una variante (B) durante el mismo periodo. Como solo cambia la versión, la diferencia en la métrica se atribuye al cambio, con una incertidumbre que la estadística cuantifica.
La pregunta es causal: ¿este cambio, por sí solo, mueve la métrica que me importa? Un antes/después no lo responde. Si cambias el checkout en noviembre y las ventas suben, pudo ser el checkout, el Cyber Day o una campaña nueva. La asignación aleatoria reparte esas causas por igual entre A y B.
Así se separan tres niveles de evidencia: hipótesis (sin comprobar), resultado observado (hay otras causas posibles) y efecto incremental (comparación causal, con su intervalo). Dentro de un proceso de optimización de conversiones, el A/B testing es la etapa de experimentar, no la de investigar.
Cuándo SÍ conviene hacer un test A/B y cuándo no
Testea cuando hay duda real sobre el efecto, el cambio tiene riesgo de bajar ventas y tienes tráfico para detectar un efecto que valga la pena. No testees bugs, cambios obligatorios por ley ni páginas con muy pocas conversiones: ahí corriges, cumples o investigas con métodos cualitativos.
Sí conviene
Precio, despacho, oferta o ficha de producto, donde un error cuesta caro.
Cambios que pueden mover la métrica en ambas direcciones: menos campos puede subir leads y bajar su calidad.
Páginas con cientos de conversiones por semana.
No conviene
Bugs: un botón que no funciona en Safari se arregla, no se testea.
Cambios legales: información al consumidor o precios con impuestos se implementan igual.
Poco tráfico: si la muestra tarda meses, el test no termina o termina mal.
Pregúntate qué efecto mínimo haría rentable el cambio: ese es tu efecto mínimo detectable.
De la hipótesis al test: cómo hacer un A/B test paso a paso
Un test vale lo que vale su hipótesis: si nace de una opinión, aunque gane no sabrás por qué.
Encuentra el problema con evidencia
Mide el embudo de conversión por etapa y dispositivo, y observa con mapas de calor y grabaciones. Un mapa de calor muestra dónde pasa algo, no por qué.
Formula la hipótesis completa
“Como observamos X, creemos que el cambio Y hará que el segmento Z haga W, y lo mediremos con la métrica M”. Si no puedes completarla, falta investigación.
Define métricas y regla de decisión
Métrica primaria, guardrails, α, potencia y efecto mínimo detectable, por escrito antes de lanzar.
Calcula muestra y duración
Con la calculadora de esta guía. Si pasa de 8 semanas, replantea el test.
Implementa y haz QA
Navegadores, dispositivos, eventos iguales en A y B y sin parpadeo visible (flicker).
Ejecuta sin tocar y decide
Durante el test revisa solo su salud: errores, reparto (SRM) y guardrails. Al completar la muestra, analiza el efecto con su intervalo y documenta.
Métrica primaria, guardrails y métricas en finanzas
La métrica primaria es la que decide el test y debe estar ligada al negocio: compras, leads calificados o ingresos por visitante. Las guardrails son métricas que no deben empeorar, como ticket promedio, devoluciones o errores. Una variante que sube la tasa de conversión puede bajar el margen de contribución si lo logra con descuentos.
La tasa de conversión es la primaria más común porque tiene mucha muestra, pero no es la que paga las cuentas. En ecommerce importa la contribución por sesión: conversión × ticket promedio (AOV) × margen. En leads, el lead que llega a cliente.
Por 1.000 sesiones. A: 2,4 % × 48.900 CLP × margen 34 % = 399.024 CLP. B: 2,7 % × 45.300 CLP × 28,5 % = 348.584 CLP. B gana en conversión y pierde dinero.
Si la contribución tiene demasiada varianza para ser primaria, úsala como guardrail obligatoria. En leads, la guardrail es la calidad (lead calificado), que a veces se conoce semanas después. Otras: devoluciones, errores de JavaScript, LCP y reparto del tráfico (SRM).
Tamaño de muestra, efecto mínimo detectable (MDE) y potencia
El tamaño de muestra depende de cuatro cosas: la tasa de conversión base, el efecto mínimo detectable (MDE), el nivel de significancia (α) y la potencia (1 − β). Con conversión de 3 %, MDE relativo de 10 %, α de 5 % bilateral y potencia de 80 %, necesitas unas 53.211 sesiones por variante.
El MDE no es el efecto que esperas, sino el mínimo que haría rentable el cambio. La potencia es la probabilidad de detectarlo si existe: con 80 %, uno de cada cinco efectos reales de ese tamaño pasa inadvertido. El α es la tasa de falsos positivos que aceptas. La calculadora usa la aproximación normal para dos proporciones:
El MDE es lo que más pesa: reducirlo a la mitad multiplica la muestra por casi cuatro.
Calculado con la fórmula de arriba y verificado con scipy. Valores redondeados hacia arriba.
Más de dos variantes: corrección de Bonferroni
Cada variante extra es otra oportunidad de falso positivo. La calculadora divide α por las comparaciones contra el control (variantes − 1). Con A, B y C, α baja a 2,5 % por comparación y la muestra sube de 53.211 a 64.439 por variante. Es conservadora; con Holm o Šidák la cifra cambia un poco.
Calculadora de A/B testing: muestra, duración y significancia
Antes de lanzar, calcula muestra y días; al terminar, evalúa p-valor, intervalo de confianza y reparto. Todo se calcula en tu navegador: no se envían ni guardan datos.
Calculadora A/B
Gratis · sin registroTamaño de muestra y duración
Antes de lanzar. Usa la conversión de la página que testearás, no la del sitio.
Resultado del test
Al completar la muestra. Prueba z bilateral, IC 95 % y control de reparto 50/50.
Aproximación normal: con menos de 10 conversiones por grupo no es confiable.
Cuánto debe durar un test A/B: duración y estacionalidad
Divide la muestra total por el tráfico diario elegible y redondea hacia arriba a semanas completas, con un mínimo de una a dos semanas aunque la muestra se complete antes. Así capturas el ciclo semanal de compra. Evita que el test cruce eventos atípicos como Cyber Day, Black Friday o una campaña masiva sin planificarlo.
En el ejemplo (106.422 sesiones, 2.500 diarias) son 43 días; en semanas completas, 49. Cortar un martes sobrerrepresenta algunos días. Si la compra se decide en dos semanas (muebles, B2B), un test de una semana mide la reacción, no la compra.
Los tests muy largos también fallan por cookies borradas y cambios de campañas. En Chile, un test que cruza Cyber Day mezcla visitantes con otra sensibilidad al precio: no lances tests esas semanas o analiza el evento como segmento definido antes.
Significancia estadística y p-valor: qué son y qué no son
El p-valor es la probabilidad de observar una diferencia igual o mayor que la medida si en realidad no hubiera diferencia entre A y B. Un resultado es estadísticamente significativo cuando el p-valor queda bajo α, por ejemplo 0,05. No mide la probabilidad de que B sea mejor ni el tamaño del efecto.
“95 % de confianza” no es “95 % de probabilidad de que la variante gane”. Describe el procedimiento: en muchos experimentos sin efecto real, solo un 5 % daría falsos positivos. La declaración de la American Statistical Association sobre p-valores (2016) lo dice explícito: el p-valor no mide la probabilidad de que la hipótesis sea cierta ni el tamaño de un efecto.
Malinterpretaciones comunes
- “p = 0,03 es 97 % de probabilidad de que B sea mejor”. Falso: eso requiere un análisis bayesiano con supuestos previos.
- “No significativo es que no hay efecto”. Falso: puede ser menor que tu MDE o faltar potencia.
- “Significativo es importante”. Falso: con muestra enorme, 0,05 puntos pueden ser significativos y no pagar el cambio.
- “El lift observado es el que tendré”. Rara vez: los ganadores tienden a sobreestimar su efecto.
Por eso la calculadora entrega el intervalo de confianza: en el ejemplo, de +0,06 a +0,74 puntos porcentuales. Compáralo con lo que cuesta el cambio.
Errores que invalidan un test A/B
Mirar el resultado y detenerse antes (peeking)
Parar cuando el p-valor cruza 0,05 infla los falsos positivos. Evan Miller lo mostró en “How Not To Run an A/B Test” (2010): si miras un experimento diez veces, lo que crees que es 1 % de significancia en realidad es 5 %. Fija la muestra antes o usa métodos secuenciales.
Sample ratio mismatch (SRM)
Si configuraste 50/50 y recibes 52/48 con miles de usuarios, falla la asignación: redirecciones, bots, una variante que se cae en un navegador. Microsoft encontró SRM en cerca de 6 % de sus experimentos de un año (Fabijan et al., KDD 2019). Con SRM el resultado no es confiable; la calculadora lo revisa con chi-cuadrado y alerta si p < 0,01.
Efecto novedad
Los recurrentes reaccionan a lo nuevo por ser nuevo: compara nuevos vs recurrentes.
Múltiples métricas y variantes
Con 20 métricas y α de 5 %, esperas un falso positivo aunque no haya efecto. Fija la primaria y los segmentos antes; lo que encuentres después es hipótesis para el próximo test.
Contaminación y cambios a mitad de test
Un usuario ve A en el celular y B en el computador, o ventas atiende distinto a los leads de B. Cambiar reparto, diseño o campañas a mitad de camino reinicia el experimento.
Revisamos diseño, medición y regla de decisión en un programa CRO con experimentación, o partimos con una auditoría.
Test A/B vs A/B/n vs multivariante vs split URL vs bayesiano
El test A/B compara dos versiones. El A/B/n agrega más variantes y necesita más muestra. El multivariante combina varios elementos a la vez y exige mucho tráfico. El split URL compara páginas en URLs distintas. El enfoque bayesiano no es un tipo de diseño, sino otra forma de analizar el resultado.
| Tipo | Qué compara | Tráfico necesario | Cuándo usarlo |
|---|---|---|---|
| A/B | Control vs una variante | Base | Un cambio con hipótesis clara |
| A/B/n | Control vs dos o más variantes | Mayor (α corregido) | Varias soluciones a un problema |
| Multivariante | Combinaciones de elementos (titular × imagen × CTA) | Muy alto | Alto tráfico e interacciones entre elementos |
| Split URL | Páginas en URLs distintas | Igual que A/B | Rediseños o cambios de plantilla |
| A/A | Control vs sí mismo | Igual que A/B | Validar la herramienta y detectar SRM |
| Bayesiano | Mismo diseño, otro análisis (probabilidad posterior) | Similar a A/B | Hablar de probabilidad de ganar con supuestos explícitos |
El enfoque bayesiano sí entrega una “probabilidad de que B sea mejor”, pero depende de la distribución previa y no corrige un mal diseño.
En split URL, la guía de Google para pruebas de sitios web pide rel="canonical" hacia la URL original, redirecciones 302, nada de cloaking y retirar el test apenas termina.
Herramientas de A/B testing en 2026
Las plataformas más usadas son VWO (de Wingify), Optimizely, AB Tasty, Convert y Kameleoon. Difieren en editor visual, tests en servidor, motor estadístico (frecuentista, bayesiano o secuencial) e integraciones.
Google Optimize ya no existe. Según el aviso oficial de Google, Optimize y Optimize 360 dejaron de estar disponibles el 30 de septiembre de 2023; Google nombra a AB Tasty, Optimizely y VWO entre sus integraciones de terceros.
GA4 no hace A/B testing por sí solo. No asigna usuarios al azar ni sirve variantes; puede recibir la variante como dimensión para analizar. Si no confías en tus eventos, empieza por Data & Analytics.
Cómo documentar y decidir después del test
Cada test termina con una de tres decisiones: mantener la variante, revertir al control o seguir investigando. La decisión depende del intervalo de confianza, las guardrails y el impacto en contribución, no solo del p-valor. Documenta hipótesis, evidencia, resultado y decisión para que el aprendizaje sobreviva al equipo.
Mantener
Intervalo que excluye cero, guardrails sanas y contribución que no empeora.
Revertir
Efecto negativo, guardrails dañadas o SRM. Registra por qué falló la hipótesis.
Seguir investigando
Intervalo que cruza cero o segmentos contradictorios. Vuelve a investigar con una pregunta más precisa.
Registro mínimo: evidencia, hipótesis, capturas de A y B, regla de decisión, fechas, muestra, resultado con intervalo y decisión. Mira cómo documentamos una decisión CRO en un ejemplo ilustrativo de checkout en nuestra página de servicio.
Qué hacer si no tienes tráfico suficiente para testear
Si la muestra necesaria tarda más de dos meses, no hagas un A/B test en esa página. Investiga con métodos cualitativos, corrige problemas evidentes, testea solo cambios grandes en las páginas de más tráfico y mide antes y después con cautela, declarando que es un resultado observado y no un efecto causal.
La mayoría de los sitios en Chile y LATAM no tiene tráfico para testear cambios pequeños. Eso no impide optimizar; cambia el método:
- Investigación cualitativa: grabaciones, encuestas en página, entrevistas y pruebas de usabilidad con cinco a ocho personas.
- Cambios de bajo riesgo: errores, velocidad, claridad de precios y despacho, sin test.
- Tests más grandes y más arriba del embudo: una propuesta de valor completa, medida en agregar al carro o iniciar el formulario.
- Antes/después con cautela: periodo comparable, sin cambios de campañas en paralelo y rotulado como resultado observado.
Estima cuánto podrías ganar con el simulador CRO para ecommerce o revisa tu landing con la auditoría de landing page gratis. Si prefieres hacerlo con nosotros, la auditoría CRO prioriza hipótesis por evidencia y nuestro servicio de optimización de conversiones ejecuta y mide en clientes y margen.