Cómo elegir una agencia CRO en Chile: 8 criterios honestos

En Chile hay agencias de Conversion Rate Optimization (CRO) que entregan valor y agencias que entregan dashboards bonitos. La diferencia rara vez se nota antes de firmar — y casi siempre se nota seis meses después, cuando los resultados no llegaron. Esta guía sintetiza los ocho criterios verificables que separan una práctica seria de una empaquetada con marketing.

Antes de empezar, una aclaración importante: "agencia CRO" no es una categoría regulada. Cualquier consultora de marketing digital puede agregar "CRO" a su web mañana sin cambiar nada en su práctica. Eso significa que el filtro lo haces tú, en la conversación de venta, antes de firmar. Los ocho criterios que siguen son herramientas para hacer ese filtro.

CRITERIO 01 Pide ver un caso real con métricas, no solo logos.

Una agencia CRO seria documenta cada experimento que ejecuta. Eso significa que puede mostrarte — bajo NDA si hace falta — al menos un caso completo con CR base, CR post-test, sample size, duración del experimento y nivel de confianza. Si lo único que te muestran es una grilla de logos de clientes, los logos están haciendo el trabajo que debería hacer la metodología.

Una respuesta saludable se ve así: "Sí. Aquí va. Cliente del sector retail. CR base 1.8%, CR variante 2.1%. Sample size 38.000 sesiones por brazo. 21 días de testing. P(B>A) = 96.5% bajo modelo bayesiano." Si en cambio te dicen "subimos las conversiones un 400% en general", estás escuchando marketing, no metodología.

CRITERIO 02 Verifica que entiendan la diferencia entre significancia y "ganó por intuición".

Esta es la línea divisoria más importante en CRO. Una agencia que opera con rigor estadístico te dirá explícitamente bajo qué nivel de confianza decide si un test es ganador. El estándar académico es 95%. Cualquier valor inferior — 80%, 90% — es lo que algunas plataformas muestran por default y lo que algunos consultores aprovechan para "ganar" tests rápido.

Decidir un ganador a 80% de confianza no es agresivo, es estadísticamente desinformado. Lo que llamas "lift" tiene una probabilidad de 1 en 5 de ser ruido puro.

Hay un debate legítimo en la industria entre Bayesian y Frequentist testing. Ambos son válidos. Bayesian reporta P(B>A) y expected loss, más interpretable para negocio. Frequentist reporta p-values, estándar académico clásico. Lo que no es aceptable es no saber cuál usa la agencia, ni por qué.

CRITERIO 03 Confirma que parten con investigación cualitativa antes de testear.

Los tests A/B no inventan hipótesis: las validan. Las hipótesis vienen de mirar cómo los usuarios reales se comportan en tu sitio — y eso es trabajo cualitativo, no estadístico. Una agencia que parte directamente con "vamos a testear este CTA contra ese otro" está adivinando con tu presupuesto.

Lo que esperar en las primeras 2 a 4 semanas de cualquier engagement serio:

• Heatmaps en páginas críticas (PDP, checkout, landing principal) para entender scroll depth, click density y áreas muertas.
• Session replays filtrados por sesiones de alta intención que no convirtieron, para identificar puntos de fricción específicos.
• Entrevistas con usuarios o tests de usabilidad moderados, idealmente siguiendo protocolo NN/g (Nielsen Norman Group).
• Forensia de GA4 y revisión del embudo real con cohortes y segmentos significativos.

Tres de cada cuatro hallazgos accionables en CRO vienen de esta fase. El test A/B solo decide cuál de las hipótesis levantadas vale la pena codificar. Saltarse la fase cualitativa es testear ruido a escala.

CRITERIO 04 Exige sample size pre-calculado y MDE explícito por hipótesis.

Cada test que la agencia te propone debe venir con dos números antes de empezar: el sample size mínimo por variante y el Minimum Detectable Effect (MDE). Sin esos números, no sabes si el experimento puede detectar la mejora que esperas — y peor, no sabes cuándo el test "termina".

Como referencia rápida: con un CR base de 2% y buscando detectar un lift relativo del 10% a 95% de confianza con 80% de potencia, necesitas alrededor de 30.000 sesiones por variante. Tests con menos de 1.000 conversiones por brazo rara vez son confiables, aunque la plataforma marque "significativo".

CRITERIO 05 Pide ver un test perdido reciente y qué aprendieron de él.

Esta es probablemente la pregunta más reveladora que puedes hacer en una llamada de venta. Toda agencia CRO honesta tiene tests perdedores. La benchmark internacional dice que entre 25% y 40% de los tests bien diseñados ganan; el resto queda flat o pierde. Si la agencia que evalúas no puede mostrarte uno perdido reciente, está pasando una de dos cosas: hacen cherry-picking de su portafolio, o no documentan derrotas.

Las dos opciones son malas. Si hacen cherry-picking, te van a vender solo wins en el reporte mensual. Si no documentan derrotas, no aprenden de ellas — y vas a pagar para que vuelvan a cometer los mismos errores con tu marca.

Una buena respuesta involucra una hipótesis tipada, una sorpresa concreta y un cambio metodológico explícito. Ejemplo real: "Pensábamos que reducir el formulario de 7 a 4 campos subiría leads. El CR de leads subió 6% pero la calidad cayó 12% — los SQL bajaron. Aprendimos a separar la métrica de cantidad de la métrica de negocio. Ahora medimos siempre ambas."

CRITERIO 06 Confirma plataforma de testing y método de inyección.

Una agencia CRO opera con stack tecnológico documentado. Las opciones válidas en el mercado chileno y LATAM hoy son varias: Google Tag Manager + custom code (gratis, pero requiere desarrollo), Kameleoon, AB Tasty, VWO, Convert. Cada una tiene tradeoffs en velocidad de implementación, costo y robustez de la lectura estadística.

Lo importante no es cuál usan, sino que cumplan tres condiciones técnicas:

• No tocar producción durante el test. Las variantes se inyectan vía script externo o tag manager.
• SRM check (Sample Ratio Mismatch) ejecutado antes de leer resultados. Si la asignación 50/50 está rota, la lectura es basura.
• Reversión rápida en caso de que una variante rompa funcionalidad — idealmente menos de 15 minutos.

CRITERIO 07 Verifica si su modelo de pricing puede acomodar revenue share.

Una agencia confiada en su método acepta atar parte de su fee al resultado incremental. Esto no significa trabajar 100% a comisión — eso casi nunca termina bien para ninguna de las partes — sino aceptar un modelo híbrido: 50% a 70% de fee fijo que cubre costos operativos, más un revenue share del 8% al 20% sobre el ingreso incremental atribuible al programa.

Si la agencia rechaza categóricamente cualquier componente variable, hay dos lecturas posibles: o no confía en que su método produzca resultados medibles (señal de alarma), o tiene una estructura de costos que no soporta variabilidad (señal de empresa pequeña sin capital de trabajo). Ninguna es buena.

La respuesta correcta describe metodología de atribución (holdouts del 10%, pre/post period controlado, baseline de RPV pre-acordado) y cadencia de reconciliación (típicamente trimestral). Si dicen "sí, pero sin metodología clara", piden el cheque blanco — no firmes.

CRITERIO 08 Asegúrate que el playbook documental quede contigo al cierre.

El activo más valioso que se construye durante un engagement CRO no son las variantes ganadoras: es el conocimiento documentado sobre cómo se comportan tus usuarios. Toda hipótesis testeada — gane, empate o pierda — debe quedar registrada en un playbook con su contexto, su resultado y su interpretación.

Ese playbook tiene que ser tuyo, no de la agencia. Portabilidad real. Si mañana cambias de agencia, el conocimiento acumulado se va contigo. Es un derecho contractual razonable que las agencias serias aceptan sin discusión.

Si quieres ver cómo aplicamos estos ocho criterios en nuestro propio método, revisa nuestra página de servicio CRO o la estructura de pricing transparente que usamos con clientes.

RESUMEN Red flags y green flags: la versión escaneable.

Si en la primera reunión de venta marcas tres red flags o más, busca otra opción. Si marcas seis green flags o más, agenda la segunda reunión.