Existe una idea bastante extendida sobre CRO: para optimizar una web hay que ejecutar tests A/B constantemente.

La lógica parece sencilla. Creamos dos versiones, dividimos el tráfico, esperamos suficiente tiempo y dejamos que los datos decidan cuál funciona mejor.

El método es excelente cuando existen suficiente volumen, una hipótesis clara y una implementación rigurosa.

El problema es que muchísimas empresas no tienen el tráfico necesario para utilizar experimentación estadística continuamente.

Eso no significa que deban renunciar a optimizar conversión.

Significa que tienen que utilizar mejor otras fuentes de evidencia.

¿Qué es un test A/B y cuándo tiene sentido?

Un test A/B compara dos variantes de una experiencia utilizando usuarios reales.

Una parte del tráfico ve la versión original y otra parte recibe una alternativa. Después analizamos si existe suficiente evidencia estadística para concluir que una de ellas produce un resultado diferente.

Es una herramienta extremadamente útil porque permite probar relaciones causales.

Pero necesita volumen.

Cuando una página recibe pocas conversiones, una diferencia aparente puede deberse simplemente al azar. Podemos observar que una variante “convierte un 30 % más” durante una semana y descubrir un mes después que ambas funcionan prácticamente igual.

El problema no está en el test.

Está en intentar obtener certezas de una muestra incapaz de proporcionarlas.

Por qué muchas empresas no deberían hacer tests A/B constantemente

La capacidad para experimentar depende principalmente del tráfico, de la tasa de conversión actual, del tamaño del cambio que queremos detectar y del nivel de confianza que exigimos.

Cuanto menor sea la diferencia que queremos detectar, mayor muestra necesitaremos.

Esto tiene una consecuencia práctica.

Una empresa con decenas de miles de conversiones puede experimentar sobre cambios relativamente pequeños. Un negocio que genera 20 oportunidades mensuales probablemente tardaría demasiado en obtener conclusiones fiables sobre variaciones menores.

Mantener durante meses un experimento para decidir si una versión convierte ligeramente mejor suele tener poco sentido.

En estos casos, el CRO debe apoyarse en una combinación diferente de evidencia.

No poder experimentar no significa tener que adivinar

Entre “hacer un test A/B” y “cambiar cosas por intuición” existe un territorio enorme.

Podemos observar qué hacen los usuarios, analizar qué dicen, estudiar dónde abandonan, revisar qué contactos terminan comprando y comparar comportamientos entre segmentos.

Estas fuentes no proporcionan siempre la misma certeza causal que un experimento controlado, pero permiten construir hipótesis mucho mejores que una opinión.

El objetivo es reducir incertidumbre antes de intervenir.

Analítica: empieza por observar dónde ocurre la pérdida

La analítica cuantitativa puede mostrarnos patrones importantes.

Qué páginas tienen una salida anormalmente alta, dónde se producen abandonos, qué dispositivos convierten peor, qué fuentes generan mejores oportunidades o qué pasos de un checkout presentan una caída desproporcionada.

Estas señales no siempre nos explican por qué ocurre el problema.

Pero ayudan a decidir dónde investigar.

Si descubrimos que el 65 % de los usuarios abandona durante un determinado paso, tenemos un punto concreto sobre el que concentrar atención.

La analítica responde especialmente bien a una pregunta:

¿Dónde parece estar ocurriendo algo relevante?

El comportamiento ayuda a entender el cómo

Herramientas de mapas de calor, grabaciones de sesión y análisis de interacción permiten observar cómo utilizan realmente una interfaz los usuarios.

Podemos descubrir elementos que parecen clicables y no lo son, contenido importante que apenas se alcanza, errores repetidos, navegación confusa o usuarios que vuelven varias veces sobre la misma información.

Aquí existe un riesgo: interpretar en exceso.

Ver que alguien mueve mucho el ratón no demuestra automáticamente que esté confundido. Una grabación individual tampoco representa necesariamente el comportamiento general.

El valor aparece cuando encontramos patrones repetidos y los combinamos con otras señales.

Hablar con clientes suele revelar cosas que Analytics nunca mostrará

Los usuarios pueden decirnos por qué estuvieron a punto de abandonar, qué no entendieron, qué alternativa estaban comparando o qué argumento terminó convenciendo.

Entrevistas, llamadas comerciales, encuestas, chats, emails y conversaciones con atención al cliente contienen información extremadamente valiosa para CRO.

Especialmente interesantes son las preguntas relacionadas con la decisión:

¿Qué estabas intentando resolver? ¿Qué dudas tenías antes de contactar? ¿Qué otras opciones valoraste? ¿Hubo algo que casi te impidió avanzar? ¿Qué terminó convenciéndote?

No necesitamos centenares de entrevistas para detectar algunos patrones.

En muchos negocios, hablar con ventas durante una hora puede generar mejores hipótesis que revisar durante días un dashboard.

El equipo comercial es una fuente de investigación CRO

Cuando existe venta asistida, ventas conoce una parte del recorrido que la web no registra.

Sabe qué objeciones aparecen, qué preguntas se repiten, qué expectativas llegan mal planteadas y por qué algunas oportunidades avanzan mientras otras desaparecen.

Esa información puede modificar páginas enteras.

Si decenas de potenciales clientes preguntan lo mismo antes de contratar, quizá la web debería resolverlo antes. Si un determinado mensaje está atrayendo perfiles que nunca compran, podemos ajustar la propuesta. Si una característica aparentemente secundaria resulta decisiva en las ventas, probablemente debería ganar protagonismo.

CRO mejora mucho cuando deja de vivir exclusivamente dentro de Analytics.

Busca problemas evidentes antes de experimentar matices

No todo cambio necesita validación mediante test A/B.

Si un formulario no funciona en determinados móviles, hay que arreglarlo. Si un botón esencial está oculto por un error de interfaz, lo corregimos. Si la información de precios contradice lo que comunica ventas, resolver la inconsistencia no requiere meses de experimentación.

Existe una diferencia entre corregir un problema evidente y probar una hipótesis de optimización.

Los experimentos son especialmente valiosos cuando existen dos alternativas razonables y no podemos saber de antemano cuál producirá mejores resultados.

No deberíamos convertirlos en un requisito burocrático para mejorar aquello que claramente está roto.

Los cambios grandes pueden tener más sentido con poco tráfico

Cuando el volumen es bajo, intentar detectar diferencias del 3 % o 5 % es complicado.

Pero puede haber problemas estratégicos mucho mayores.

Cambiar completamente una oferta, reposicionar un servicio, modificar el recorrido comercial o introducir una propuesta radicalmente diferente puede producir efectos suficientemente grandes como para observar señales incluso con menor volumen.

Esto no significa realizar cambios enormes sin criterio.

Significa que, cuando la evidencia indica un problema profundo, quizá no tenga sentido dedicar meses a optimizar microelementos.

Una empresa con poco tráfico suele necesitar mejores decisiones antes que experimentos más pequeños.

Utiliza evidencia acumulada, no una señal aislada

Una metodología útil consiste en buscar convergencia.

Imaginemos que Analytics muestra una caída elevada en una página de precios. Las grabaciones revelan usuarios volviendo repetidamente a comparar planes. Ventas comenta que muchos leads llegan sin entender qué incluye cada opción. Además, varias encuestas mencionan exactamente la misma duda.

Ninguna señal aislada demuestra que modificar la estructura de precios vaya a mejorar conversiones.

Juntas construyen una hipótesis considerablemente más fuerte.

Esta lógica de evidencia acumulada es especialmente útil cuando no disponemos del volumen necesario para experimentar cada cambio.

Priorizar también forma parte del CRO

Con recursos limitados no podemos actuar sobre todo.

Conviene valorar el impacto potencial del problema, la evidencia que tenemos, el esfuerzo necesario para intervenir y el riesgo asociado.

Un cambio pequeño con poca evidencia y poco impacto debería esperar.

Una fricción grave detectada en una parte crítica del checkout merece una prioridad completamente diferente.

El objetivo no consiste en mantener una lista infinita de optimizaciones.

Consiste en concentrar recursos en aquello que tiene más posibilidades de cambiar el resultado.

¿Cuándo sí debemos hacer un test A/B?

Cuando existe suficiente tráfico, la hipótesis es relevante y podemos alcanzar una muestra razonable dentro de un periodo útil.

También cuando el cambio tiene implicaciones suficientes como para que queramos reducir riesgo antes de desplegarlo sobre toda la audiencia.

Los tests A/B no son una técnica que haya que evitar.

Son una herramienta que debemos utilizar cuando el problema y los datos justifican su uso.

La sofisticación de una estrategia CRO no se mide por cuántos experimentos ejecuta.

Se mide por la calidad de las decisiones que consigue tomar.

CRO es un proceso de aprendizaje, no una herramienta de testing

Podemos hacer CRO con analítica, investigación cualitativa, comportamiento, datos comerciales, entrevistas, experimentos y conocimiento del mercado.

El test A/B es una pieza especialmente potente dentro de ese conjunto.

Pero no es la definición de CRO.

El objetivo real consiste en comprender por qué una parte de la demanda no avanza, construir una hipótesis capaz de explicar ese comportamiento, intervenir y comprobar si hemos conseguido un resultado mejor.

A veces necesitaremos un experimento estadístico.

Otras veces tendremos suficiente evidencia para actuar directamente.

Lo importante es que cada cambio tenga una razón, una evidencia y un resultado que podamos observar.

No necesitas millones de visitas para empezar a convertir mejor

Un negocio con poco tráfico tiene menos capacidad para experimentar, pero eso no significa que tenga menos oportunidades de optimización.

De hecho, cuanto más valioso sea cada visitante, mayor puede ser el impacto de comprender por qué algunos no avanzan.

Analizar mejor la demanda, escuchar a clientes y ventas, observar comportamientos y eliminar problemas importantes puede cambiar sustancialmente la conversión sin ejecutar decenas de tests.

CRO no consiste en poner constantemente dos botones a competir.

Consiste en aprender cómo toma decisiones tu cliente y utilizar ese conocimiento para que una mayor parte de las oportunidades termine convirtiéndose en negocio.