Las trampas y problemas de las pruebas A/B

Los test A/B son una de las mejores formas de cuantificar los posibles cambios a realizar en cualquier página web, especialmente landing pages y sitios de e-commerce. Se dividen en tiempo real las visitas en dos grupos y mientras el primero (A, 50%) se utiliza como grupo de control (no se muestran cambios) al segundo (B, 50%) se le muestra la nueva versión con los cambios. Pasado un tiempo prudencial se miden los resultados por separado y se comparan: eso indicará si los cambios para el grupo B son más efectivos que la propuesta original que ha visto el grupo A. Esta idea se puede aplicar a diseños e interfaz, ofertas concretas o incluso al aspecto general y las imágenes de las páginas.

La concepción correcta de un test A/B requiere resolver algunas cuestiones previas: tener suficiente tráfico, saber qué se va a probar, asegurarse que no hay un problema grave de interfaz, etc., y hacer un cálculo preciso y a priori de cuántas pruebas son necesarias. Pero también hay que ser conscientes de que hay ciertas «trampas» y problemas a evitar, entre ellas:

• No contar con datos suficientes. Cuenta la leyenda que las pruebas A/B se popularizaron cuando Amazon (o Yahoo) explicaron que realizaban pequeñas pruebas de este tipo en cuestión de horas; para estos grandes sitios resulta fácil recabar millones de datos por minuto: ratios de conversión, clics o el tamaño de las cestas en sus tiendas se definían en intervalos muy cortos tras los cambios gracias al gigantesco volumen de visitantes que recibían. Un sitio de e-commerce recién nacido o demasiado pequeño no tiene esa ventaja: tal vez lleguen unas decenas o cientos de personas cada hora, y muchos pueden no ser significativos (o quizá vengan un poco «forzados» por campañas promocionales externas). Si se hace un cambio basándose en los resultados de un test A/B con un grupo pequeño y no significativo, digamos 10 o 15 visitantes, no es lo mismo que haberlo confirmado con un grupo de 1.000 o 10.000, aunque haya que esperar más tiempo. Así que lo mejor es tirar de calculadora y tener claro antes de empezar cuánto tiempo va a ser necesario para tener datos realmente significativos. Por ejemplo con 10.000 pruebas se puede obtener un dato (fiable al 90%) de una variación del +/- 1% respecto a un ratio de conversión habitual del 5%, pero con 100 visitantes no se podrá distinguir del puro azar.
• No esperar el tiempo suficiente. Algunas pruebas tienen un efecto que se retrasa en el tiempo. Un caso típico es ofrecer un «periodo de pruebas» mayor para un producto o servicio que se está ofreciendo, por ejemplo 30 días en vez de 15 días. Es algo que seguramente hará aumentar la conversión… pero a cambio de aumentar la tasa de cancelación (churn) al cabo de 1 mes, algo que antes se definía a los 15 días. Simplemente se ha alargado en el tiempo la misma situación y la solución puede no ser efectiva.
• Dedicar demasiado tiempo a optimizar. Aunque las pruebas A/B resultan útiles como hemos visto en algunos casos puede ser una labor lenta y que requiere su tiempo. Y es más, la prueba en cuestión puede empeorar el resultado normal, haciendo bajar la conversión o las ventas. ¿Cuánto tiempo merece la pena dedicar a optimizar una landing page o un sitio de e-commerce en la práctica? La experiencia nos enseña que unas pocas horas o días son razonables pero probablemente si hablamos de varias semanas o meses podría ser mejor hacer los cambios –razonados y meditados– directamente sin muchas pruebas previas. El tiempo también es dinero, y por tanto es un factor de la ecuación.
• La voz de la gente. Steve Jobs decía que «muchas veces la gente no sabe lo que quiere hasta que se lo enseñas». Cuando se introduce un cambio en un diseño o interfaz, por ejemplo, las primeras reacciones suelen ser negativas: es normal que mucha gente se resista a los cambios: lo nuevo asusta, las minorías pueden vociferar (y parecer muchos) aunque la mayoría acepten los cambios gustosos y en silencio. En cambio, puede que los fríos datos de las pruebas A/B digan lo contrario de lo que se está oyendo en otros canales. Algo parecido sucede cuando se muestran publicidades y notificaciones agresivas: ¿hace la gente clic porque le gustan o muchos de esos clics son un error? En ambos casos las pruebas, los números y el «sentimiento» que llega por diversas vías pueden ser contradictorios y se requiere un buen juicio para decidir si lo mejor es lo que dicen los datos o lo que nos dicta el sentido común: discernir el verdadero valor de lo que están diciendo los visitantes y el verdadero valor de los números.

{Foto: StartupStockPhotos (CC) Pixabay}

Tags: Consejos eCommerce