Cómo priorizar experimentos con ICE sin engañarte a ti mismo
ICE (Impact, Confidence, Ease) es el framework de priorización de experimentos más usado en growth. Y el más mal aplicado.
El problema no es el framework. Es cómo los equipos asignan las puntuaciones.
1. Qué mide ICE realmente
- Impact (Impacto): si el experimento funciona como esperamos, ¿cuánto moverá la métrica norte? Puntuación del 1 al 10.
- Confidence (Confianza): ¿qué tan seguros estamos de que el experimento funcionará? Basado en datos previos, investigación de usuario o benchmarks externos.
- Ease (Facilidad): ¿cuánto esfuerzo requiere implementar y medir este experimento? Considera tiempo de diseño, desarrollo y análisis.
El score ICE es el promedio de las tres dimensiones. Lo que más alto puntúe, se ejecuta primero.
2. El engaño del optimismo: por qué las puntuaciones mienten
El problema más común: el equipo puntúa Impact y Confidence basándose en intuición y entusiasmo, no en datos.
"Este cambio va a ser enorme" → 9 en Impact. "Tengo buena corazonada" → 7 en Confidence.
El resultado es un backlog donde todos los experimentos tienen score alto y la priorización no sirve para nada.
La regla de oro: Confidence debe estar anclada siempre en una evidencia citeable.
3. Cómo puntuar Confidence con rigor
Usa esta escala:
- 1-3: Solo intuición. No hay datos que soporten la hipótesis.
- 4-6: Existe evidencia indirecta: comportamiento observado, entrevistas de usuario o un benchmark externo.
- 7-8: Evidencia directa en tu propio producto: datos de sesión, heatmaps, análisis de cohorte que apunta al problema.
- 9-10: Experimento anterior en tu producto que mostró señal positiva. Estás iterando sobre evidencia propia.
Si no puedes citar la evidencia en una frase, la puntuación de Confidence no puede ser mayor de 5.
4. Ease: el criterio más subjetivo y cómo objetivarlo
Ease es la dimensión más difícil de estandarizar porque depende del estado del equipo en cada momento.
Una forma de objetivarlo: estima el número de horas totales de trabajo necesarias para lanzar y analizar el experimento.
- Menos de 8 horas → 9 en Ease.
- 8-24 horas → 7.
- 24-80 horas → 5.
- Más de 80 horas → 3 o menos. Un experimento de esta envergadura debería ser una iniciativa, no un test.
5. ICE no es suficiente solo: lo que debes añadir
ICE tiene un punto ciego: no considera el riesgo de la métrica norte.
Un experimento puede tener score ICE alto y mover la conversión +5% mientras destruye la retención a 30 días. Si solo miras el score ICE, lo priorizarías.
Antes de ejecutar cualquier experimento, define también:
- La métrica primaria que intentas mover.
- Las métricas de guardia que no deben empeorar más de un umbral definido.
Un experimento gana solo si mueve la métrica primaria y no rompe las métricas de guardia. ICE te ayuda a priorizar qué correr. Las métricas de guardia te protegen de suboptimizar el negocio.