El sesgo del superviviente

Piénsalo. Muchos de los postmortem que lees, de las charlas de “cómo hicimos nuestro hit”, cada hilo de “las cinco decisiones que nos salvaron” viene de un superviviente. Del avión que volvió. Los estudios que tomaron exactamente las mismas decisiones y se estrellaron pocas veces escriben postmortems. Están cerrados, y el silencio de un estudio cerrado no aparece en ninguna presentación. Pocas veces hemos visto ejercicios como el que nos dejó Daniel Sánchez Crespo explicando por qué Novarama cerraba. Por ello, da la impresión de que aprendemos del sector estudiando únicamente a los que ganaron, que es como intentar entender la lotería entrevistando solo a los premiados.

Esto tiene dos consecuencias que envenenan la toma de decisiones. La primera: sobreestimamos el peso de las decisiones y subestimamos el peso del azar. Cuando un juego revienta, su creador construye después un relato ordenado. “Apostamos por esto, cuidamos aquello, escuchamos a la comunidad.” Ese relato suena a causa y efecto. Pero muchos estudios que fracasaron hicieron lo mismo. Si una decisión la tomaron tanto los que ganaron como los que perdieron, esa decisión no explica la diferencia.

La segunda consecuencia es más práctica: copiamos tácticas sin conocer su tasa base. “Tal estudio hizo un early access y le fue genial” es información inútil sin el dato que nadie te da: de cada cien estudios que hicieron early access, ¿a cuántos les fue genial? Si la respuesta es tres, la anécdota del que acertó no es una estrategia, es un billete de lotería premiado. La mediana de ingresos de un juego indie en Steam está por debajo de los cinco mil dólares. Esa mediana es el avión que no volvió: el caso normal, el que nunca sale en una charla.

No es un alegato contra aprender de los demás. Es un alegato por aprender bien. Ante cualquier caso de éxito, tres preguntas lo desinflan o lo confirman: ¿qué hicieron los que fracasaron que fue idéntico a esto? Si mucho, la táctica explica poco. ¿Cuál es la tasa base de esta jugada, no el caso único? Si no la sabes, no sabes nada. ¿Y qué parte de esto es replicable y qué parte fue momento, contactos o suerte? Separar las dos es la mitad del trabajo.

Tres preguntas para cerrar

▸ Desarrollador: El último caso de éxito que te hizo cambiar algo en tu estudio, ¿sabías su tasa base o solo su titular? Si fue solo el titular, quizá copiaste el impacto de bala de un avión que volvió por otras razones.

▸ Inversor: Cuando un founder te vende su plan con “esto le funcionó a tal estudio”, ¿le pides la distribución completa o te quedas con el caso que él eligió? El caso que él eligió siempre confirma su tesis.

▸ Profesional: ¿Cuánto de lo que crees saber sobre lo que funciona en el sector lo aprendiste de gente que ganó, y cuánto de gente que perdió? Si casi todo es del primer grupo, tu mapa del sector está dibujado solo con los que volvieron.