Suscríbete, gratis
El podcast adtech semanal de Bryan Barletta de Podnews
Sounds Profitable
Imagen: Jake Crowe

¿Sabe dónde han estado sus datos?

ESCUCHA · · Por Tom Webster · Editor: Evo Terra

Este artículo fue traducido a través de la tecnología de traducción del inglés al español de Veritone. Obtenga más información visitando Veritone

Sounds Profitable, Tom Webster, hace una súplica apasionada a todos los que publican investigaciones en el espacio de los podcasts y sus alrededores: mejorar la transparencia sobre las metodologías utilizadas.

Sounds Profitable podcast
¡Escuche este artículo en Sounds Profitable Articulo Narrado con versiones narradas de todos nuestros próximos artículos!

Suscríbete a Sounds Profitable en Español aquí

Entonces, gran sorpresa: hoy voy a hablar sobre la investigación. Lo sé, QUIÉN LO HABRÍA PENSADO. Pero quiero hablar de ello un poco diferente este mes, especialmente ahora que en Sounds Profitable avanzamos con nuestro gran y audaz objetivo de hacer que el podcasting sea mejor para todos. Parte de eso no es solo mejorar la investigación, sino también hacer que todos en el espacio sean mejores consumidores de datos.

Get the free Sounds Profitable Español newsletter for more like this.
Our privacy policy keeps your data safe.
(Fill this in now; you won’t lose your place!)

En mis 18 años en Edison, prácticamente solo hablé de Edison estudios producidos Además del hecho de que no era mi trabajo hablar sobre lo que estaban haciendo otras compañías de investigación, tampoco quería ser percibido como parcial. Entonces, a menos que pensara que algo era particularmente bueno o poderoso, generalmente no hablaba mucho al respecto.

Pero ahora los guantes están fuera, bebé. ¡Prepárate para un torrente fulminante de críticas!

Es una broma. Pero sí quería escribir sobre algunos de los estudios recientes que surgieron sobre el podcasting, no específicamente en la forma excelente en que Caila escribe para Good Data (que se encuentra mensualmente en este espacio), sino en términos más amplios que espero impulsen la industria. delantero.

Muchos de los datos que ha visto durante el último mes aparentemente no concuerdan con otros datos que puede haber visto. ¡En algunos casos, es posible que incluso haya visto datos que contradicen los datos de la misma empresa! No voy a sacar ningún ejemplo negativo aquí. Acabo de recibir mi segundo refuerzo de COVID ayer y estoy de un humor demasiado fantástico para hacer caca en la investigación de alguien. Porque la verdad es que casi todos los estudios de investigación que ha visto sobre los podcasts tienen algún mérito.

Aquí está la cosa: no existe tal cosa como un estudio perfecto. Ahí lo dije. Cualquier forma de investigación tiene sus fallas (en realidad, cualquier forma de datos, punto). Pero quiero conocer esas fallas por adelantado, para poder contar la mejor historia sobre esos datos. Cuando reviso un estudio sobre podcasting, no lo miro con escepticismo, y ciertamente no con cinismo. Sin embargo, lo miro críticamente. Y no solo quiero que hagas lo mismo, quiero que las empresas que producen y patrocinan estos estudios nos faciliten hacerlo.

Entonces, si tuviera un deseo este mayo, sería que las compañías que están investigando podcasts nos digan exactamente cómo obtuvieron los datos. Eso es todo. Lo primero que busco cada vez que miro un nuevo estudio es la declaración de la metodología. No es para encontrar fallas en el estudio, es solo para entender cómo obtuvieron los resultados que obtuvieron. Si dos empresas publican números muy diferentes para lo que parece ser lo mismo, es probable que cada una lo aborde de manera diferente. Saber exactamente cómo realizaron la investigación me permite, a su vez, usar ambos estudios para triangular la verdad y poner las ideas en contexto.

Éstos son algunos de mis manías favoritas. Estoy ansioso por cubrir toda la investigación en el espacio, pero no voy a darle mucho aire a los estudios que violen uno o más de estos realmente simples. Espero que cualquier empresa que realice investigaciones haga que esta información sea clara y esté fácilmente disponible, y para aquellos que escriben sobre estos estudios, asegúrese de que estas preguntas se respondan a su satisfacción primero. Esa es la forma en que todos obtendremos los mejores datos para hacer avanzar el espacio.

realmente es la fuente?

Esto no es tan sencillo como parece. Antes de que pueda saber cómo se realizó el estudio, debe encontrar la fuente real del estudio. A menudo, solo encontrará la metodología del estudio donde se publicó el informe original. Aquí hay dos construcciones de esto que me hacen apuñalar:

Informe de podcast de Acme Company - Fuente: Acme Company [no se enumera la metodología]

Esta construcción es esencialmente cómo solía responder mi maestra de francés de la escuela secundaria cuando le preguntábamos por qué teníamos que hacer algo: “Parce’que Je le dit”, que significa “porque yo lo digo”. Este tipo de crédito te dice que mires el mismo gráfico, pero ya sabes, más difícil la próxima vez.

Pero aún peor es este:

Estudio A de la empresa Acme - Fuente: Estudio B

empresa Acme Estudio B de la empresa Acme - [ninguna metodología en la lista]

Ahora me acabas de molestar, porque después de todo no imprimiste una metodología, pero TIENES MIS ESPERANZAS ARRIBA.

¿Con cuántos humanos hablaste y cuándo?

La mayoría de los estudios son bastante buenos para informar el tamaño de la muestra. A menudo me preguntan cuál es el tamaño de muestra “ideal”, pero realmente depende de la población que esté muestreando. Si está muestreando a “estadounidenses mayores de 18 años”, será mejor que esté en los cientos o miles, antes de que el margen de error de esos datos se estabilice un poco. Pero un estudio de los “100 mejores podcasters?” Quiero decir, estaría bien con 25.

Una cosa con la que hay que tener cuidado son los “estudios globales”. Vi un estudio recientemente que hizo algunas afirmaciones sobre la escucha de podcasts de una muestra de 300 personas, está bien, bien, en 10 países diferentes. Este no es un estudio de 300 personas. Son 10 estudios de 30 personas. Confía en mí, nadie en el podcasting, todavía, puede permitirse un estudio verdaderamente global .

Tan importante como el tamaño de la muestra es el marco de la muestra, es decir, el período de tiempo durante el cual se recolectaron los datos. Un estudio de la popularidad de la música navideña se verá muy diferente recopilado en noviembre que en febrero, que es un ejemplo bastante obvio, pero el marco de muestra tiene efectos sutiles en cualquier dato. Las fechas exactas son clave; me gusta saber el lapso de tiempo que se tardó en recolectar.

Si pone la metodología detrás de una puerta de registro o un muro de pago, tenga la seguridad de que nunca registrarse, lo que significa que nunca escribiré sobre su estudio, y sé que el titular no tiene la forma de una pregunta y es un poco largo, pero solo les digo.

Eso es todo lo que tengo que decir al respecto.

¿Cómo obtuviste los datos?

El método de muestreo de pan y mantequilla para la mayoría de las empresas de investigación hoy en día es un gran panel en línea que se mantiene cuidadosamente para asegurarse de que esté ponderado para la población en línea de los EE. No son perfectos y tienen un par de sesgos distintos, pero esos sesgos son predecibles. Si un estudio dice que usa un panel de este tipo, generalmente puede decir con justicia que es representativo de la población en línea, que es lo que nos importa en el podcasting.

Un “panel” que consiste en la base de datos de clientes de una empresa, o personas que respondieron a su correo electrónico, o personas que hicieron clic en un enlace de Twitter, no puede hacer ninguna de esas afirmaciones. Esto no los hace inútiles (quiero decir, no son geniales, especialmente el tipo de enlace de Twitter, pero no son inútiles). Simplemente ayuda saber cómo, para que puedas contextualizar las cosas.

Tengo un amigo que está loco por las criptomonedas y las NFT, y tuitea mucho sobre esos temas. También les gusta realizar encuestas en Twitter y publicar los resultados como “investigación”. Lo que son es un reflejo de las personas que siguen a esta persona, y no mucho más. Pero muéstrame dos encuestas con la misma pregunta de la misma cuenta de Twitter tomadas con seis meses de diferencia. Bueno, puedes contar una historia sobre eso.

¿Hace lo que dice en la lata?

Soy un anglófilo incurable y este es uno de mis eslóganes publicitarios favoritos del Reino Unido. Simplemente, si la botella dice “se vuelve más blanco” o “sabe a casero”, debería, de hecho, hacer eso.

Esto se relaciona directamente con el punto anterior. Si un estudio de los oyentes de podcasts se basa en otra cosa que no sea un panel en línea estratificado representativo o una encuesta telefónica, ciertamente tiene valor, pero no puede decir “Según la encuesta Acme, el 56% de los oyentes de podcasts disfrutan de los frijoles lima”. Primero, no es cierto, y no los has comido en tu vida. En segundo lugar, no puede caracterizar la muestra como “oyentes de podcasts” porque la mayoría de los oyentes de podcasts posiblemente no podrían realizar la encuesta, y usted no sabe nada acerca de los que no pudieron hacerlo. Lo mejor que puede hacer aquí es simplemente decir exactamente cómo obtuvo su muestra y decir “Según los oyentes de podcast que encuestamos…” o “El 56% de los encuestados en la Encuesta Acme dijo…”

La única manera de afirmar que un estudio es representativo de los oyentes de podcasts en general es si los encuestados fueron seleccionados al azar de un panel o universo que es, en sí mismo, representativo de la población de EE. UU. Eso es bastante simple. Solo quiero saber cómo obtuviste la muestra y te prometo que encontraré el valor allí.

Se trata menos de cómo se recopilany más de cómo se informan. A las personas que escriben titulares les encanta hacer grandes declaraciones. “El 80 % de los especialistas en marketing aman Twitter” suena mucho más rápido que “el 80 % de los especialistas en marketing que respondieron a nuestra encuesta de Twitter aman Twitter”.

Si bien este tipo de cosas generalmente sucede con las personas que escriben sobre estos estudios después del hecho, a veces los autores de un estudio hacen estas afirmaciones simples pero falsas porque suena mejor. Si le da vergüenza imprimir exactamente cómo recopiló los datos, tal vez no los recopile de esa manera. De lo contrario, solo di lo que hiciste.

Si su muestra es de 83 personas, por favor no informe los resultados a una décima parte de un punto porcentual,

quiero decir, realmente piénselo bien.

Preste mucha atención a las fuentes de datos en infografías

A menudo, esos datos se extraen de múltiples fuentes, lo que significa múltiples metodologías. No los hace incorrectos, pero sí significa que no necesariamente puede procesar esos estudios con la misma lente. Ponerlos en la misma página brillante no lo hace bien. Y ahora seguiré mi camino.

Conclusión

Más allá de esto, supongo que podría hablar sobre la ponderación de datos o una declaración de limitaciones o incluso una divulgación sobre cómo se monitorea la calidad de la muestra, pero mi intención aquí no es dar una lección de estadística, es suplicar a las empresas que producen estos estudios. , y las personas que escriben sobre estos estudios, para responder algunas preguntas simples sobre de dónde provienen los datos y cómo, y divulgarlos de manera completa y clara. Eso es todo. No tengo la intención de criticar la investigación en este espacio que no es transparente sobre estas cosas. Simplemente no escribiré sobre esos estudios. Quiero escribir sobre esos estudios.

Cuanta más transparencia tengamos en este negocio, más soporte de decisiones reales tendrán los podcasters y con mayor precisión podrán juzgar la relación riesgo/recompensa de lo que están haciendo. Cada vez que un podcaster toma una mala decisión basada en un estudio mal divulgado o informado, un unicornio cornea a un cachorro. Salva a los cachorros.

Tom Webster

Partidarios

Nuestros patrocinadores apoyan un espacio de podcasting colaborativo y educado y están comprometidos a impulsar a toda la industria en conjunto. Descubre cómo puedes convertirte en patrocinador hoy (en inglés)

Obtén lo último del mundo adtech de podcasting con nuestro boletín semanal gratuito