«De una parte al todo: un camino poco explorado por la ciudadanía». Blog de Eduardo Alarcón-Bustamante.

Muchas veces hemos escuchado “lo dice la estadística”, pero ¿qué tan consientes estamos de lo que hay tras cada cálculo, estimación o predicción que se presenta? En este blog quiero contar un poco sobre algunos de los cuidados que los y las usuarias deben tener cuando se leen resultados. Pondré ejemplos concretos de noticias y resultados de encuestas para que cada lector y lectora haga su propio juicio al respecto.

Ejemplo 1: El 25 de enero de 2022, y basado en el resultado de 80.163 test, el MINSAL reportó que La positividad para las últimas 24 horas a nivel país es de 15,82% y en la Región Metropolitana es de 13,59%.

Pregunta: Si sólo había el resultado de 80.163 test ¿por qué se habla a nivel país? ¿cuál es el estado de salud de los casi 17 millones de chilenos y chilenas más?

Ejemplo 2: ADN Radio por encuesta CADEM 21 de mayo (703 encuestados, tasa de respuesta de 9,1%): El 73% de los chilenos está en desacuerdo con que se perdone el pago de las Isapres, según Cadem.

Pregunta: ¿Por qué con 703 encuestados se habla a nivel país? ¿Cuál es la opinión de los casi 17 millones de chilenos y chilenas restantes?

Ejemplo 3: Encuesta Nacional de Salud 2016/2017: 6.233 encuestados: Consumo de cigarrillo actual total país y según sexo ENS 2016-17:

·         Total país 33%

·         Hombres 37,8%

·         Mujeres 29,1%

Pregunta: ¿Por qué con 6.233 encuestados se habla a nivel país? ¿Cuál es consumo de tabaco de los casi 17 millones de chilenos y chilenas restantes?

Podemos seguir buscando ejemplos como estos y los podremos encontrar con facilidad. La gran pregunta es ¿qué procedimiento estadístico permite pasar de una parte (la muestra) a un todo (todo Chile)? Más específicamente, en estos ejemplos ¿qué procedimiento estadístico permite ignorar el estado de salud, la opinión y el nivel de consumo de los casi 17 millones de chilenos y chilenas que no fueron considerados en el estudio? Se puede demostrar matemáticamente que ignorar el comportamiento de lo que no observamos, es análogo a asumir ciegamente que dicho comportamiento es idéntico al que sí podemos observar (para más ejemplos e implicancias, ver Alarcón-Bustamante, E., 2022,2023). Es decir, creemos ciegamente que la porción de personas que se tomó el test, que dio la opinión en la encuesta o que tiene un cierto nivel de consumo de tabaco, representa fielmente a quienes no medimos[1].

Pero, ¿qué consecuencias tiene creer en la supuesta representatividad? Consideremos un ejemplo ficticio de una encuesta con 3 preguntas, cuya respuesta es “de acuerdo” “no de acuerdo”. Por supuesto que sabemos el porcentaje de personas que está de acuerdo en el grupo que responde la encuesta, pero ¿qué porcentaje está de acuerdo en el grupo que no respondió (los casi 17 millones)? Es decir, tenemos el siguiente esquema:

Tabla 1: Esquema real

Los signos de pregunta muestran que no sabemos el porcentaje de personas está de acuerdo con las afirmaciones en cada una de las preguntas. Tenemos varias opciones, por ejemplo:

Tabla 2: Escenario 1

Tabla 3: Escenario 2

Tabla 4: Escenario 3

Y así podemos llenar infinitas tablas para el grupo que no está en la muestra, pues en realidad, el porcentaje de personas que está de acuerdo en cada pregunta NUNCA la sabremos y puede ser cualquier valor entre 0 y 100.

Ahora, estamos creyendo en la representatividad: aquellos que no observamos tienen la misma opinión de aquellos que sí observamos. Así, esta creencia nos permite “asegurar” que la tabla correcta sería la siguiente:

Tabla 5: Escenario bajo supuesto de representatividad de la muestra.

Como podemos ver, la representatividad muestra UN escenario dentro de infinitos posibles.

Otro ejemplo clásico, y que nos afecta directamente en las decisiones que se toman en política pública, es la encuesta CASEN. Las y los ciudadanos no están obligados a responder la encuesta. De hecho, hay muchos que no reportan su salario, produciendo un vacío en la base de datos. Entonces, la primera pregunta es ¿cómo es que en la prensa se muestran los resultados tan fehacientemente si hay gente que no contestó? Para esto, consideremos el documento Medición de los ingresos y la pobreza en Chile, Encuesta CASEN 2022[2]. En la página 22 de este documento, se transparenta cómo se realiza la corrección por no respuesta, denominada “imputación de datos faltantes” (en palabras menos técnicas, esto significa llenar el vacío que producen las personas que no responden). En el documento se manifiesta lo siguiente:

 

La metodología definida para la imputación de datos faltantes a las preguntas de ingreso se basa en la técnica de imputación por medias, asignando a cada dato faltante (receptor) el valor declarado en promedio por los casos más similares posibles (donantes).

 

Así, el vacío que producen las personas que no reportaron su salario se llena con la información promedio de aquellos que sí lo reportaron y que tienen características similares. Lo anterior es denominado diseño de muestreo ignorable (Sugden & Smith, 1984). Es decir, en CASEN se supone una homogeneidad en los salarios cuando las personas tienen características similares. Lo anterior significa asumir que lo que no somos capaces de observar está fielmente representado por lo que sí podemos observar. Si la información vacía de una persona no se logra llenar, permanece vacía y se elimina del procedimiento de análisis.

Ahora, la gran pregunta es ¿y cómo entonces en la prensa se habla de chilenos y chilenas si hay personas que no contestan y, además, es sólo una porción de Chile? Una respuesta de usted lector o lectora es “la muestra es representativa” o “se usan fatores de expansión”. Ya discutimos anteriormente qué significa pensar que una porción de personas representa a otras. Ahora, ¿qué hay tras los factores de expansión? Para responder esta pregunta, ahondemos un poco en el documento que entrega el Instituto Nacional de Estadísticas, INE, que utiliza CASEN: Fundamentos de la nueva metodología de calibración de los factores de expansión de la Encuesta Nacional de Empleo[3]. Acá, en la página 14, se establece claramente que el factor de expansión descansa en el Principio de Representatividad, el cual afirma que “cada elemento incluido en una muestra se representa a sí mismo y a un grupo de elementos que no pertenecen a la muestra seleccionada, cuyas características son cercanas a las del elemento incluido en la muestra.” Más aún, en el mismo documento se afirma lo siguiente:

El Principio de Representatividad subraya una importante consideración respecto a qué condición hace que, un elemento dentro de la muestra seleccionada, sea un adecuado representante de otros elementos que no están en la muestra seleccionada: debe representar a elementos cuyas características sean similares a las suyas. En este sentido, por ejemplo, supongamos una población de elementos cuya única característica sea el sexo de las personas. Según el Principio de Representatividad, si el elemento de la muestra seleccionada corresponde a una mujer, entonces, dicha mujer, representa adecuadamente a otras mujeres que no están en la muestra, pero no representa adecuadamente a hombres que no están en la muestra, puesto que no comparten las mismas (en este caso, la única) características: ser mujer. De igual modo, por el Principio de Representatividad, resulta evidente que, por ejemplo, si un elemento de la muestra seleccionada corresponde a un hombre de 25 años, entonces, este representa adecuadamente a otros hombres de una edad similar, que están fuera de la muestra seleccionada pero, por ejemplo, no representa adecuadamente a hombres mayores de 80 años, que no están en la muestra; puesto que, aun cuando comparten una de las característica (ser hombres), la diferencia entre las edades, los lleva a ser diferentes.

 

Notemos que, nuevamente, las conclusiones basadas en factores de expansión son producto de creer fielmente en el supuesto de que lo que no observamos está representado por lo que si observamos. Sin embargo, debemos ser conscientes de que esto es un supuesto ya que es imposible saber el ingreso real de la persona que no lo reportó, por el simple hecho de que no lo reportó. Es importante recalcar que este supuesto, al igual que cualquier supuesto, es irrefutable ya que ante todo los valores no observados son eso: no observados (Manski, 2003) y podemos hacer cualquier conjetura sobre ellos.

Un hecho no menor, es que todo lo expuesto acá se encuentra documentado  y transparentado por las agencias que entregan los resultados, quienes son conscientes que trabajan bajo un supuesto para extraer conclusiones. Por ejemplo, CADEM determina en su ficha metodológica que:

 

Bajo el supuesto de que las opiniones de quienes rechazan contestar son iguales a quienes sí contestan, la magnitud de la tasa de rechazo no ofrece mayores inconvenientes, pero cuando existe evidencia de que ambos grupos tienen actitudes y percepciones heterogéneas sobre alguna materia, el rechazo puede introducir serias distorsiones en los resultados.

 

Entonces, somos los usuarios de la estadística quienes estamos llamados a leer, estudiar y entender qué hay tras todos los análisis y conclusiones que se entregan en la prensa o en redes sociales. Estamos llamados a no necesariamente creer firmemente que por que “lo dice la estadística”, entonces es verdad: es totalmente válido que algún ciudadano o ciudadana no crea que un grupo de personas representa fielmente a otro[4].

 

Referencias

·         Alarcón-Bustamante, E. (2022) Ignorar o no ignorar, esa es la cuestión.  Cuadernos de Beauchef. Ciencia, tecnología y cultura. 6 (1) 15-33.

·         Alarcón-Bustamante, E. (2023) Ignorabilidad: un supuesto clave en la dinámica de la inferencia estadística en Ciencias de la Salud. Inferencias: Boletín de Bioestadística 7 11-13.

·        Alarcón-Bustamante, E. Varas, I.M., & San Martín, E. (2023). On the impact of missing outcomes in linear regression. Chilean Journal of Statistics, 14 (1), 26-36. 

·         Imbens  G. (2000)  The  role  of  the  propensity  score  in estimating  dose-response  functions. Biometrika 87(3):706-710.

·         Manski, C. (2003). Partial identification of probability distributions. New York: Springer.

·         Rosenmbaum P, Rubin D. (1983) The central role of the propensity score in observational studies for causal effects. Biometrika 70(1):41-55.

·         San Martín, E. & Alarcón-Bustamante, E.  (2022) Dissecting Chilean surveys: the case of missing outcomes. Chilean Journal of Statistics, 13 (1), 17-46.

·         Sugden  R,  Smith  T. (1984)  Ignorable  and  informative designs  in  survey  sampling  inference. Biometrika. 71(3):495-506.