Evidencia y prevención: la cuestión no es si evaluar o no, sino cómo hacerlo

La fotografía se titula "Ciencia" y pertenece a la galería de Fernando Arconada en Flickr.
La fotografía se titula “Ciencia” y pertenece a la galería de Fernando Arconada en Flickr.

La ingenua idea de que los datos existen ‘en la naturaleza’ y pueden recopilarse o descubrirse sin más, sin que debamos dar cuenta de las herramientas que utilizamos, los sistemas de conocimiento que las subyacen y las múltiples capas de interpretación humana que intervienen en el proceso es una de las características distintivas del reduccionismo de la información. Evgeny Morozov. La locura del solucionismo tecnológico.

He escrito antes sobre la necesidad de promover programas de prevención del abuso de drogas basados en la evidencia. Creo en ello. No me parece que todo valga, por loables que sean las intenciones. Necesitamos algún fundamento, alguna prueba que ayude a tomar decisiones sobre mantener o desterrar políticas y programas. Por eso me parece que pueden ser útiles iniciativas como el Best practice portal del EMCDDA, por citar un ejemplo. Sin embargo, en esta búsqueda de la evidencia conviene no incurrir en simplificaciones excesivas, por lo que pueden ser necesarias otras consideraciones, de naturaleza más antropológica que técnica. A fin de cuentas, en prevención trabajamos con personas y no con cobayas.

“Nada humano me es ajeno” (Terencio)

Si consideras que la realidad humana es comprehensible y comprensible a partir de los procedimientos de las llamadas ciencias experimentales, es probable que te interesen diseños evaluativos experimentales, de corte cuantitativo. Aceptarás a regañadientes los modelos quasi experimentales (el hermano pobre del rigor cientifista) y, de ahí para “abajo”, observarás las demás intentonas evaluativas con cierto desdén o conmiseración, recluidas en el cubo de basura de lo “no-experimental”. Las metodologías cualitativas te parecerán “cosas de los de letras”, esas personas sin formación científica de verdad, que plantean reflexiones evanescentes sobre asuntos difusos. Así que, puestos a evaluar, te armarás de valor y te dirás, “venga, vamos allá a por ese diseño riguroso”. Un modelo que, sin embargo, no se libra de debilidades, limitaciones y riesgos de desatender dimensiones relevantes de nuestra constitución humana. Veamos algunas.

  1. La realidad humana es incognoscible: Nos agarramos a los avances de las neurociencias porque nos resulta incómoda la incertidumbre que rodea al conocimiento de “lo humano”. Nos asimos en el ámbito de la psicología a planteamientos cognitivo-conductuales porque necesitamos una formulación de apariencia científica que resulte tranquilizadora, confrontados con el aparente sinsentido de tantas conductas. Pero la realidad humana, ese conglomerado confuso e inestable de rasgos, actitudes, valores, ideas, creencias, metáforas… no es objetivable, no es aprehensible a través de los procedimientos de las ciencias experimentales. Nos escapamos del laboratorio, para desesperación de quienes, sosteniendo una mirada fragmentaria de la compleja vida humana. patinan sobre la superficie quebradiza de eso que hemos convenido en llamar “realidad”.
  2. El método científico, una aproximación: Para evaluar hay que comparar (un grupo con otro, un momento con otro…) Para comparar hay que medir (línea base, estados posteriores…) Para medir hay que disponer de la tecnología adecuada, generalmente una batería de ítems en forma de cuestionario (no tan corto que no indague en nada; no tan largo que aburra al personal –perdón, a la muestra-). Para disponer de un cuestionario hay que tener una batería de indicadores que reflejen la realidad que queremos medir. El problema filosófico es que entre la realidad (vaporosa, compleja, líquida) y los indicadores que (supuestamente) la miden hay a menudo un abismo. Y pretender que un cuestionario de 50 ítems pasado a una muestra adolescente da una imagen cabal de su realidad… quizás mucho suponer.
  3. El azar que nos gobierna: Todo el andamiaje tecnológico de las evaluaciones experimentales (bueno, quasi, que de las otras apenas hay) consiste en un intento desesperado de controlar la influencia del azar. Pero quítale a “lo humano” el azar y ¿qué queda? Algunas secreciones y poco más. Claro está que no somos solo azar, pero no es ésta una mera variable que quepa controlar de manera absoluta. Es parte consustancial a nuestra realidad humana, por lo que recortarla es tanto como mutilar esa misma realidad. Y si actuamos de ese modo, ¿al final qué es lo que estamos conociendo? ¿A un ser humano desprovisto de algunas de las cualidades que lo definen? Un desafío epistemológico considerable el que plantea la evaluación. Algo que va más allá de meras soluciones técnicas.
  4. La asepsia improbable del laboratorio: “Los resultados de la evaluación son estadísticamente significativos, es decir, no debidos al azar”, dirá el evaluador, satisfecho. La significatividad estadística, ese oscuro objeto de deseo de quien evalúa. Sin embargo, lo que eso significa es que, aplicado de nuevo en las mismas condiciones de higiene (cosa harto improbable), el programa evaluado obtendría (seguramente) parecidos resultados. Pero fuera de la asepsia del laboratorio, es decir, una vez contaminado por la realidad, desconocemos la eficacia de ese programa. Y, claro, los programas se crean para mejorar la realidad, y no para mostrar eficacia en experimentos irreplicables. Puedes controlar mejor la influencia del azar con tu diseño y tus cálculos estadísticos, pero inferir de ahí que el programa X puede aplicarse en realidades ajenas al laboratorio es una acrobacia conceptual que me parece de todo menos científica. Si has estudiado con ratas sometidas al control más absoluto (que no es el caso), tu programa es útil para ratas que se encuentren en tales condiciones. Cualquier otra extrapolación, pura metafísica.

Mi experiencia como evaluador

No soy experto en evaluación, pero tampoco me considero un ignorante en la materia. Algo escéptico, quizás. Pero en los últimos 25 años he sido responsable de al menos media docena de evaluaciones ubicables en distintas dimensiones de ese continuum entre lo no-experimental y lo (quasi) experimental. Evaluaciones de diverso alcance (local, autonómico e internacional). Las he acometido siempre con curiosidad y (razonable) rigor. He dirigido evaluaciones y participado en procesos dirigidos por otras personas. He realizado diseños, elaborado muestras, confeccionado y validado cuestionarios… He realizado evaluaciones de proceso y de resultados, cuantitativas, cualitativas y mixtas. He analizado datos, he redactado informes… Mal que bien, me ha tocado estar en varios de los momentos de una evaluación (trabajo de campo incluido). Esta experiencia me ha ayudado a entender que los datos son, sobre todo, números que hay que interpretar, y que en ese proceso quien evalúa, siempre a la búsqueda de la magia de la significatividad estadística, construye la realidad (traduttore, traditore).

La belleza arriesgada de lo cualitativo

Así las cosas, me declaro partidario de la evaluación cualitativa. Es que soy “de letras” hasta la médula. Ya escribí al respecto en Drogas, prevención, evidencia y humo. Por supuesto, tiene sus sesgos, relacionados con el tamaño de las muestras, con su representatividad y con una mayor presencia de la subjetividad de quien evalúa en la interpretación de los resultados. Pero también tiene su riqueza, relacionada, para mi gusto, con su mayor capacidad para trascender el frío esquematismo del número y ahondar en la manera en que las personas construyen la realidad (la experiencia vivida mediante la aplicación del programa de prevención X, en el caso que nos ocupa). Ante la necesidad de evaluar y la dificultad para aprehender “lo humano” mediante procedimientos (quasi) experimentales, me parece que una apuesta más abierta por la evaluación cualitativa sería bastante prometedora. Merece la pena intentarlo. Sin despreciar el número, pero ayudándolo a ser de verdad significativo.

Cambiar el lugar desde el que se mira a veces cambia también la mirada. Metáforas que nos piensan. Sobre ciencia, democracia y otras poderosas ficciones. Emmánuel Lizcano.

Anuncios

2 pensamientos en “Evidencia y prevención: la cuestión no es si evaluar o no, sino cómo hacerlo”

Los comentarios están cerrados.