Drogas, prevención, evidencia y humo

Diversidad
La imagen está tomada de la galería de Mario Inoportuno en Flickr.

¿Tu programa está evaluado?

Una de las “escenas temidas” de mi experiencia como ponente y formador ha sido siempre la consabida pregunta sobre los resultados de la evaluación: “vale, interesante lo que cuentas, pero…” Y ahí te clavan el cuchillo con un brillo inquisitorial en la mirada: “¿ese programa está evaluado?” Lógico, ¿no? A veces la pregunta se formula con verdadero interés, tratando de conocer si el programa podía mostrar resultados reconocibles o era solo humo. Así planteado, el debate era bienvenido. Otras veces la pregunta se usa como arma arrojadiza, y entonces resulta más molesta.

La evaluación nunca tuvo más sentido que ahora, dada la escasez de recursos. Si nunca debieron admitirse intervenciones que no hubieran acreditado su eficacia, en estos tiempos de recortes debería ser obligado. He participado en el diseño, coordinación y ejecución de varias evaluaciones de programas preventivos. De proceso y de resultados; local, autonómica e incluso de corte transnacional. Soy tan consciente de su necesidad como de su complejidad. Y de cierta esterilidad, ya que no necesariamente quien contrata programas preventivos se interesa por la evaluación realizada (cuando se ha hecho) ni sus resultados.

Creo que no deben aplicarse programas preventivos que no se basen en la evidencia científica disponible (siempre provisional y limitada), ni hayan mostrado en sus evaluaciones resultados positivos. Basarse en la evidencia significa, en pocas palabras, que el modelo conceptual en el que se fundamentan haya acreditado eficacia en estudios anteriores, siendo aceptado su valor por “la comunidad científica” en el campo del que se trate (la prevención de las drogodependencias, en este caso).

Evaluación cuantitativa y deshumanización

Tengo que confesar que soy más partidario de las evaluaciones de corte cualitativo. No quiero decir que las cuantitativas no deban existir. Es evidente que pueden aportar muchos datos de interés. Pero me parecen demasiado rígidas para aplicarse a personas. Oigo hablar de modelos “experimentales” o “quasi experimentales” y me da como repelús. Me explico. Vas a evaluar la eficacia de la intervención X, para lo que necesitarás:

  • Un grupo experimental (GE) al que aplicar X.
  • Un grupo control (GC) al que no se aplique X, ni ninguna intervención similar, para no “contaminar” el proceso.
  • Seleccionar una muestra del universo al que va dirigida X.
  • Asignar aleatoriamente dicha muestra a GE o GC.
  • Identificar las variables sobre las que X supuestamente incide.
  • Elaborar un cuestionario que investigue tales variables y validarlo para confirmar que realmente las mide.
  • Medir dichas variables en GE y GC antes de aplicar X a GE (pretest).
  • Cotejar tales mediciones para asegurar que ambos grupos son homogéneos con respecto a las variables clave de tu estudio.
  • Repetir dicha medición tras la aplicación de X a GE (postest).
  • Procesar estadísticamente los datos para comparar GE-postest con GE-pretest y monitorizar posibles cambios (estadísticamente significativos).
  • Repetir este proceso comparando GC-postest con GC-pretest para identificar posibles cambios resultados de la evolución natural del grupo.
  • Comparar GE-postest con GC-postest para determinar si la homogeneidad inicial que hacía a ambos grupos equivalentes se mantiene o, como esperas, la situación de GE supera de manera estadísticamente significativa a la de GC para las variables clave sobre las que supuestamente actúa X.
  • Repetir este proceso final al menos 1, 2 y 3 años después de la aplicación de X a GE, asegurándote de que GC no ha recibido en ese periodo X ni intervenciones  similares.

Que me perdonen los eruditos por esta simplificación. Y los profanos por el abuso. Bien, ¿estamos hablando de cobayas de laboratorio cuyas condiciones pueden controlarse con bastante rigor? No, hablamos de seres humanos. Por ejemplo, de adolescentes. Veamos:

  • X es el programa de prevención (universal, selectivo…) cuya eficacia quieres determinar.
  • El universo de tu estudio son estudiantes de 14 años.
  • GE y GC son un número Y de aulas que tu proceso de selección ha identificado como muestra y asignado a uno u otro grupo al azar.
  • Tienes que mantener el control sobre las condiciones experimentales mientras dura la aplicación del programa al grupo de adolescentes de GE y, si quieres que la “comunidad científica” atribuya algún valor a tu estudio, 1, 2 e incluso 3 años después.

¿Imposible? Bueno, hay experiencias. Sobre todo norteamericanas, y también alguna europea en la que participado. Pero la complejidad, el coste y, con frecuencia, la relatividad de los resultados (variables que mejoran, otras que se mantienen inmunes, algunas que empeoran…) hacen de este modelo una práctica difícilmente generalizable. Sin entrar en la imposibilidad de mantener en las ciencias sociales el control experimental procedente de las ciencias naturales.

Me quedo con la evaluación cualitativa

Por eso me interesa más la evaluación cualitativa. Que también es estadísticamente procesable, para que se queden tranquilos los adoradores del número. Utilizando muestras menores y la metodología adecuada en cada caso, tratarás de llegar allí donde el número se muestra insignificante: los entresijos de aquellas personas que han participado en tu propuesta (¿qué significado atribuyen a la experiencia preventiva en la que han participado?) Nadie dice que sea fácil conducir estos estudios ni mantener razonablemente a raya la subjetividad del evaluador. Pero, frente a las dificultades de la evaluación cuantitativa, la riqueza de datos  justifica utilizar este otro modelo. Quizás se evaluaría más, con métodos y datos no desdeñables, si nos sacudiéramos la obsesion cuantitativista.

Solo deberían aplicarse programas preventivos basados en la evidencia y que hayan mostrado resultados positivos en su evaluación. El resto es humo, confusion, ruido, que poco aporta al conocimiento “científico” de la prevención. Pero evidencia y eficacia no son, necesariamente, equiparables a complejos estudios cuantitativos, sino que hay otras formas, de corte cualitativo, que bien diseñadas pueden ofrecer información suficiente acerca del sentido de los programas.

Anuncios