Hasta finales de noviembre, me encuentro en la Universidad de Utrecht (School of Governance), realizando una breve estancia de investigación relacionada con mi tesis doctoral. Uno de mis principales objetivos con esta estancia es el de profundizar en el desarrollo de metodologías experimentales dentro del sector público. Esto es, la puesta en marcha de estudios para conocer el comportamiento de los empleados públicos y ciudadanos en particular, y el de las administraciones en general, frente a ciertos estímulos.

En esta entrada de mi blog, me gustaría reflexionar sobre el estado de la metodología experimental en relación con la ciencia de la administración, entender los problemas con los que puede encontrarse, y plantear algunos de los posibles beneficios que este enfoque puede ofrecer. Un enfoque que, a pesar de la importancia y el interés que está despertando en la comunidad científica del sector público a nivel internacional, se encuentra poco desarrollado en España. Pero antes de comenzar, hagámonos la gran pregunta.

¿Metodología experimental?

Elton Mayo, en una imagen de Wikipedia. De sus famosos experimentos en la Western Electric Company, extraería Landsberger con posterioridad el conocido como “efecto Hawthorne”: el ser humano puede modificar su conducta cuando se siente observado.

Llegados a este punto, no me extrañaría que mucha gente se esté preguntando de qué carajo voy a hablar. Tengo una anécdota al respecto. En julio de este año, estuve en un curso ofrecido por la Universidad de Essex en colaboración con el CESS (Center for Experimental Social Sciences, Universidad de Oxford). Se trataba de un curso de iniciación al diseño experimental. Toda la clase esperaba que la primera lección, que la primera hora de clase, versase sobre la respuesta a la pregunta, ¿qué es un experimento? Sin embargo, la respuesta no llegó hasta la segunda semana de curso. Daban por hecho que la gente sabía lo que era. Y no hay que dar nunca nada por supuesto.

Un experimento en ciencias sociales consiste básicamente en la intervención por parte de un investigador en alguna actividad generadora de datos, con el propósito de manipular ciertos elementos y observar qué cambios se producen. Puesto que no podemos poner a empleados públicos o ciudadanos en “probetas” y a factores contextuales, políticos y sociales en “tubos de ensayo”, las condiciones y las variables independientes (aquellas que tratan de dar explicación al fenómeno) son recreadas o tenidas en cuenta en los desarrollos de diseño, mediante preguntas en cuestionario, o estudios previos de las condiciones, entre otros. La gran complicación a la que se enfrenta el diseño experimental es la propia complejidad del ser humano en su toma de decisiones (no siempre guiadas por la racionalidad) y la imposibilidad de recrear en un laboratorio ciertas condiciones, como sí es posible en las ciencias naturales.

Visto esto, hay múltiples formas de abordar un experimento. Es decir, hay muchos tipos de experimentos. Aunque creo que los cuatro más comunes en ciencias sociales son estos:

  • Experimentos de laboratorio. Entendamos “laboratorio”, por poner un ejemplo, como una o varias salas, con sus mesas y sillas, a veces con sus ordenadores, donde individuos son invitados a participar en alguna actividad. Habitualmente, esta actividad puede ser un juego, usado para revelar un comportamiento que puede responder teóricamente a la pregunta del científico. Las manipulaciones están contenidas en la actividad, y nunca sobre el trabajo o la vida diaria del individuo. Por ello, siempre queda la pregunta de si fuera del laboratorio se mantendría dicho comportamiento.
  • Experimentos online. Son un tipo amplio de experimentos, que se caracterizan por el medio en el cual se desarrollan: internet, un peculiar laboratorio. Estos experimentos varían, desde encuestas en plataformas online con ciertas manipulaciones incorporadas, experimentos asíncronos de laboratorio (con interacción secuencial), síncronos de laboratorio (con interacción simultánea de todos los participantes, donde el feedback que recibimos de otros es crucial), y hasta emulaciones de experimentos de campo. Algunos de los más interesantes en los últimos años se han llevado a cabo a través de plataformas de redes sociales y de crowdsourcing.
  • Experimentos con encuestas (online o presenciales). Son aquellos experimentos donde la manipulación se incorpora a través de cuestionarios, en una o varias preguntas. Pueden realizarse presencialmente, en laboratorios, pero también a través de internet.
  • Experimentos de campo. Son experimentos donde las modificaciones se introducen directamente en la vida o la actividad normal de los individuos. Habitualmente, se toman grandes poblaciones como muestras, y son realmente efectivos para revelar las preferencias reales de las personas. Sin embargo, los costos de la recolección de datos, su carácter prolongado en el tiempo y su difícil negociación, los hacen complicados de implementar.

Finalmente, para cada uno de estos experimentos se suele dividir a los individuos en dos grupos. Un grupo de control, sobre el que la cadena de generación de datos se mantiene en principio invariable. Y un grupo de tratamiento, en el que se produce la manipulación.

Más de 20 años de utilización de experimentos en el estudio de la gestión pública

En un artículo de 2016 en la revista científica International Journal of Public Sector Management (si tenéis oportunidad de acceder al mismo, os recomiendo su lectura), los profesores Stephan Grimmelikhuijsen y Robin Bouwman realizaron una revisión sistemática de los artículos publicados por la literatura académica en relación a gestión pública y empleo de metodología experimental, entre 1992 y 2014. Tres principales conclusiones pueden extraerse de su análisis en base a un total de 42 publicaciones:

  • Se ha producido una evolución en el uso de los experimentos para estudiar los procesos en las administraciones públicas, especialmente con muestras de mediano y gran tamaño. Con un aumento de estos estudios especialmente de 2013-2014 en adelante.
  • Los experimentos han versado principalmente sobre el rendimiento de los gobiernos, la toma de decisiones (co-producida con ciudadanos o no), y la comunicación de las administraciones con el ciudadano. Esos tres ítems sumarían más del 50% de artículos publicados usando metodología experimental en el sector público. Sin embargo, hay otras áreas como la transparencia, la confianza, el comportamiento individual de empleados y ciudadanos, o la motivación hacia el servicio público, que podrían beneficiarse también de esta metodología.
  • El tipo de experimento llevado a cabo en el sector público ha sido fundamentalmente a través de encuestas (36%), seguido de cerca por experimentos de campo (24%). El 67% de los estudios llevaban a cabo diseños básicos de investigación, y sólo un pequeño porcentaje se arriesgaba con diseños más innovadores y sofisticados como el uso de factoriales o medidas repetidas.

Además, el estudio demostró que una gran parte de los trabajos ya publicados en el ámbito de la gestión pública, trataban de tener el mayor realismo posible. Intentando que las manipulaciones y los estímulos a los que se sometían los individuos fuesen lo más cercanos a su condición en la vida real. Tratando, en ese sentido, de garantizar una mayor validez externa (es decir, mejorar la capacidad de generalización de resultados y de conocimiento).

¿Qué puede aportar la metodología experimental a la gestión pública?

En primer lugar, y aunque aquí hablo fundamentalmente desde un punto de vista académico, eso no significa que cualquier directivo público preocupado por el funcionamiento de su organización o por entender ciertas dinámicas de implementación de una determinada política o procedimiento no pueda llevar a cabo su propio experimento. Creo que la metodología experimental puede aportar nuevas vías de estudio y de mejora de procesos a la gestión pública. A modo de ejemplo, puede:

  • Acercarnos al comportamiento de ciertos grupos de individuos dentro de una organización, especialmente si contamos con acceso a una gran muestra de individuos de esa organización. Por ejemplo, uno de los más interesantes podría ser el estudio de la denominada “street-level bureaucracy”, es decir, de los funcionarios de ventanilla que tienen más contacto con el público y la existencia, aunque intuitivamente puede parecer lo contrario, de una alta discrecionalidad en ellos. Este tipo de experimentos pueden ser esenciales, especialmente por las transformaciones futuras a las que parece que este grupo de empleados públicos estará sometido en todo el mundo con la llegada, entre otros, de la inteligencia artificial. Me encantaría escribir en un futuro cercano una entrada en mi blog sobre la street-level bureaucracy, por lo que no hablaré mucho más aquí de este tema. Pero mientras, recomiendo al lector pegarle un vistazo al libro de Michael Lipsky “Street-level bureacracy, dilemmas of the individual in Public Services”.
  • Acercarnos al comportamiento y las percepciones reales de los ciudadanos con respecto a nuestros servicios públicos. A través de experimentos podría comprobarse cómo decisiones de política pública afectan a ciertos grupos sociales.
  • Entender mejor la cultura de una organización, los factores que la llevan a evolucionar y la forma de introducir cambios en la misma. Observar con ello, por ejemplo, cómo un cambio en una práctica puede quedar paralizado por reglas informales prevalentes en una organización pública.
  • Entender mejor el viaje de los procesos y las prácticas administrativas. Es decir, cómo una medida concreta desciende a través de una organización, qué resistencias y qué disfunciones encuentra. 
  • Dar explicaciones a cómo elementos del entorno de la organización pueden tener un impacto en su actividad diaria. Por ejemplo, se pueden realizar experimentos para estudiar, entre otros, las motivaciones reales de los empleados públicos hacia su actividad profesional, así como formas de mejorar la calidad de esta.

Los problemas de la utilización de experimentos en el sector público

Los posibles problemas variarán en función del tipo de experimento llevado a cabo, así como del diseño escogido. Algunos de ellos, pueden atenuarse en la fase de análisis de resultados, mientras que otros deben ser tenidos muy en cuenta en el proceso de diseño. Sin ánimo de ser exhaustivo, diría yo que tenemos:

  • Cuestiones éticas. Especialmente en ciertos tipos de experimentos, se juega con el comportamiento de las personas, o se les puede inducir a engaños para que incluso actúen de forma contraria. En muchos casos, los experimentos en el sector público pueden llevarse a cabo mediante análisis de la relación entre administración y grupos sociales con una sensibilidad especial (por ejemplo, respecto al impacto de ciertas políticas públicas). Es importante antes de llevar a cabo el experimento tener en cuenta estas cuestiones. En muchos casos, si son especialmente sensibles, sería conveniente tener el beneplácito de una comisión ética.
  • Cuestiones de diseño. Una gran parte de los experimentos se consideran como “fallidos”, convirtiéndose en muchos casos en datos meramente observacionales. Esto es así habitualmente por problemas de diseño. Por ejemplo, uno de los más interesantes es el problema de la denominada “attrition” (deserción o agotamiento), que puede ser fácilmente producida dependiendo del grupo de empleado público al que se dirija el estudio, de su carga o de la experiencia en estudios similares o diferentes. Un problema mayor puede venir dado si esa deserción es causada por características individuales no tenidas en cuenta, pudiendo contaminar completamente el experimento incluso tras mediar una aleatorización (imaginemos que un determinado grupo de individuos no quiere participar en una actividad relacionada con la informática de la organización, por no tener manejo suficiente de ordenadores).
  • Cuestiones de implementación. Asegurarnos de que las personas que están siendo sometidas al experimento comprenden bien la actividad a realizar, o detectar en el laboratorio si se está produciendo alguna actividad paralela que pueda contaminar el estudio (por ejemplo, que por algún casual grupo de control y de tratamiento lleguen a encontrarse durante la realización del experimento).

Esperando que os haya podido resultar útil e interesante, me despido desde los bosques holandeses de Veluwe 😉

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión /  Cambiar )

Google photo

Estás comentando usando tu cuenta de Google. Cerrar sesión /  Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión /  Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión /  Cambiar )

Conectando a %s

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios .