Rita Louzán Mariño es doctora en Procesos Psicológicos y Comportamiento Social por la USC. Profesora en la Escuela Superior de Ingeniería y Tecnología de la UNIR. Miembro desde el año 2017 del Comité Técnico de Normalización en AENOR sobre Riesgos Psicosociales. Sus líneas de investigación se centran en la mejora de los métodos de prevención de los riesgos psicosociales y ergonómicos de origen laboral.
<p>A pesar de ser etiquetados como la epidemia del siglo XXI, los riesgos psicosociales apenas son evaluados por las organizaciones. La ausencia de una cultura preventiva, el escaso control de fuentes de error en las mediciones o la falta de formación específica podrían explicar la dificultad de evaluar estos riesgos. En este sentido, el principal objetivo de esta investigación estriba en sacar a la luz las posibles debilidades que entorpecen las evaluaciones de riesgos psicosociales de origen laboral, y con ello poder mejorar la prevención de la salud mental y física de los trabadores expuestos al estrés laboral. Se ha realizado consulta directamente a un grupo de reputados académicos y profesionales expertos en la materia, utilizando la metodología Delphi<bold>. </bold>Los resultados muestran, por una parte, un elevado consenso sobre las principales fuentes de amenaza. Por otra parte, dichos expertos sugieren una serie de directrices prácticas. Como conclusión son identificadas, según el juicio experto, variedad de amenazas que debilitan las evaluaciones psicosociales, a la vez que se recomiendan estrategias de mejora para realizar las evaluaciones de riesgos psicosociales.</p>
Despite being labeled as the epidemic of the 21st century, psychosocial risks are hardly evaluated by organizations. The absence of a preventive culture, the limited control of sources of error in measurements or the lack of specific training could explain the difficulty of assessing these risks. In this sense, the main objective of this research is to bring to light the possible weaknesses that hinder the evaluations of psychosocial risks of work origin, and with this to be able to improve the prevention of mental and physical health of workers exposed to work stress. A group of renowned academics and experts in the field was consulted directly, using the Delphi methodology. The results show, on the one hand, a high consensus on the main sources of threat. On the other hand, these experts suggest a series of practical guidelines aimed at strengthening these evaluations. In conclusion, according to expert judgment, a variety of threats that weaken psychosocial evaluations are identified, while improvement strategies are recommended to carry out psychosocial risk evaluations.
Los factores psicosociales son condiciones psicológicas del trabajo que como tales pueden ser positivas y negativas. De acuerdo con Moreno y Báez (2010)
En este sentido, existe abundante literatura científica que señala al estrés laboral como principal responsable de infinidad de daños a la salud de los trabajadores (Moreno y Báez, 2010)
Los efectos del estrés no se circunscriben únicamente a la salud de las personas, también tienen efectos nocivos en las propias organizaciones. Según la Inspección de Trabajo y Seguridad Social (ITSS, 2021)
A pesar de su evidente relevancia, apenas se tienen en cuenta los riesgos psicosociales en su planificación preventiva, así se desprende de la reciente ESENER-3 (EU-OSHA, 2019)
Una de las debilidades de las evaluaciones de riesgos psicosociales puede estar relacionada con la controversia generada por la falta de legislación específica que arroje luz sobre cómo evaluar dichos riesgos (Velázquez, 2020)
El inconveniente es que no existe un consenso profesional sobre las herramientas a utilizar, y pocas han demostrado contar con propiedades psicométricas satisfactorias (Moreno y Báez, 2010)
Con todo, no basta contar con herramientas fiables y válidas, es preciso hacer un uso profesional de ellas y tratar de minimizar las posibles fuentes de error (Louzán, 2020)
Por tanto, es esencial contar con profesionales expertos y con formación específica en evaluar riesgos psicosociales, pues evaluar este tipo de riesgos va mucho allá de administrar e interpretar los resultados de un cuestionario (INSST, 2022
En definitiva, la falta de legislación específica, la falta de consenso sobre el uso de metodologías adecuadas, su incorrecta aplicación o el déficit de profesionales cualificados han configurado lo que Niño (2006, p.30)
A tal efecto, la presente investigación surge debido a la falta de trabajos científicos que examinen específica y detalladamente las dificultades inherentes a las evaluaciones de riesgo en el ámbito de la Psicosociología Aplicada a nivel nacional, en particular desde una aproximación cualitativa. Concretamente, este trabajo tiene como principal objetivo conocer el juicio experto acerca de las principales debilidades que afectan a las evaluaciones de riesgo psicosocial en España.
De ese modo, se diseñó un estudio Delphi en el que 20 expertos del ámbito académico y profesional fueron invitados a tomar parte en una encuesta. El grado de consenso obtenido y las posibles opiniones divergentes permitirán componer un escenario real sobre las principales debilidades o amenazas que atañen a las evaluaciones de riesgos psicosociales y, a su vez, permitirán identificar acciones dirigidas a mejorar su validez.
La presente investigación se ha basado en la aplicación de método Delphi (Dalkey y Helmer, 1963)
Se trató de definir el problema de investigación en base a la revisión teórica del estado de la cuestión. Para ello, fueron consultadas numerosas fuentes especializadas, como libros, revistas, legislación, recomendaciones del INSST y de la ITSS, además de explorar diversas bases de datos bibliográficas: Medline, ProQuest, PsycInfo, Science Direct Scifinder y SCOPUS. Fruto de esta exploración, se han extraído las principales cuestiones referidas a la problemática de evaluar riesgos psicosociales. Se hizo especial hincapié en el uso de medidas de autoinforme, pues según la literatura, forman parte de la polémica. De este modo se han articulado los principales ejes de discusión y, a partir de ellas, se ha diseñado la formulación del primer cuestionario con ítems cerrados y abiertos.
Para formar parte de dicho panel, se han escogido por un lado académicos del ámbito de la Psicología con actividad investigadora en riesgos psicosociales, y, por otro, técnicos de prevención en activo, especializados en la prevención de riesgos psicosociales, ambos con conocimiento y experiencia en la temática a nivel nacional.
La parte más importante de todo el proceso es la relativa a la selección de los expertos, pues en este tipo de estudios la credibilidad y la fiabilidad la otorga la calidad del grupo seleccionado (Okoli y Pawlowski, 2004)
A. Enfoque cualitativo
Atendiendo a la calidad de los participantes, se ha realizado la selección según la facultad del sujeto de aportar información relevante a la investigación. Se han utilizado requisitos de selección muy rigorosos, como es la combinación de criterios de trayectoria académica y profesional (biograma) con la autoevaluación del propio experto (self ratings) sobre sus conocimientos en la temática a tratar (Cabero y Llorente, 2013
Esta metodología está fundamentada en la cualimetría elaborada por el Comité Estatal para la Ciencia y la Técnica de Rusia en el año 1971. Se emplea para determinar el coeficiente de competencia de un candidato como experto, siendo “1” el valor máximo (Burguet et al., 2019)
Fuente. Elaboración propia
El criterio fijado para la presente investigación ha sido un exigente K ≥ 0.8 (Marín-González et al. 2021)
B. Enfoque cuantitativo
Según la literatura de referencia, el número de sujetos idóneos para conformar el panel se encontraría entre 7 y 35 participantes (López-Gómez, 2018)
Atendiendo a estas premisas, se ha querido conseguir una muestra encuadrada en dichos parámetros. Se comenzó realizando una búsqueda de psicólogos con publicaciones originales sobre el tema de estudio en las bases de datos bibliográficas PsycInfo, Science Direct y Dialnet. Para la identificación de técnicos de prevención especializados en riesgos psicosociales, se utilizó la técnica de Snowball sampling (Hernández-Sampieri y Mendoza, 2018)
De todos ellos, aceptaron participar 20 expertos (17.00% de los invitados). Un 15% declinaron participar por falta de tiempo y el resto no contestaron a la propuesta. Al utilizar como medio de contacto direcciones de email halladas por internet, no existe la certeza de que dichos correos electrónicos se encuentren actualizados y, por consiguiente, no se puede asegurar que todas las invitaciones hayan llegado a sus destinatarios. Una vez aplicado el tamiz del self rating (K ≥ 0.8), la muestra quedó compuesta por un total de 16 miembros.
Sobre el número de rondas necesario, tampoco existe un consenso establecido. No obstante, utilizar un número excesivo de rondas para intentar reducir la inestabilidad o la falta de convergencia de opiniones, dilatará desmesuradamente la duración del estudio, pudiendo fomentar el cansancio de los panelistas e incitarlos al abandono o, lo que es peor, a un consenso forzado (Brill et al., 2006)
En el cuerpo del mensaje de la primera ronda, se realizó un escrito de presentación informando del objetivo de la investigación y de las instrucciones para rellenar el test.
Los cuestionarios utilizados en ambas rondas fueron confeccionados garantizando el anonimato de cada participante, incluyéndose ítems tanto cualitativos como cuantitativos. Los ítems cuantitativos utilizados son de escalamiento tipo Likert de 5 niveles, con los siguientes calificadores lingüísticos: totalmente en desacuerdo (1), en desacuerdo (2), indeciso (3), de acuerdo (4) y totalmente de acuerdo (5).
Primera Ronda (R1)
La primera vuelta consistió en el envío del primer cuestionario a cada uno de los 117 expertos seleccionados. El cuestionario enviado en la R1 estaba compuesto por 32 ítems (Tabla 1)
Los ítems cerrados fueron generados a partir de la revisión narrativa y los ítems abiertos se formularon de modo que los expertos pudiesen introducir otras variables no observadas en el cuestionario. De acuerdo con su contenido, el cuestionario fue dividido en 4 apartados:
1. Afirmaciones generales
2. Diseño de los instrumentos de medida que evalúan riesgos psicosociales
3. Modo de aplicación de estos instrumentos; y, por último
4. Corrección e interpretación de los resultados.
Además de los ítems objeto de estudio, se incluyó una pequeña batería de preguntas de autoevaluación destinada a conocer el Coeficiente de competencia de experto (K).
Una vez recibidas las respuestas al primer cuestionario, se confeccionó la lista definitiva de panelistas, atendiendo al filtro de grado de experto alcanzado (K). Cumpliendo esta premisa, el panel quedó definitivamente conformado por los 16 expertos.
Segunda Ronda (R2)
En vista de los resultados alcanzados en la R1, el propósito de la segunda vuelta fue promover el consenso, obteniendo una menor dispersión de respuestas. Con ese fin, se devolvió el cuestionario a los 16 panelistas participantes, informándoles de los resultados alcanzados en la R1 con objeto de ofrecer retroalimentación y promover así un mayor consenso. Los expertos, a la luz de los resultados de la primera ronda, pudieron reconsiderar y modificar sus respuestas. Este cuestionario siguió la misma estructura que el primero a excepción de las preguntas abiertas, cuyas respuestas se transformaron en 32 ítems cuantitativos y fueron incorporadas a modo de sumario, de modo que todos los participantes pudiesen conocer las aportaciones realizadas y valorarlas nuevamente según el formato Likert de 5 puntos descrito anteriormente.
La participación en esta ronda resultó mejor de lo esperado, al obtener una nula tasa de abandonos (0%), lo que refuerza la teoría de que un menor número de rondas favorece la motivación de los panelistas y reduce los índices de abandono (Brill et al., 2006)
El tratamiento de los datos siguió un proceso riguroso y meticuloso con el fin de conseguir interpretaciones exentas de la máxima subjetividad posible. Según esto, se diseñó el tratamiento estadístico de los ítems cuantitativos para obtener, por un lado, un análisis de los niveles de consenso en cada una de las iteraciones y, por otro lado, para establecer la estabilidad entre rondas.
Se han utilizado las medidas típicas de este tipo de estudios (López-Gómez, 2018
Fuente. Elaboración propia.
*Ítems cualitativos
Para discriminar los reactivos con consenso de aquellos que no alcanzasen acuerdo o resultasen indeterminados, se utilizaron los dos criterios establecidos en Boix et al. (2008)
Fuente. Elaboración propia.
Además del consenso, al final de las iteraciones se exploró el grado de estabilidad entre rondas. Independientemente del grado de convergencia alcanzado, se entendería por estabilidad la no variación estadísticamente significativa de los juicios de los expertos (Landeta, 2002)
Respecto a las respuestas de las preguntas abiertas recabadas en la primera ronda, éstas se presentaron convertidas en 32 ítems cerrados en el segundo cuestionario. Cada uno de los ítems se presentaron ordenados de acuerdo con los siguientes criterios: primero se ordenaron de forma decreciente de acuerdo con el valor de la media aritmética y, en segundo lugar, se ordenaron por el valor del RIR. Asimismo, se complementó la información con los porcentajes de acuerdo, tanto a favor como en contra, y con la mediana (Me). Se categorizarían estas cuestiones como relevantes si combinaban valores de preferencia y consenso con alta significación; es decir, si cumplían los siguientes criterios: Me ≠ 3, frecuencia de respuesta ≥ 75%, y RIR ≤ 0.5.
Los resultados de los ítems sobre los que se alcanzó consenso se muestran en la Tabla 3. En la primera ola se observaron 15 ítems en los que el grado de acuerdo fue máximo. De hecho, la mediana fue para todos estos ítems ≥ 4; es decir, el sentido del consenso “a favor”.
En la 2ª ronda del estudio Delphi los mismos panelistas volvieron a reflexionar sobre todos los ítems, incluso aquellos que alcanzaran consenso en la R1. En esta nueva ola, se redujo notablemente el porcentaje de respuestas dudosas o de indecisión (C3) y se incrementó el grado de acuerdo favorable en todos y cada uno de los ítems (Me ≥ 4), a excepción de los ítems A13) y A20). Respecto al ítem A15, se ha hallado una tasa de acuerdo a favor del 68.75% y un RIR ≤. 50 (superando el consenso mínimo exigido), si bien sólo sobrepasa tímidamente los límites de dispersión fijados.
Fuente. Elaboración propia.
Según los criterios establecidos, 18 ítems (casi un 80% del total), fueron consensuados en la R2, lo que representa un grado de convergencia muy alto (Sumison, 1998)
En la Tabla 4 se presentan los resultados de los ítems indeterminados y de los que no alcanzaron un acuerdo aceptable tanto en R1 como en R2. En la primera ronda, los resultados del análisis han mostrado que 9 ítems (37.5%) no lograron alcanzar un acuerdo mínimo. Por su parte, en la segunda vuelta los panelistas reconsideraron favorablemente 3 ítems de los 9 no consensuados en R1, concretamente, los ítems A19, A21y A22. Teniendo en cuenta que la pregunta 10b se eliminó de este análisis, sólo 5 ítems no lograron una convergencia significativa ( > 67%), aunque se observó que al menos el 50% de los expertos se posicionaba a favor.
La estabilidad grupal mide la respuesta conjunta del grupo cuantificando la variación de la distribución de las respuestas de una ronda en comparación con la anterior. Es una medida menos fuerte que la individual, pero de mayor relevancia al tener en cuenta que lo que interesa es la fiabilidad de las respuestas del grupo de expertos en su conjunto (Landeta, 2002
En este sentido, se consideraría que se alcanzó un grado de estabilidad suficiente entre las Rondas 1 y 2 cuando, medida de diferentes formas, los valores fuesen los siguientes: -0,25 ≤ VRIR ≤ 0,25 y ≤ 0.27.
Fuente. Elaboración propia.
Fuente. Elaboración propia.
El análisis de la variación de los dos coeficientes de dispersión (VRIR y ) revela que a excepción de los ítems A16, A22 y A25, que sobrepasan los índices preestablecidos, el resto de ítems (86.96%) reflejan índices de estabilidad muy reducidos. Los signos negativos señalan un incremento en la variación, lo cual ocurre en cinco de los ítems (21.74%) y que revela que la segunda administración del cuestionario ha servido para hacer madurar las opiniones de los expertos participantes. En tal sentido, se ha observado una elevada estabilidad grupal entre las rondas.
Los ítems cualitativos se han dividido en dos bloques. Por un lado, se encuentran las respuestas a las cuestiones semicerradas A10a y A17a (Tabla 6), que incluían la opción “otros”, y por otro lado se recogen las aportaciones realizadas por los expertos en cada una de las dimensiones en las que se dividió el cuestionario, incluyendo además el apartado final de observaciones (Tabla 7).
Fuente. Elaboración propia.
Respecto a las cuestiones semicerradas del ítem A10a, como recoge la Tabla 6, el grado de consenso es muy elevado. Todos los ítems presentaron una Me ≥ 4 con porcentajes de acuerdo “favorable” que oscilan entre el 100% y el 79% . Por su parte, las cuestiones incluidas en el ítem A17a también presentaron Me ≥ 4, si bien el porcentaje de acuerdo favorable no superó el 80%.
Finalmente, las observaciones aportadas por los expertos en la R1 e incluidas como ítems cuantitativos en la R2 también generaron un elevado consenso, tal y como muestra la Tabla 7, incluso 3 de estos 9 comentarios alcanzaron una Me ≥ 5 y un porcentaje de acuerdo favorable del 100%.
Fuente. Elaboración propia.
El presente estudio pretendía explorar las principales debilidades de evaluar riesgos psicosociales, haciendo especial hincapié en los autoinformes como herramienta de medición de las condiciones de trabajo. Para ello, a través de un estudio Delphi fueron consultados 16 reputados expertos del ámbito académico y profesional, que debían mostrar su grado de acuerdo o desacuerdo con: (a) los 25 enunciados extraídos de la revisión científica y (b) con 35 nuevos reactivos construidos a partir de la formulación individual de los propios expertos, que en su mayor parte consisten en recomendaciones para corregir los puntos débiles de las evaluaciones de riesgo psicosocial.
Los hallazgos más relevantes están en línea con los teóricos, pues los resultados revelan que los expertos están de acuerdo con casi el 80% de los ítems cuantitativos presentados. Incluso, 15 ítems alcanzaron convergencia por una amplia mayoría; es decir, al menos 3/4 de los panelistas se mostraban “de acuerdo” o “totalmente de acuerdo” con el enunciado presentado. Este hecho, aunque puede parecer intrascendente, es un modo de contrastar y validar los principales postulados extraídos de la revisión bibliográfica, de acuerdo con el sentir y la experiencia de profesionales y académicos. No es frecuente que los razonamientos derivados de la literatura científica sean refrendados posteriormente, de modo explícito y controlado, por un juicio colectivo de expertos en la materia.
Con relación al contenido de los ítems, destaca la unanimidad de consenso a favor sobre la subestimación generalizadas de los riesgos psicosociales (ítems A1, A2 ), tal y como se evidencia de las últimas encuestas ESENER (EU-OSHA, 2015
Este es un resultado inquietante ya que desde el punto de vista legal existe la misma obligación por parte de las empresas de evaluar los riesgos psicosociales que, por ejemplo, los riesgos higiénicos y mecánicos tradicionales. Si tanto la literatura revisada como el juicio experto se reafirman sobre el reiterado incumplimiento de la legislación preventiva (LPRL, 1995)
Otro hallazgo derivado del consenso experto se refiere a que los riesgos psicosociales no sólo están subestimados, sino que también están envueltos en cierta confusión terminológica y de procedimiento (ítems A3, A4 y A11). Por ejemplo, a menudo se confunde método con técnica y se estila pensar que las evaluaciones de riesgos psicosociales consisten en aplicar un simple cuestionario (Niño, 2006)
Un resultado esperado se centra en el unánime consenso a favor (100%) sobre la importancia de cumplir con las propiedades psicométricas de fiabilidad y validez (ítem 6) y de control de sesgos (ítem 7). Muy próximo se encuentra la necesidad de que las herramientas de evaluación dispongan de baremación y estandarización (ítem 8) el 93.75%; y, por último, una adecuada fundamentación teórica (ítem 9) el 81.25%. Estos resultados eran esperados porque están en consonancia con la lógica psicométrica que define la calidad de las evaluaciones de riesgos psicosociales (Abad et al., 2011
Resulta revelador que, a pesar de que el 100% de expertos atestiguan la necesidad de controlar los sesgos, indican con un 87.50% de consenso que, según su experiencia, éstos no son controlados adecuadamente a la hora de administrar un test (ítem A19), coincidiendo con los argumentos de Dupuis et al. (2015)
Como solución, los expertos consultados corroboran que un protocolo de administración contribuiría a minimizar dichos sesgos (ítems A18). Sin embargo, resulta paradójico que 3 de los ítems que no obtuvieron consenso tras la R2 hagan referencia explícita a los sesgos de aquiescencia (ítem A14) y autoengaño o simulación (ítem A16), y al control de los sesgos (ítem A23). Estos resultados tal vez sean debidos a la heterogeneidad de los participantes en el estudio (académicos y profesionales) y a sus intereses diferentes visiones de la evaluación de riesgos profesionales (teórica vs. pragmática).
Futuros estudios deberían reproducir estos resultados en muestras más amplias que permitan realizar análisis segmentados y comparaciones entre grupos con la debida potencia estadística.
El contrato psicológico como posible variable de distorsión es otro de los hallazgos más relevantes de este estudio Delphi. Pues un 81% de los panelistas están de acuerdo en que la percepción por parte del trabajador de incumplimiento del contrato psicológico podría influir en el falseamiento intencional de las respuestas de las escalas que miden condiciones de trabajo (ítem A24). El objetivo sería causar daño a la empresa y contrarrestar así el perjuicio padecido por las expectativas incumplidas (Guadarrama et al., 2017)
La consulta realizada a los expertos no se agotó con los ítems cerrados, se creyó conveniente incluir preguntas abiertas con el fin de que los panelistas pudiesen expresar cuestiones no contempladas en el cuestionario o realizar sugerencias y recomendaciones prácticas para contribuir a la mejora de la calidad de las evaluaciones de riesgos psicosociales. De todas las respuestas recibidas solo se desarrollan las que cumplieron con los criterios de consenso establecidos, presentándolas con las propias palabras de los expertos para minimizar un posible sesgo de interpretación. Se desarrollan en los siguientes puntos:
a. Instrumentos adaptados a la población a la que se dirigen
En este sentido los test tienen que ser justos y no “beneficiar a ciertos grupos de población en detrimento de otros de igual nivel en el rasgo que interesa medir” (Gómez- Benito et al., 2010, p. 76)
b. La participación del trabajador es fundamental
La participación de los trabajadores en las actividades de prevención, incluida la evaluación, es otro aspecto que destacan como crucial. Además, es una obligación establecida por Ley (arts.18.2, 34 y 36.2, LPRL, 1995)
c. Triangulación de datos
El 100% de los miembros del panel confirman que para refrendar la percepción individual del trabajador es necesario utilizar la triangulación de datos. Precisamente, la triangulación metodológica es una de las principales recomendaciones para obtener evaluaciones precisas y certeras. Consiste en la combinación de dos o más metodologías, generalmente cualitativa y cuantitativa, para obtener una aproximación más real del fenómeno objeto de estudio. Es una de las medidas más apreciadas en la literatura para dotar de mayor calidad a la evaluación de riesgos; concretamente se recomienda utilizar las entrevistas como complemento de los cuestionarios de autoinforme (ITSS, 2012
d. Incrementar la validez aparente de los instrumentos
Casi un 93% de panelistas han confirmado estar de acuerdo con el ítem que indica que con frecuencia las herramientas de prevención creadas desde el entorno académico pecan de formular ítems y medidas correctoras demasiado generales. Debido a la distinta procedencia profesional de los expertos consultados sería interesante reflexionar sobre ello e incrementar la validez aparente de los instrumentos colaborando, para ello, con los profesionales de la PRL Una posible solución para conseguir instrumentos más precisos en cuanto a preguntas y respuestas, tal y como reclaman desde la rama intervencionista, sería la cooperación y colaboración de todos los sectores implicados y preocupados por la prevención.
e. Buenas prácticas en el uso de los test. Recomendaciones de los panelistas
Los expertos indican que deben cuidarse las condiciones de administración de los cuestionarios ya que existen variedad de factores que pueden contribuir a distorsionar los resultados obtenidos y por ende las generalizaciones efectuadas. Entre algunas de sus recomendaciones se encuentran:
e.1. Explicar el objetivo y la utilidad de los cuestionarios antes de repartirlo;
e.2. Implicar a la dirección durante al menos alguna fase del proceso de evaluación;
e.3. Tener en cuenta la situación de la organización en el momento de evaluar, por ejemplo, si la empresa está incursa en algún ERE o se esperan despidos los trabajadores estarán menos receptivos, y por lo tanto sus respuestas pueden llegar a estar sesgadas;
e.4. Asegurar la confidencialidad y el anonimato de la información obtenida;
e.5. Garantizar la credibilidad de las personas que lleven a cabo la evaluación de riesgos psicosociales;
e.6. Tener en cuenta factores externos a la hora de administrar los test, como las condiciones térmicas inadecuadas, el ruido, la ansiedad de los trabajadores al ser encuestados o una preparación inadecuada del administrador de los test.
En síntesis, el presente estudio Delphi ha permitido obtener información valiosa sobre las principales debilidades de la evaluación de los riesgos psicosociales desde el juicio experto. En líneas generales, los resultados muestran un elevado grado de consenso. Por una parte, en la mayoría de los ítems cerrados los expertos concuerdan en los desafíos conceptuales y aplicados que encarna la evaluación de los riesgos psicosociales y, por otra parte, la riqueza de aportaciones realizadas por los expertos en los ítems abiertos, ha contribuido a ampliar considerablemente la calidad del estudio, pues constituyen una fuente valiosa de información basada en la experiencia y conocimiento experto.
Concluyendo, se han identificado directrices prácticas que podrían contribuir a superar las amenazas identificadas, y mejorar así la utilidad práctica del presente trabajo. Sobre todo en estos tiempos, donde la reciente pandemia mundial ha empeorado el panorama psicosocial laboral y, más que nunca, hace falta realizar evaluaciones de riesgo psicosocial de calidad. Evaluaciones con capacidad de reflejar resultados lo más cercanos posibles a la realidad, esto es, con el menor error posible
A pesar del rigor con el que se ha diseñado y llevado a cabo el presente estudio, éste no carece de limitaciones. Lo que primero podría ser objeto de crítica es la consabida subjetividad en la que está basada la metodología, lo que llevaría a cuestionar el grado de conocimiento real de los expertos en el panel Delphi. Esta debilidad dependerá del acierto y destreza en la elección de panelistas. Para salvar esta limitación se ha tratado con especial esmero el proceso de selección de participantes, aplicando criterios de inclusión rigurosos como el coeficiente K.
En lo que respecta al tamaño de la muestra (16 panelistas), aunque no limita de ningún modo los resultados obtenidos por estar dentro del rango recomendado, no permite aprovechar toda la información proporcionada por los expertos y explorar otras cuestiones ajenas al consenso en sí. Por ejemplo, una muestra mayor hubiera permitido comprobar la existencia de subgrupos, así como examinar si las divergencias aparecidas han sido fruto de la diferencia de intereses en la población seleccionada. En consecuencia, sería de interés que futuras investigaciones pudiesen replicar este estudio en una muestra más amplia que permita la detección de subgrupos.
Asimismo, las cuestiones indeterminadas en la que no se consiguió un consenso experto (A11, A14, A15, A16, A23 y A25), dada su irresolución desde la esfera cualitativa, deberían ser objeto de una exploración más profunda que permita comprobar de modo empírico su pertinencia, como por ejemplo explorar el impacto de la DS en los autoinformes que evalúan riesgos psicosociales.
La consulta a los panelista se realizó antes de la irrupción de la inesperada pandemia mundial por el virus COVID-19. Desde entonces, el escenario ha empeorado drásticamente (Tsamakis et al., 2020)