ARTICULOS ORIGINALES
Evaluación de la eficacia de un entrenamiento de profesionales de enfermería: estudio correlativo
Vera Lucia Mira1, Nadia Nasser Follador1, Cláudia Regina Seraphim Ferrari1, Ligia Fumiko Minami Neves Oliveira1, Jaqueline Alcântara Marcelino Silva1, Patrícia Tavares Santos1
1Universidad de São Paulo
RESUMEN
Con el propósito de valorar los programas de capacitación profesional, este estudio tuvo como objetivo evaluar la eficacia de un entrenamiento, sobre precauciones de contacto dado a profesionales de enfermería. Se trata de un estudio de diseño correlativo. Constituyeron material de análisis, las evaluaciones del aprendizaje pre y post-entrenamiento (n=248), realizadas en el Hospital Universitario de la Universidad de San Paulo, las cuales fueron sometidas a estadística descriptiva e inferencial. El estudio fue aprobado por el Comité de Ética en Pesquisa de la Institución. Los principales resultados mostraron que, si se compara los momentos pre y post-entrenamiento, hubo un aumento significante en el momento post de la nota media, en 10 de las 14 cuestiones que componían la evaluación. Aunque haya sido constatada la eficacia del entrenamiento, se nota la necesidad de perfeccionar el método de diagnóstico de necesidades de las acciones educativas, así como evolucionar para una metodología de evaluación más profunda, que permita la apreciación de los resultados del entrenamiento en la práctica asistencial.
Palabras-claves: Educación; Capacitación en Servicio; Enfermería; Evaluación.
INTRODUCCIÓN
La gestión de personas en el área de la salud está actualmente, volcada para la capacitación profesional y para el desarrollo de recursos humanos con foco en la educación reflexiva y participativa, en oposición al entrenamiento, exclusivamente, técnico operacional. En esta perspectiva, estudiar el proceso de aprendizaje en el ambiente organizacional puede generar nuevas descubiertas y contribuir para cambios en la práctica(1).
El proceso educacional en el trabajo transciende la elaboración de programas de entrenamiento y desarrollo (T&D). En su concepción deben ser establecidas las necesidades reales de la institución y de los individuos, priorizándolas en objetivos claros y bien delimitados para cada programa(2). La finalidad principalmente es ofrecer, de modo sistematizado, el aprendizaje de conocimientos, habilidades y actitudes, perfeccionando las competencias técnica, ética y política, así como las competencias personales que instrumentalizan al individuo para comprender y transformar la realidad (2).
Las estrategias de T&D para inducir el aprendizaje integran cinco conceptos principales u objetos de aprendizaje: información, instrucción, entrenamiento, desarrollo y educación. La información es una forma de inducción de aprendizaje establecida por mio de contenidos organizados a que le son atribuidos valor. La instrucción envuelve procedimientos instructivos para transmitir los conocimientos. El entrenamiento está volcado para mejorar el desempeño del trabajo. El desarrollo, a su vez, se refiere a las oportunidades de aprendizaje para el crecimiento personal del trabajador, siendo que la educación se refiere a la formación continua del trabajador(3).
La articulación entre los objetos de aprendizaje puede ocurrir por medio de diferentes combinaciones, de modo que contemple de la más simple a las más complejas formas de inducción del aprendizaje, partiendo de la información para la educación(3).
El T&D puede ser entendido como tres subsistemas coordenados: la evaluación de necesidades, el planeamiento y ejecución y la evaluación del entrenamiento, siendo que este último da informaciones sistematizadas bajo el conjunto del entrenamiento y los otros se refieren al desarrollo del entrenamiento(4).
La capacitación de los profesionales de la salud suelen horizontalizar informaciones, saberes y a aumentar la división de responsabilidades, buscando la mejoría continua de las prácticas de cuidado en la salud de toda la red de atención(5).
No se puede negar la mejoría en la práctica del trabajo, tras los programas de T&D, reflejo de los cambios individuales de los profesionales, como el aumento del conocimiento y de las habilidades que deben llevar a cambios de comportamiento. Es indispensable, entonces, la necesidad de evaluar la eficacia y el impacto de las acciones educativas de modo sistematizado.
La evaluación educacional y, principalmente, la evaluación del resultado de los programas de capacitación son los aspectos menos desarrollados en las propuestas de educación y aunque es reconocida su importancia, su efectiva realización y la asignación de recursos es secundaria. Esta evaluación tiene como función primordial la búsqueda del perfeccionamiento de las acciones(6).
La evaluación del entrenamiento posibilita la identificación de los factores que restringen o contribuyen para mejorar el desempeño de los entrenados, adecuando las acciones de capacitación a las necesidades organizativas(1).
En este artículo, se adoptó la evaluación del aprendizaje, con el fin de averiguar cuanto el entrenando aprendió después de participar de la acción educativa. Este estudio integra un proyecto de investigación, que tiene como finalidad la propuesta de una metodología de evaluación de los programas educativos en el área de la salud.
El proceso de evaluación de T&D puede ser realizado en cuatro niveles de evaluación: reacción o satisfacción – opinión del participante sobre las condiciones para el aprendizaje; aprendizaje – eficacia del entrenamiento en lo referente a la adquisición o aumento del conocimiento; comportamiento – cambios generados por el entrenamiento en el comportamiento de los participantes; y resultados – transformación de la práctica en el trabajo.
MÉTODO
Se trata de una investigación correlativa que busca testar variables, que verifiquen cuánto el comportamiento de una variable influye en la alteración de otra variable(7).
En las acciones educativas, las variables pueden ser medidas antes, durante y después del proceso, pero no son controladas como en las investigaciones experimentales(1). En este estudio, las variables de la evaluación del aprendizaje fueron medidas antes y después del entrenamiento por medio de notas numéricas.
El estudio fue realizado en el Hospital Universitario de la Universidad de São Paulo (HU-USP), que es una unidad integrante del Sistema Único de Salud, cuenta con 278 lechos destinados a la atención secundaria y, aproximadamente, 1800 funcionarios, siendo 708 del cuadro de enfermería.
El Servicio de Apoyo Educacional (SEd) es el responsable por la coordinación, planificación, ejecución y evaluación de los programas educativos desarrollados para los profesionales de enfermería. Este servicio está subordinado al Departamento de Enfermería (DE) del HU-USP que posee cuatro divisiones: la División de Enfermería Quirúrgica (DEC) compuesta por las unidades de Clínica Quirúrgica, Centro Quirúrgico, Central de Material y Hospital Día; la División de Enfermería Clínica (DECLI) compuesta por la Clínica Médica, Unidad Terapia Intensiva y Hemodiálisis; la División de Enfermería Materno-Infantil (DEMI) compuesta por el Alojamiento Conjunto, Cunero, Pediatría, Centro Obstétrico y Unidad de Terapia Intensiva Infantil y; la División de Pacientes Externos (DEPE) con Pronto Socorro Adulto, Pronto Socorro Infantil, Ambulatorio, Iconología y Endoscopia.
Los documentos de análisis se constituyeron en su totalidad de las evaluaciones del aprendizaje (n=248), del entrenamiento Precauciones de Contacto (TPC), suministrado por los enfermeros del SEd, instructores del entrenamiento y, también por los investigadores de este estudio. El período de la recopilación de datos perduró de junio a diciembre de 2007.
La evaluación del aprendizaje, elaborada por los instructores del entrenamiento, fue compuesta por cuestiones teóricas para verificar el conocimiento específico del entrenamiento, sometida a la apreciación del contenido por la enfermera de la Comisión de Control de Infección Hospitalaria. Se aplicó el formulario de evaluación, inmediatamente, antes y después del programa, por los instructores que procedieron a la corrección de la evaluación y al almacenamiento de las notas en el banco de datos del programa Statistical Package for the Social Sciences 17.0 (SPSS©).
Las cuestiones pre y post-entrenamiento fueron idénticas para que no hubiese diferencia en el grado de dificultad y para que fuera posible la comparación del desempeño de los entrenados, por medio de la nota.
Los datos obtenidos fueron analizados por medio de la estadística descriptiva e inferencial para verificar la relación entre las varibles. La prueba de Shapiro Wilk fue utilizado para verificar la distribución de las variables y norteó la elección de las pruebas en los paramétricos empleados en el estudio: Wilcoxon y Kruskal Wallis.
Para comparar las notas pre y post-entrenamiento, buscando identificar la existencia de diferencia estadísticamente significante entre los dos momentos fue aplicado la prueba de Wilcoxon. Esta prueba envuelve la medición de una variable, en un mismo individuo, en dos momentos diferentes; entre las mediciones, se realiza la intervención que se quiere evaluar con el objetivo de verificar si la intervención afecta las respuestas; se calcula, entonces, para cada individuo, la diferencia entre las mediciones inicial y final(8).
Para averiguar la existencia de la relación entre las variables se empleó la prueba de Kruskal-Wallis “que usa puestos de muestras de tres o más poblaciones independientes”(9).
En ambas pruebas estadísticas se adoptó el nivel de significancia de 95%.
El proyecto fue aprobado por la Cámara de Investigación y por el Comité de Ética en Pesquisa del Hospital Universitario de la Universidad de São Paulo con el número de aprobación 555/55. Por tratarse de una investigación prospectiva y sabiéndose que en ese tipo de evaluación, se registran los datos personales y las pruebas de desempeño de los entrenados, pudiéndoles causar temor o expectativa, se les fue solicitada su autorización para utilizar los datos de las evaluaciones en el estudio y se les entregó el Término de Responsabilidad del investigador, tras las debidas aclarciones.
RESULTADOS
De las 248 evaluaciones analizadas, 78 (31,5%) eran de enfermeros, 89 (35,9%) de técnicos y 81 (32,6%) de auxiliares de enfermería; el mayor número de ellas fue proveniente de la DEMI, que es la División con el mayor cuadro de personas.
Acerca de la evaluación del aprendizaje, la tabla 1 muestra que, si se compara los momentos pre y post-entrenamiento, hubo una diminución del número de respuestas en blanco y de las incorrectas en las pruebas post-entrenamiento, con el aumento de respuestas correctas.
En la tabla 2 , observamos los valores estadísticas descriptivos y de dispersión referentes a las notas generales de la evaluación del aprendizaje en los momentos pre y post-entrenamiento.
Percibimos en la tabla 2 que hubo un aumento en los valores de las notas media, mediana, moda y mínima; el desvío patrón disminuyó y; la nota máxima se mantuvo. Estos resultados sugieren una mejoría de los desempeños en las pruebas post, en relación a las pre-pruebas.
Para apreciar objetivamente la relación entre las notas pre y post-entrenamiento, fueron comparadas las notas medias de los dos momentos y se le aplicó la prueba no paramétrica de Wilcoxon, como muestra la tabla 3.
Observamos que hubo diferencia estadísticamente significante de las notas pre en relación a las de post-entrenamiento en todas las cuestiones, exceptuando las cuestiones 1, 2, 8 y 13 que no presentaron diferencia significativa. Considerando la categoría profesional y las notas medias en los momentos pre y post-entrenamiento, no hubo diferencia significativa en el momento pre, en la prueba no paramétrica de Kruskal-Wallis, p=0,244, y en el momento post, de la prueba no paramétrica de Kruskal-Wallis, p=0,104.
Las categorías profesionales presentaron, entre sí, una diferencia significativa en el momento pre (Kruskal-Wallis, p=0,002) y en el momento post (Kruskal-Wallis, p=0,034). En el momento pre, los auxiliares presentaron media significantemente menor de que la de los enfermeros (prueba Dunn, p< 0,05); en el momento post, los técnicos presentaron media significativamente mayor que la de los auxiliares (prueba Dunn, p< 0,05). En las tres categorías hubo un aumento significativo de la media pre para la media post.
DISCUSIÓN
El aumento significativo de la nota media pre para la media post-entrenamiento demostró la mejora del conocimiento del entrenado, o sea, la intervención entrenamiento se mostró eficaz. La captura de conocimiento sugiere que el contenido fue bien elaborado, lo que es una condición favorable para el aprendizaje. Además del contenido, entre los aspectos promotores del aprendizaje están el interés y la participación del entrenado(2).
Generalmente, las cuestiones de las pruebas que se refieren a los contenidos nuevos son esenciales para evaluar la adquisición de conocimiento, pues se espera menor índice de aciertos en el pre y mayor en el post.
Las cuestiones con alto índice de acierto ya en el pre y también, en el post-entrenamiento apuntan tres diferentes explicaciones: primero, que los entrenados ya poseían informaciones sobre el tema, lo que es un aspecto positivo, pues el refuerzo de las informaciones conocidas ayuda a fijar el contenido y lo relaciona a las nuevas informaciones; segundo, que los participantes no constituían el público correcto; tercero, que los instructores no supieron elaborar el contenido a la medida de la necesidades de los entrenados(2).
El inventario y la evaluación de las necesidades de entrenamientos (ANT) son los primeros y unos de los más importantes pasos del planeamiento de una actividad educativa, estos envuelven la disponibilidad y la preparación de los profesionales para que reconozcan sus limitaciones y sus necesidades de capacitación. La ANT está asociada, aun, a la integración de los equipos con el personal de los servicios de educación continuada. Otra forma adoptada para la ANT es el análisis de los indicadores de la calidad institucional, como índices de caída, úlcera por presión e infección hospitalaria(2).
En la práctica, no obstante, en la mayoría de las organizaciones, el inventario de las necesidades se restringe al análisis de tareas individuales, lo que implica la desvinculación de los procesos educacionales de la realidad de las instituciones(10).
El buen desempeño en el post-entrenamiento, identificado en el presente estudio, es positivo, pero es vital analizar, junto a los instructores y entrenados, cuestión por cuestión, comparándose el comportamiento de las notas con los objetivos propuestos y el contenido del entrenamiento con lo exigido en cada cuestión, lo que permitirá evaluar también la enseñanza, llevando a una apreciación más completa del proceso enseñanza-aprendizaje y no al aprendizaje, aisladamente.
De cualquier modo, y aunque los enfermeros, técnicos y auxiliares de enfermería hayan presentado un aumento significativo en la media post-entrenamiento, es fundamental analizar con mayor profundidad esta relación, para ajustar el contenido y las estrategias de enseñanza a las necesidades y al grado de conocimiento progreso de los profesionales(2).
Aunque se comprobó la eficacia del entrenamiento, es necesario considerar que factores operacionales y el ambiente de trabajo ejercen influencia sobre el proceso educativo y por eso, deben ser incluidos en el método de evaluación. Los aspectos ambientales son capaces de favorecer o dificultar la aplicación de lo que fue aprendido en el en el trabajo, Como apuntan investigaciones nacionales e internacionales, las condiciones organizacionales son comprendidas como las principales determinantes del desempeño humano(10).
Además de que, la adquisición de conocimiento después del entrenamiento fue medida en 14 de los 19 estudios incluidos en la revisión integrativa sobre el tema(11), mostrando que todavía es junto con la evaluación de la reacción, el tipo más frecuentemente utilizado.
El aprendizaje es una de las condiciones necesarias para transferir lo que fue aprendido para el trabajo(12) y se procesa a medida que la persona se apropia de un conocimiento, lo que depende de su interés, madurez, de las condiciones del ambiente, entre otros, y se concretiza en el momento del dominio del objeto de aprendizaje, lo que puede ser observado en las competencias adquiridas. En otros términos, en el desempeño de nuevas habilidades y actitudes fundadas en el conocimiento cognitivo.
El aprendizaje puede ocurrir aun en situaciones adversas, aunque no sea el deseado. La idea es que tomemos la evaluación como un proceso que demande cambios, de este modo, si hay aprendizaje, sin que ocurra cambios en el comportamiento y en la calidad del trabajo, es importante que se investigue las razones, para rescatar la esencia procesual de la evaluación(2).
Los cambios de comportamiento deberían ser derivadas del desempeño esperado do conjunto de entrenados, en consonancia con los objetivos de los entrenamientos, lo que raramente acontece, dificultando la identificación de los cambios esperados en la organización(13). Es imperioso, entonces, que el aprendizaje implique acciones y prácticas y para que esto ocurra, son necesarios invertimientos en el planeamiento de las acciones y en los procesos de evaluación.
CONCLUSION
El estudio permitió afirmar la eficacia del entrenamiento en la adquisición o ampliación del conocimiento, debido al aumento significante de la variable nota, en el momento post-entrenamiento.
La evaluación de la eficacia suministra datos para evaluar el entrenamiento, no obstante, ese modelo tradicional de aprendizaje es limitado, pues no permite evaluarlo totalmente.
De este modo, para orientar la construcción de una metodología para evaluar las acciones educativas en la salud, es necesario emplear otras estrategias de análisis de los resultados y del impacto de estas acciones en el trabajo, así como también para apreciar el proceso de enseñanza. Es esencial, aun, la investigación de las relaciones entre las variables intervinientes en el aprendizaje, para conocer las variables predictivas de la evaluación de los entrenamientos.
Debido a la baja oferta de investigaciones y publicaciones sobre la evaluación de los programas de T&D en el área de la salud en Brasil, el presente estudio podrá contribuir para prácticas semejantes en otras instituciones, así como en la proposición de nuevas investigaciones.
CITAS
1. Pilati R, Borges-Andrade JE. Construção de medidas e delineamentos em avaliação de TD&E. In: Borges-Andrade JE, Abbad GS, Mourão L. Treinamento, desenvolvimento e educação em organizações e trabalho: fundamentos para a gestão de pessoas. Porto Alegre: Artmed; 2006. p. 359-84.
2. Mira, VL. Avaliação de programas de treinamento e desenvolvimento da equipe de enfermagem de dois hospitais do município de São Paulo. Tese [ Livre-docência em enfermagem ]. Escola de Enfermagem da Universidade de São Paulo. São Paulo; 2010.
3. Vargas MRM, Abbad GS. Bases conceituais em treinamento, desenvolvimento e educação – TD&E. In: Borges-Andrade JE, Abbad GS, Mourão L. Treinamento, desenvolvimento e educação em organizações e trabalho: fundamentos para a gestão de pessoas. Porto Alegre: Artmed; 2006. p. 137-58.
4. Borges-Andrade JE. Avaliação integrada e somativa em TD&E. In: Borges-Andrade JE, Abbad GS, Mourão L. Treinamento, desenvolvimento e educação em organizações e trabalho: fundamentos para a gestão de pessoas. Porto Alegre: Artmed; 2006. p. 343-58.
5. Erdmann AL, Mello ASF, Andrade SR, Drago LC. Organization of care practices in the health network. Online Brazilian Journal of Nursing [ serial in the Internet ]. 2011 May 3; [ Cited 2011 oct 20 ] 10(1). Available from: http://www.objnursing.uff.br/index.php/nursing/article/view/3220
6. Organización Panamericana de la Salud. Capacitación del personal de los servicios de salud (OPAS). Quito; 2002. (Proyectos relacionados com los procesos de reforma sectorial, 137).
7. LoBiondo WG, Haber J. Pesquisa em enfermagem: métodos, avaliação crítica e utilização. Rio de Janeiro: Guanabara Koogan; 2001.
8. Menezes RX, Azevedo RS. Bioestatística não paramétrica. In: Massad E, Menezes RX, Silveira PSP, Ortega NRS. Métodos quantitativos em medicina. São Paulo: Manole; 2004.
9. Triola MF. Introdução à estatística. Rio de Janeiro: LTC; 2005.
10. Menezes PPM, Zerbini T. Levantamento de necessidades de treinamento: reflexões atuais. Análise. 2009; 20(2):50-64.
11. Otrenti E. Avaliação de processos educativos formais para profissionais da área da saúde: revisão integrativa de literatura. [ dissertação ]. São Paulo: Escola de Enfermagem, Universidade de São Paulo; 2011.
12. Mira VL, Peduzzi M, Melleiro MM, Tronchin DMR, Prado MFF, Santos PT, et al. Análise do processo de avaliação da aprendizagem de ações educativas de profissionais de enfermagem. Rev Esc Enferm USP. 2011;45 (nº esp):1574-81.
13. Zerbini T, Abbad G. Transferência de treinamento e impacto do treinamento no trabalho: análise crítica de literatura. Rev Psicol Organ Trab. 2010; 10(2):97-111.
Recibido: 21/10/2011
Aprobado: 30/06/2012