Portfolios para la evaluación de los residentes: ampliando las herramientas de evaluación y promoviendo el aprendizaje reflexivo. Por Dra. María Natacha Zubimendi

La Residencia de Pediatría se sustenta en el enfoque de la Formación Basada en Competencias y se estructura a partir de la identificación de competencias a desarrollar explicitadas en el Perfil Profesional y en el desarrollo de las capacidades profesionales configuradas y organizadas en el Diseño Curricular del nuevo programa de Residencias de Clínica Pediátrica de la Provincia de Buenos Aires. La Formación Basada en Competencias es un abordaje metodológico orientado a gestionar el aprendizaje de los Residentes a partir de los criterios de realización que le otorgan sentido y direccionalidad técnica y social a la práctica profesional.

Nuestros actuales residentes se enfrentan no solo a los pacientes y sus familias, con crecientes complejidades en el proceso de salud, también se enfrentan al desafío de aplicar nuevos hallazgos y evidencias en la práctica diaria y con la necesidad de colaborar con otros profesionales en equipos de trabajo y comunidades. Para enfrentar estas complejidades los residentes (y no solo ellos) necesitan desarrollar competencias llamadas genéricas o transversales para mejorar la comunicación efectiva, la organización, el trabajo en equipo, el profesionalismo y el liderazgo.

El concepto de competencia ha sido ampliamente debatido.Podemos definirla como "el conjunto complejo de conocimientos, habilidades, actitudes, valores, emociones y motivaciones que cada individuo o grupo pone en acción para entender e intervenir en cada situación de la vida real, personal o profesional. Según otro autor, la competencia consiste en movilizar todos los recursos propios (habilidades, conocimientos y actitudes) y del entorno para producir el resultado definido. (Le Boterf, 2001), para que las mismas puedan ser evaluadas, se necesitan instrumentos de medición claros. Las competencias deben ser medidas en el contexto de problemas clínicos relevantes y específicos, un modelo aceptado es el propuesto por Miller.

En 1990, Miller describió los desafíos involucrados cuando se intenta evaluar la competencia clínica. Graficó los diferentes niveles de habilidades y conocimientos crecientes en el desarrollo del profesionalismo como una pirámide. Las capas inferiores sirven de fundamento a las habilidades y conocimientos superiores (figura 1)

La parte más baja de la pirámide es el conocimiento, el saber (knowledge). Este saber se relaciona con las habilidades que luego el alumno/residente debe alcanzar para su futura práctica profesional. Este conocimiento o saber puede ser evaluado con pruebas escritas, en cualquiera de sus formas.

El siguiente nivel representa la aplicación del conocimiento adquirido en el Nivel 1. En este nivel el alumno/residente sabe cómo hacer (know how), sabe aplicar sus conocimientos para resolver un problema determinado. Este nivel también puede ser evaluado con pruebas escritas, por ejemplo, basadas en situaciones clínicas. El siguiente nivel, o nivel 3, combina el conocimiento y la acción (cognición y conductas). El alumno/residente no solo sabe cómo diagnosticar un problema si no que además es capaz de realizar las acciones apropiadas, como por ejemplo un examen físico en una situación simulada. Demuestra como haría (shows how) ante determinada situación clínica, demuestra su competencia. En la cima de la pirámide se encuentra el hacer (does), es decir, se desarrolla la competencia en la práctica diaria y requiere de la integración de conocimientos, habilidades, actitudes y características personales. La perfomance en la cima de la pirámide se manifiesta cuando el alumno/residente desarrolla su práctica profesional.

En 1990 Miller observó que no había instrumentos que pudieran evaluar esta instancia, el hacer. Es durante la última década que se ha manifestado un interés creciente en la evaluación de vértice de la pirámide de Miller, es decir, evaluar el hacer, la práctica real. Además la pirámide de Miller se ha ampliado con lo que Van der Vleuten denomina meta-habilidades también denominadas competencias genéricas (trabajo en equipo, liderazgo, etc., etc.), ante las que los instrumentos tradicionales de evaluación presentan limitaciones.

Figura 1.Miller GE (1990). The assessment of clinical skills/competence/performance. Academic Medicine, 65: S63-67.

Una de las opciones que otorga criterios de evaluación y que permite conocer el desempeño durante el desarrollo de un proceso, son las rúbricas.

La rúbrica cumple con una función "formativa" ayudando a dirigir el proceso de aprendizaje, estableciendo los niveles de pericia o dominios progresivos de desempeño que conducen gradualmente a adquirir la competencia deseada y que permite acreditar los aprendizajes obtenidos. Mediante una matriz o grilla se establecen los criterios específicos que permitan valorar el aprendizaje de los conocimientos, competencias logradas en una actividad dada al estudiante.

Es función del tutor definir la competencia, generar la matriz donde debe identificar la dimensión o categoría (aspecto a evaluar) y la escala de calificación y descriptores de los criterios a utilizar (definiendo niveles de evidencias a cumplir).

El uso de las rubricas fortalece la formación, la practica reflexiva y el aprendizaje.

Otros instrumentos son los portfolios, definidos como "una colección de papeles y otras formas que evidencian que se ha aprendido" (Davis et al,2001) o "una colección de trabajos del estudiante que exhibe sus esfuerzos, progreso y logros en una o más áreas" (Martin - Kneip, 2000); tal como los entendemos en educación contienen la evidencia de como los alumnos/residentes van completando sus tareas y sus competencias van progresando. Los portfolios pueden ser digitales o realizados en papel y pueden ser estructurados, semiestructurados o completamente libres. A pesar de las variaciones en su formato y contenidos, los portfolios básicamente reportan el trabajo hecho, la retroalimentación recibida, el progreso realizado y los planes futuros para mejorar la competencia.

Desde que los portfolios fueran introducidos en la educación médica (Royal College of General Practitioners, 1993), su uso como instrumento de evaluación y aprendizaje ha crecido enormemente. Sin embargo, la evidencia sugiere que la introducción de los portfolios con estos fines (evaluación y aprendizaje) ha tenido un éxito variable. Los portfolios son potencialmente poderosos como instrumentos de educación pero a su vez han mostrado ser vulnerables.

Características del portfolio

Como se señaló previamente, a pesar de que en su contenido y formato puede haber variaciones, los portfolios informan sobre el trabajo realizado, la retroalimentación recibida, el progreso logrado y los planes para mejorar las competencias a lograr. Y lo más importante de todo, los portafolios estimulan la reflexión, porque la recolección de evidencia para su inclusión en un portfolio requiere mirar hacia atrás y analizar lo que se ha logrado.

El modelo de aprendizaje basado en portfolio se basa en tres principios:

El portfolio tiene dos grandes objetivos: el aprendizaje y la evaluación. Con respecto al objetivo de evaluación, existen estudios que han demostrado que el portfolio es una prueba válida de la capacidad reflexiva del estudiante, siendo la calidad de la reflexión el predictor más fuerte de la nota de evaluación final. Con propósitos evaluativos, la evidencia en el portfolio debería ser organizada de acuerdo a las competencias que el alumno/residente quiere demostrar. Instrucciones tales como "Demuestra como..." pueden ser de ayuda al alumno/residente acerca de que tareas o competencias que deben incluir para ayudar a los evaluadores.

El objetivo de aprendizaje se logra principalmente a través de la reflexión que realiza el alumno/residente acerca de su propio aprendizaje. El aprendizaje basado en portfolios es un método que alienta el aprendizaje reflexivo del adulto.

Para que el alumno/residente pueda tener éxito en lograr un aprendizaje reflexivo, es necesaria la permanente orientación por parte de un tutor. De esta forma se logra la motivación del mismo a desarrollar su capacidad reflexiva y a utilizar estrategias de aprendizaje profundo centradas en la comprensión y entendimiento, lo que es fundamental para su desarrollo adecuado. Esta reflexión es fundamental para que el portfolio no se convierta en una mera recolección de eventos experimentados.

El portfolio también puede ser un instrumento multipropósito. La figura 2 ayuda a definir el propósito del portfolio, para saber si se están cumpliendo los objetivos propuestos. Obviamente un portfolio puede ser utilizado para más de un propósito, para una combinación de metas u objetivos. Así su posición en el triángulo tenderá hacia el centro. En la práctica, los portfolios casi nunca están situados en las esquinas del triángulo.

Figura 2. Van Tartwijk J &Driessen EW (2009). Portfolios for assessment and learning. AMEE Guide No.45. Medical Teacher, 31(9): 790-801.

Un tema discutido en la literatura es si un mismo portfolio puede ser evaluativo (sumativo) y de aprendizaje, señalando que esto puede deformar la reflexión y hacer además que el estudiante evite comentar sus fallos. A su vez, un portfolio de aprendizaje "puro", sin evaluación no "premia" el esfuerzo invertido en su confección y puede llevar al estudiante a considerarlo con menos seriedad.

Un portfolio efectivo debe tener una estructura flexible: ni ser tan estructurado para transformarlo en un instrumento burocrático ni tan libre que no guíe al alumno en su realización. Un portfolio semiestructurado le da al alumno la oportunidad de desarrollarlo de manera única y personal. Un buen portfolio otorga al estudiante un papel clave, ya que lo convierte en el protagonista principal de su propio aprendizaje y del manejo del portfolio como instrumento para organizar y recoger sus actividades clínicas y para estimular el hábito reflexivo y la interrelación con el tutor.

Entre las ventajas de utilizar un portfolio para la evaluación de las competencias se destacan[1]:

La reflexión sobre el propio aprendizaje por parte del alumno/residente, junto con su interacción con el tutor, son las marcas distintivas entre un log-book (mera colección de materiales) y el verdadero portfolio. La reflexión en este contexto se relaciona al cambio de las estructuras cognitivas. Diferentes autores comparten el punto de vista constructivista de que el comportamiento humano es guiado por estructuras mentales que no son estáticas sino flexibles, evolutivas y cambiantes en respuesta a lo experimentado. Basado en este consenso la reflexión puede ser definida como el proceso mental de organizar o reorganizar las estructuras cognitivas que representan el conocimiento y las creencias y guían la percepción de experiencias, situaciones y problemas (Korthagen et al.2001). En otras palabras la reflexión es explorar y elaborar nuestro entendimiento de una experiencia. Los autores describen tres tipos de reflexiones. El primer tipo alude a los medios para alcanzar ciertas metas. El segundo tipo alude no solo a los medios, sino también a las metas, a las suposiciones en las que están basadas y a los resultados. Y el tercer tipo es la reflexión crítica. En este tipo de reflexión se utilizan criterios éticos y morales. Se realiza el juicio sobre nuestra propia actividad profesional y si esta es equitativa, justa y respetuosa de las personas.

La reflexión es un proceso meta-cognitivo ("thinking about thinking") que ocurre antes, durante o después de una experiencia y que tiene el propósito de desarrollar una mejor comprensión de uno mismo y de las situaciones vividas, de tal manera que encuentros futuros con sucesos similares puedan ser mejor procesados a la luz de las vivencias previas. Este proceso de reflexión dirige el aprendizaje clínico básico (reflexión sistemática sobre los diversos aspectos de un caso clínico), pero es también esencial para la formación de la identidad profesional y la adquisición de un profesionalismo compasivo. El ejercicio de reflexión se puede enfocar sobre el proceso de aprendizaje clínico y sobre el proceso de relación con el paciente, y por extensión, con los colegas y resto del personal sanitario, que está en la base de la formación de la identidad profesional (el profesionalismo propio).

En todos los casos el proceso de reflexión pasa por las fases de "noticing" (detectar o percibir el suceso o experiencia -positivos o negativos-); "processing", que implica una consideración más o menos profunda sobre el significado; y finalmente, "reflective story telling and writing", en la cual se plasma por escrito el impacto y las emociones o sentimientos evocados por la experiencia o suceso, y los juicios del observador sobre estos.

Implementación del portfolio.

Entre las sugerencias referidas por los diferentes autores para facilitar la implementación del portfolio docente se destacan:

• Definir con claridad su propósito (formativo, sumativo o ambos)

• Definir bien los contenidos (estructura clara),así como los resultados (objetivos docentes)que van a evaluarse.

• Detallar la estrategia de la interrelación alumno profesor durante la generación-evaluación del portafolio, y de los procedimientos de retroalimentación.

• Desarrollar un sistema de calificación-evaluación (criterios de validez y fiabilidad del portafolio),que sirva para la mayor parte de sus componentes y guíe las evaluaciones sumativas.

• Planificar la evaluación determinando el tiempo, los evaluadores (número, selección y entrenamiento apropiados) y el soporte administrativo necesario para realizarla.

• Orientar al estudiante un encuentro inicial explicativo y guías escritas para informarle sobre la estructura y manejo del portfolio.

Factores que determinan la eficacia del portfolio.

El factor más influyente en la eficacia del portfolio es la calidad de la interrelación alumno-profesor (tutorización), no sólo a la hora de consensuar el diseño del portfolio, sino durante el aprendizaje.

La evaluación del portfolio es otro factor determinante de su eficacia. La complejidad potencial de los contenidos, algunos de los cuales son además de tipo narrativo (cuyo perfil no se presta a abordajes psicométricos y requiere otros cualitativos), hacen que la evaluación del portfolio no resulte fácil. El grado de estructuración del propio portfolio y el entrenamiento de los observadores influyen claramente sobre la fiabilidad de la evaluación. La fiabilidad del portfolio viene condicionada por las características psicométricas de los instrumentos de evaluación utilizados, que a su vez se relacionan con el perfil (cuantitativo frente a cualitativo) de los contenidos sobre los que se aplican. Aparte de la propia estructura, el otro factor determinante de la calidad de la evaluación de un portfolio son los observadores. Es obvio que aumentando su número mejorará la fiabilidad de la evaluación (sobre todo si se han adiestrado previamente y se han establecido criterios homogéneos).

Algunos conceptos claves acerca de la evaluación de los residentes a través del portfolio:

• Es importante ENTRENAR y CALIBRAR a los evaluadores, así como CHEQUEAR los instrumentos de evaluación, utilizarlos en forma criteriosa según se evalúe las distintas instancias de la pirámide de Miller.

Evaluación de las competencias:

Si la competencia es el resultado de un constructo complejo, y según la teoría constructivista se considera el aprendizaje como una construcción del conocimiento gradual sobre contenidos que operan según como el alumno sea capaz de tratar la información y sobre cómo se integran allí las estrategias cognitivas y metacognitivas a largo plazo para ser organizadas, transferidas y reutilizadas, los docentes ¿Cómo alineamos los objetivos de logro buscados con la evaluación a realizar en competencias que además, son específicas de contenido y áreas?

Según Durante (2005) "dentro de la planificación curricular, la evaluación del conocimiento debe ser concebida como un poderoso instrumento para orientar el estilo de aprendizaje de los alumnos y ser incluida desde el inicio del diseño curricular. Por su parte, Tardif (1993) dice que "las prácticas de evaluación deben contemplar la metamorfosis cognitiva del alumno", y "que una evaluación tiene carácter de auténtica, cuando es capaz de apreciar en qué medida los conocimientos, habilidades o actitudes logrados por el alumno alcanzan los objetivos propuestos". Sin embargo es necesario agregar el concepto que toma de Gardner (1992) de la evaluación como proceso por el cual se obtiene información sobre conocimientos y capacidades de una persona y que tiene el objetivo de generar una retroalimentación significativa en el evaluado para su práctica y para la comunidad.

Así, la evaluación debe ser orientadora del aprendizaje por lo cual su diseño debe ser estratégico en función a la planificación curricular y objetivos planteados (Durante 2006), no puede reducirse a un instrumento, porque no existe uno que sea capaz de evaluar toda la pirámide de Miller, y es necesario conocer de cada uno de ellos, la utilidad teniendo en cuenta la validez, su confiabilidad, la aceptación, el impacto educacional y los costos.

Evaluación en escenarios clínicos.

La evaluación comienza con la identificación de los objetivos de aprendizaje y finaliza con la determinación de en qué nivel, estos fueron alcanzados (Alves de Lima, 2005), para ello es necesario clarificar que será evaluado, seleccionar un instrumento y conocer sus limitaciones. En la enseñanza clínica, los objetivos deben ser comunicados, explicados, negociados con el alumno y se convierten en organizadores de la actividad, dando la posibilidad de otorgar una devolución sobre los intereses más significativos para el aprendizaje. Las únicas evaluaciones que respetan los principios del paradigma constructivista son aquellas que se enfocan en las competencias contextualizadas.

Le evaluación mediante la observación directa de los desempeños de los estudiantes, la entrega de devolución significativa y el compromiso con la reflexión, son componentes fundamentales de la enseñanza clínica. (Durante ,2012)

La observación directa es uno de los principales métodos de evaluación en la enseñanza clínica, pero para que tenga impacto en el aprendizaje debe ser real, los evaluadores deben tener entrenamiento y deben ser calibrados, deben ser realizados con la frecuencia necesaria como para obtener conclusiones razonables, deben utilizarse formularios estructurados con premisas claras, y la devolución debe realizarse lo más cercana posible a su realización para constituirse en una herramienta formativa. La devolución también es un proceso, y el mayor impacto se obtiene cuando el estudiante, compara la devolución del docente con su propio desempeño. La disonancia entre, el desempeño deseado y el realizado es un potente generador de motivación y de aprendizaje profundo (Alves de Lima, 2008)

El portfolio propuesto en la Residencia de clínica Pediátrica del HIGA Dr. José Penna de Bahía Blanca.

Para la evaluación de los Residentes de Clínica Pediátrica del HIGA Penna se propone utilizar un portfolio de tipo formativo y sumativo, que incluya las competencias establecidas por la Dirección de Capacitación para las Residencias de la Provincia de Buenos Aires, y de tipo semiestructurado, con ítems de tipo obligatorio a cumplimentar, pero también dándole la libertad al residente de aportar todo material que considere adecuado.

Este portfolio se desarrollará durante todo el camino formativo y al finalizar la residencia quedará a disposición del residente.

La realización del portfolio permite establecer una retroalimentación constante con el residente, orientándolo en durante todo el proceso de aprendizaje.

Componentes del portfolio

Evaluadas con el instrumento para Observación Directa de Procedimientos (ASSET adaptado) y registradas en planillas creadas para tal fin a través de instrumentos como Google Forms. Permite a cada residente contar con un enlace en su Smartphone a un formulario de Google Forms donde vuelca los procedimientos realizados y automáticamente son sumados a una planilla de cálculos de la misma aplicación. Al entregar al residente una copia de los contenidos del portfolio recibe una lista de procedimientos en los que habrá de ser capacitado y evaluado por año de residencia, de acuerdo a lo sugerido en las reuniones para la acreditación de las residencias entre la Sociedad Argentina de Pediatría y las autoridades ministeriales. Las prácticas serán supervisadas por los residentes superiores y jefe de residentes, Instructor, personal de enfermería para algunas prácticas pertinentes, y médicos de planta de pediatría y de los diferentes servicios en los que se rote.

Antes de la realización de la práctica, el residente deberá haber observado la realización de la misma, deberá conocer y acreditar con el evaluador el conocimiento teórico necesario. El registro de las prácticas se incorpora al portfolio. Se podrá acreditar con certificado firmado por el evaluador, indicando fecha y practica realizada.

Se evaluará a través del instrumento Mini-Cex en todos los ámbitos donde se desarrollen actividades asistenciales. Se establecerá un número mínimo de pruebas a realizar y se fomentará la evaluación por diferentes actores en los diferentes escenarios de la práctica.

Evaluados a través de instrumentos específicos o con autoevaluación.

Realizadas al finalizar cada módulo de conocimientos teóricos y también la evaluación anual de promoción.

Se requerirá un mínimo de un trabajo anual por año de Residencia.

Desarrollado en forma de taller con autoevaluación, actividad quincenal durante toda la residencia.

En el formulario de PRÁCTICA DE REFLEXIÓN el residente realizará un ejercicio narrativo sobre alguna experiencias vivida en el ámbito clínico que a su juicio tengan un significado relevante y repercutan sobre la idea que tenga de la buena práctica clínica, del profesionalismo compasivo y de cómo debe ser la relación con los colegas y el trabajo en equipo.

Se requerirá al residente que al finalizar cada año de residencia evalúe su práctica y su aprendizaje utilizando la matriz FODA y de acuerdo a esta evaluación se lo orientará en la implementación de estrategias que le permitan mejorar su formación.

Con respecto a las rotaciones, cada una de ellas deberá ser acreditada con un Ejercicio de evaluación clínica estructurada (Mini-Cex), una planilla de evaluación de la rotación, las planillas correspondientes a las observaciones directa de los procedimientos que se realicen durante la misma y un ejercicio de reflexión.

Bibliografía.

AUTORA:

Med. María Natacha Zubimendi.

Ex residente Clínica Pediátrica HIGA Dr J Penna. Ex instructora residentes Clínica Pediátrica HIGA Dr J Penna.Instructora residentes Terapia Intensiva Pediátrica HIGA Dr J Penna.

Revisora:

Med. Maria Alejandra Erb.

Ex instructora residentes Clínica Pediátrica HIGA Dr J Penna. Especialista consultora en Clínica Pediátrica. Jefa de sala de internación de Clínica Pediatría del HIGA Dr J Penna Bahía Blanca. Prof Adj Clínica Pediatría. DCS. Medicina UNS Bahía Blanca.