Horizontes. Revista de Investigación en Ciencias de la Educación

Https://doi.org/10.33996/revistahorizontes.v4i16.102

Octubre - Diciembre 2020

Volumen 4 / No. 16

ISSN: 2616 - 7964

ISSN-L: 2616 - 7964

pp. 365 - 380

www.revistahorizontes.org

 

Criterios de formato y contenido en la revisión por pares de textos académicos con universitarios

 

Format and content criteria in peer review of academic texts with university students

 

Critérios de formato e conteúdo na revisão por pares de textos acadêmicos com estudantes universitários

 

 

Universidad Nacional Autónoma de México, Tlalnepantla de Baz, México

 

Recibido 05 de agosto 2020 | Arbitrado y aceptado 24 de noviembre 2020 | Publicado en diciembre 2020

 

RESUMEN

Se conceptualiza las habilidades como logros que derivan a partir del cumplimiento de criterios o demandas académicas, entre los que puede hacerse una diferenciación como los referidos al formato del texto (ortografía, normas de citación, etc.) y los relacionados con el contenido del texto (realizar síntesis, ejemplificar o ilustrar eventos y argumentar). Se evaluaron los efectos de utilizar una rúbrica en la revisión por pares sobre el cumplimiento de criterios de formato y contenido en tareas de escritura. Participaron 20 estudiantes de psicología, que intercambiaron textos con pares revisores del mismo grupo durante 20 sesiones. Los resultados indican diferencias en el cumplimiento de ambos tipos de criterio, siendo más evidentes los cambios en los criterios de contenido. Los hallazgos de este estudio se discuten en términos de la utilidad de la revisión por pares y de los “trabajos finales” que son solicitados en los cursos de psicología.

 

Palabras clave: Criterios; Contenido del texto; Habilidades Escritoras; Revisión por Pares; Rúbricas de Evaluación

 

ABSTRACT

The skills are conceptualized as achievements derived from the fulfillment of academic criteria, among which a differentiation can be made between those referred to the format of the text (spelling, citation rules, etc.) and those related to the content of the text (make synthesis, exemplify or illustrate events and argue). Effects were evaluated of using a rubric in the peer review procedure over the fulfillment of format and content criteria in writing tasks. Participants were 20 psychology students, who throughout 20 sessions, sent texts that were exchanged with peer reviewers of the same group. The results indicate differences in the fulfillment of both types of criteria, being more evident the changes in the content criteria. The findings of this study are discussed in terms of the usefulness of peer review and of the "final works" that are requested in psychology courses.

 

Key words: Criteria; Text Content; Writing Skills; Peer Review; Evaluation Rubric

 

RESUMO

As habilidades são compreendidas como conquistas que derivam do cumprimento de critérios ou exigências acadêmicas, entre as quais pode ser feita uma diferenciação, como aquelas relacionadas ao formato do texto (ortografia, padrões de citação, etc.) e aquelas relacionadas ao conteúdo do texto (Fazer síntese, exemplificar ou ilustrar eventos e argumentar). Os efeitos do uso de uma rubrica na revisão por pares sobre conformidade dos critérios de formato e conteúdo em tarefas de escrita foram avaliados. Participaram 20 estudantes de psicologia, trocando textos com revisores do mesmo grupo durante 20 sessões. Os resultados indicam diferenças no cumprimento dos dois tipos de critérios, sendo as mudanças nos critérios de conteúdo mais evidentes. Os resultados deste estudo são discutidos em termos da utilidade da revisão por pares e dos "artigos finais" que são solicitados nos cursos de psicologia.

 

Palavras-chave: Critério; Conteúdo do texto; Habilidades de escrita; Revisão por pares; Rubricas de avaliação

 

INTRODUCCIÓN

Existen diversas aproximaciones teóricas que dan cuenta de la forma bajo la cual se puede promover que los estudiantes universitarios aprendan a escribir de conformidad con los criterios de una disciplina como la psicología. A pesar de sus diferencias teóricas, cada aproximación ha mostrado puntos de convergencia en términos de procedimientos que favorecen el análisis de la escritura. Ejemplos de dichos procedimientos son plataformas en línea, juegos, portafolios, rúbricas de evaluación y procesos de revisión por pares, que son metodologías empleadas en el análisis de la escritura universitaria, aunque no todas comparten los mismos principios teóricos.

Respecto a los juegos y plataformas en línea se ha reportado que son escenarios en los cuales los estudiantes universitarios aprenden a escribir por medio de la “pedagogía del juego”, que constituye un escenario alejado de los criterios del aula, por medio del cual el estudiante universitario práctica su escritura de manera libre de cualquier tipo de imposición social (Colby, 2017; Colby, y Colby, 2008; Li, y Kim, 2016). Al mismo tiempo se justifica su utilización como una medida emergente al crecimiento exponencial en las aulas, puesto que los juegos y plataformas en línea permiten dar cobertura a más estudiantes en el menor tiempo posible. Hecho que resulta en que este tipo de procedimientos estén más orientados a la cobertura y exploración libre de la escritura, que a la promoción de la escritura como parte del aprendizaje de una disciplina.

Las rúbricas de evaluación y portafolios de evidencia en el análisis de la escritura universitaria, han sido empleados desde el punto de vista pedagógico de la evaluación (Uçar, y Yazıcı, 2016). Por lo que los resultados de éstas investigaciones aportan evidencia en torno a las diferencias en la valoración del desempeño escritor del estudiante momento a momento durante su formación (evaluación formativa) y la valoración del desempeño escritor estudiantil al final de su formación (evaluación sumativa) (Yurdabakan, y Erdogan, 2009). Estos trabajos de investigación denotan una vinculación más cercana a los procedimientos de evaluación que con la propia promoción de la escritura como una habilidad estudiantil anclada a un dominio disciplinar específico.

La revisión por pares es otro de los procedimientos para promover la escritura, que ha tomado fuerza en dos sectores, en el arbitraje editorial de artículos científicos, así como en el aprendizaje de la escritura con estudiantes universitarios (Das, 2016; Levis, Leentjens, Levenson, Lumley, y Thombs, 2015). En ambos casos, la revisión por pares, es un procedimiento en el que un escritor redacta un texto para compartirlo con un lector, mientras que el lector está encargado de brindar retroalimentación con el objetivo de mejorar las habilidades del escritor, y en ocasiones de sí mismo como lector (Li, y Li, 2017; Whitehead, 2002).

Actualmente resulta casi imposible encontrar una revista de investigación, en cualquier área de conocimiento científico, que no haga uso de la revisión por pares en los procesos editoriales. Por ello es que la revisión por pares obtuvo popularidad como una forma para que escritores especializados en un área de conocimiento evalúen a otros escritores sobre el mismo campo.

La investigación sobre revisión por pares en procesos de arbitraje editorial, ha reportado que variables como el género de los escritores y lectores, los conflictos de interés entre ambos, los tiempos de publicación de las revistas, los plagios de citas, etc. modifican el tipo de retroalimentación que los revisores (lectores) pueden brindar a los escritores (Das, 2016; Engqvist, y Frommen, 2008; Linton, 2016).

Para evitar conflictos de interés, los procesos editoriales de revisión por pares se han modificado en tres variantes, la primera conocida como revisión por pares de doble ciego, es una forma de revisar manuscritos en los que el revisor y el escritor desconocen sus identidades. La segunda forma es la revisión por pares simple ciego, en la que al menos uno de los escritores o revisores conoce la identidad del otro. Finalmente, la revisión abierta es la variante en la cual ambos, revisores y escritores, conocen la identidad del otro.

No existe un consenso acerca de cuál de las formas de revisión por pares es la más efectiva, pues los investigadores comentan que existen tantos argumentos a favor como en contra para cada forma, pero que su utilización depende de los objetivos que se tenga para los productos escritos (Guevara, Hincapié, Jackman, Herrera, y Caballero, 2008). Los beneficios de la revisión por pares para el enriquecimiento de un producto, ha generado que se emplee en el ámbito de la formación a nivel del pregrado para que los estudiantes universitarios aprendan a escribir de acuerdo a los criterios de una disciplina.

En este trabajo se hace especial hincapié en la línea de investigación de revisión por pares con estudiantes universitarios, en la cual existe una dicotomía de trabajos, por un lado están aquellos que documentan los cambios cualitativos al colocar a escritores expertos evaluando los trabajos de escritores novatos (Engqvist, y Frommen, 2008), mientras que el segundo tipo de trabajos documenta los efectos de colocar a estudiantes que bajo el criterio de una historia académica compartida (miembros de un mismo curso, materia, grado académico, etc.), son considerados coetáneos y por tanto pares con un mismo desarrollo de habilidades escritoras (Cho, Schunn, y Wilson, 2006).

Utilizando las combinaciones de simple ciego y revisión abierta, en algunos estudios sobre revisión por pares con universitarios se ha comparado la calidad y el contenido de los comentarios hechos por los profesores y los estudiantes (Cho, Schunn, y Charney, 2006; Patchan, Charney, y Schunn, 2009). Mismos que han mostrado en sus hallazgos que los estudiantes realizan comentarios cortos, y en ocasiones, poco objetivos en comparación con los que los profesores realizan. Lo cual evidencia que el estudiante puede desarrollar habilidades para asemejar su desempeño al del docente, de manera que pueda ser un revisor adecuado para un compañero.

En esa misma directriz, en otro estudio en el que los estudiantes fueron pares revisores de sus compañeros, también se compararon las revisiones de los estudiantes con las realizadas por un profesor, mostrando que cuando se agregan puntajes a las revisiones de los estudiantes, éstas llegan a compararse con las que los profesores realizan (Cho, Schunn, y Wilson, 2006). De manera casi opuesta, otro estudio de revisión con estudiantes mostró que las múltiples revisiones de estudiantes resultaron con mejores efectos que las realizadas por un profesor, pero ello depende de las consecuencias que provean los revisores a los escritores (Schunn, Godley, y Demartino, 2016).

Cuando la revisión por pares es realizada por medio de plataformas en línea, presenta dificultades para mediar las interacciones entre los pares revisores, tal como se reporta en el estudio de Li y Li (2017), en el que se argumenta que los estudiantes no concluyen con todas las actividades que se les exige como revisores, además que solicitan que sus pares revisores sean amables y utilicen el lenguaje apropiado para realizar las correcciones.

Los anteriores trabajos evidencian que, cuando la revisión por pares es empleada con la finalidad de fomentar las habilidades, el mayor problema por enfrentar es la diferencia de opiniones entre revisores, ya que todos utilizan distintos criterios para realizar las evaluaciones (Deveugele, y Silverman, 2017). Las discrepancias entre revisores y escritores, desde luego pueden estar sesgadas por la historia particular de cada uno y por la historia de contactos entre ambos, no obstante, una medida emergente que torna homogénea la revisión por pares, son los criterios de evaluación explícitos (Morrow, 2017).

Estos criterios se pueden compartir en la forma de rúbricas, por ejemplo, Kulage y Larson (2016) han mostrado que la falta de objetividad en los comentarios que un estudiante hace a otro, puede ser reducida con la implementación de rúbricas, en las cuales se asignen puntajes a categorías particulares de revisión. Tales categorías son creadas a partir de elementos teóricos, sintácticos y prácticos que dependen del modelo pedagógico con que se conceptualice a las habilidades escritoras (Chan, Inoue, y Taylor, 2015; Janssen, Meier, y Trace, 2015; Sundeen, 2014). Por lo tanto, la revisión por pares resulta un procedimiento que puede facilitar el desarrollo de habilidades escritoras de los estudiantes universitarios, siempre y cuando se compartan los criterios de sus dimensiones.

A nivel metodológico la revisión por pares puede entenderse como un procedimiento que promueve la escritura y lectura de docentes y estudiantes, pero principalmente entre estudiantes, destacando que una solución a los conflictos de interés en las revisiones, es un sistema de categorías expuestas en una rúbrica de evaluación.

A nivel conceptual, la revisión por pares ha justificado que la escritura es un proceso de composición, cuya característica principal es la organización mental-instrumental de información que va de la planeación y ordenamiento de información en el plano cognitivo hacia la ejecución manual de la escritura, regresando reorganizada cuando el escritor relee el texto (Albarrán, y García, 2010). Por tanto, las habilidades documentadas en la revisión por pares hacen referencia a capacidades previas, simultáneas y subsecuentes a la composición de un texto. Las habilidades descritas en el proceso de composición escrita dan cuenta de una secuencialidad recursiva (o circular) que, es aparentemente clara cuando se trabaja con un solo individuo ante un texto, puesto que el escritor constantemente relee y modifica lo que escribe (Flower, y Hayes, 1980).

Existe una dificultad al momento de describir la composición escrita en los procesos de revisión por pares, puesto que no se sabe en qué medida el escritor redacta y relee, o lee y redacta influenciado por lo que otro ha comentado respecto a su texto, o si lo que escribe se ve influenciado por los contactos con otros lectores antes de la situación en que es evaluada su escritura. De tal forma que el paradigma bajo el cual se han analizado las revisiones por pares presenta dificultades metodológicas, que arrastran consigo una serie de interpretaciones que salen del paradigma explicativo de la composición escrita, para ceder su lugar a las explicaciones en torno a las justificaciones sobre las relaciones interpersonales entre “pares”. Hecho que se refleja en la mayoría de los estudios sobre revisión por pares que argumentan, que mucho de lo que ocurre cuando un estudiante evalúa a otro estudiante, se encuentra exclusivamente mediado por las relaciones que los propios estudiantes han establecido a lo largo de su historia como compañeros.

Una reconsideración de la revisión por pares, tiene que ver con la articulación conceptual-metodológica de la misma, puesto que conceptualmente se dice que la escritura como composición mental-instrumental requiere de condiciones que favorezcan los procesos recursivos, pero las metodologías empleadas indagan las situaciones que promuevan menor número de conflictos de interés entre revisores y escritores. Pareciera que las teorizaciones en torno a la escritura avanzan en una dirección alterna a las indagaciones empíricas, logrando que los hallazgos documentados giren en torno a individuos específicos y no a los procesos implicados en la escritura y lectura de todos los estudiantes, por ello es que la mayor parte de la evidencia depende de situaciones muy particulares o de la historia de contacto de los revisores y escritores, hecho que estribaría en que la investigación llegase a estudiar los lugares e individuos que concurren en un proceso de revisión, provocando un estudio para cada escritor y lector.

Una alternativa para las problemáticas previamente expuestas, es adoptar un marco de investigación que reconozca los procesos implicados en la escritura, manteniendo siempre la línea de indagación centrada en ello y no en las personas que emplean la revisión.

En este sentido es que se recupera la perspectiva interconductual de la escritura, describiéndola como un tipo particular de interacción en la que participan aquel que escribe, aquel a quien escribe y aquello de lo que escribe (Pacheco, 2008; Pacheco, y Villa, 2005). Con esta definición se puede pensar que la escritura no es una única acción, no es un acto privado, ni una capacidad con la que se nace, sino que es una interacción entre un individuo que escribe y uno que lee (aunque en otro momento, se puede tratar del mismo individuo en dos momentos diferentes), una que evoluciona en la ontogenia, anclada a ámbitos o dominios específicos, cuyo objetivo es compartir prácticas o modificar el comportamiento de otro (el que lee) (Oppenheimer, Zaromb, Pomerantz, Williams, y Park, 2017; Pacheco, Ortega, Morales, y Carpio, 2013).

Bajo este mismo abordaje teórico, se ha dicho que las interacciones entre individuos se encuentran organizadas en torno a criterios, los cuales prescriben demandas que permiten la estructuración de comportamiento psicológico (Carpio, 1994). En concordancia con ello, se dice que cuando se cumplen criterios en situaciones de escritura que son constantes (por ejemplo, escribir resúmenes o reportes de lectura escolares sobre textos científicos), lo que se desarrolla son habilidades. Mientras que, cuando se cumple con criterios en situaciones de escritura variables (por ejemplo, escribir una tesis cuya extensión indefinida aborda un problema de investigación) se dice que se desarrollan competencias (Carpio, 2005; Carpio, Canales, Morales, Arroyo, y Silva, 2007).

De este modo, si lo que se desea es promover que los estudiantes aprendan a escribir, es decir desarrollar habilidades y competencias, lo que se requiere es sistematizar el cumplimiento de criterios que enuncien las condiciones necesarias y suficientes para la estructuración de interacciones escritoras efectivas (Morales, Cruz, León, Silva, Arroyo, y Carpio, 2010). En consecuencia, se pueden reconocer dos tipos de criterios en la estructuración de las interacciones escritoras, los primeros tienen que ver con el formato que habilita al escritor y revisor para interactuar por medio de las leyes gramaticales y textuales de la lengua escrita, mientras que, el segundo tipo que tienen que ver con el contenido del texto que permite al escritor y lector interactuar con la demanda a satisfacer a partir de su escritura y lectura respectivamente (Morales, Peña, Hernández, Trejo, y Carpio, 2017; Pacheco, Carranza, Silva, Flores, y Morales, 2005).

En los criterios de formato se encuentran la ortografía (correcta escritura de las palabras, uso adecuado de tildes, comas y puntos, según la gramática española), sintaxis entre e intra párrafos (corta extensión de párrafos, argumentos que inicien y concluyan en un mismo párrafo y variedad de nexos conectores para los párrafos), maquetación del texto (colocar título y alineación justificada del texto según los márgenes del documento escrito) y citación de los textos empleados en el escrito, es decir realizar citas y referencias según el formato de la Asociación Americana de Psicología (por sus siglas en inglés APA).

Para los criterios de contenido se pueden identificar demandas que difieren cualitativamente en términos de los textos que los estudiantes leen para redactar sus escritos, por ello se describen en tres subtipos; el primero demanda al estudiante escribir exclusivamente en el texto leído (realizar una síntesis del material de lectura), el segundo demanda escribir relacionando el texto leído con un evento o situación no especificada en el texto (Ilustrar o ejemplificar argumentos presentes en el material de lectura que se relacionen con la vida cotidiana), mientras que el último tipo de criterio demanda, escribir construyendo un argumento que se esboce, pero que se pueda relacionar con otros argumentos de distintos autores (solicitar la respuesta fundamentada de preguntas que exigen la relación lingüística del estudiante con la temática, el origen, las implicaciones y aplicaciones del texto con otros textos).

Con base en este instrumental analítico es posible observar, por un lado, que la revisión por pares ha descansado en el tipo de relaciones interpersonales mantenidas entre escritor y lector, por otro lado, que se ha concentrado en los aspectos formales del producto escrito, en tanto aspectos que pueden compartir quienes interactúan por medio de la escritura. Un argumento adicional cuestionable de la revisión por pares, tiene que ver con la ambigüedad para poder estimar el grado en el que dos individuos (escritor y revisor) son pares si tienen historias y habilidades diferentes. Una forma en la cual se pueden superar estas limitantes (falta de objetividad, concentración en aspectos de formato y la definición endeble de par), puede ser la incorporación de un sistema de calificación o rúbricas que permita a lectores y escritores compartir los criterios, de formato y de contenido, a satisfacer respectivamente, que expliciten claramente el tipo de habilidad a desarrollar (Kulage, y Larson, 2016; Morales, Peña, Hernández, Trejo, y Carpio, 2017; Pacheco, Carranza, Silva, Flores, y Morales, 2005). Para determinar los posibles beneficios de compartir criterios en tareas de escritura, el presente estudio evalúo los efectos de imponer criterios de formato y contenido, por medio de una rúbrica, en tareas de revisión por pares con estudiantes universitarios.

 

MÉTODO

Participantes

El presente estudio inicialmente contó con la participación voluntaria de un grupo de 30 estudiantes, con un rango de edad de 18 a 21 años, todos de primer semestre de la carrera de psicología de la Facultad de Estudios Superiores Iztacala. Cabe destacar que de los 30 participantes solamente 20 concluyeron con el estudio.

 

Instrumentos

Se utilizaron 20 textos de carácter teórico, correspondientes al programa de Tradiciones Teóricas 1 (Iztacala, 2016). También, se utilizó la aplicación en línea de Google Docs, siendo la plataforma que alojó los textos producidos, así como la revisión hecha por los pares revisores. Principalmente se utilizó el Formato de Revisión por Criterios para la Escritura (FORCE) (Figura 1) que fue el material por medio del cual se cotejó el cumplimiento de cada uno de los criterios solicitados a los estudiantes. Constó de una columna en la cual se describían los criterios de formato y de contenido, una segunda columna en la que se mostraban los puntajes obtenidos y una tercera en la cual se agregaban las observaciones.

 

Figura 1. Formato de Revisión por Criterios para la Escritura (FORCE)

 

Procedimiento

El presente estudio tuvo un diseño A-B-A, es decir, con dos condiciones de evaluación y una de entrenamiento.

 

Evaluaciones

Compuestas por 5 sesiones cada una, se consideró por sesión la realización de un texto que contempló la satisfacción de dos tipos de criterios: formato y contenido. La duración de las sesiones ocurrió en correspondencia con la revisión de cada uno de los materiales de lectura, para las que se designaron 3 clases para la revisión de cada uno, de manera que una vez que concluía la revisión de un material se les explicitaban los criterios que debía contener su texto a través de un grupo creado en la red social de Facebook.

Cada sesión de evaluación requería que los estudiantes escribieran el texto y lo mandaran vía correo electrónico a la dirección creada para el estudio, los cuales eran registrados y alojados en Google Docs. Para ello al inicio del estudio se les dio la dirección de correo electrónico y se les solicitó mandasen un correo en el que confirmasen la dirección. Una vez que los textos eran recibidos, se les mandaba un correo de confirmación con el mensaje:

 

“Tu texto ha sido recibido en tiempo y forma, que tengas un excelente día”.

Con motivos de dar tiempo para la redacción de cada uno de los textos se dio a los estudiantes un plazo de dos días, en el caso de presentarse alguna demora con la recepción de los textos, se mandaba un mensaje a los participantes con la leyenda:

 

“Tu texto X del material X, no ha sido recibido, Te pido que por favor lo mandes antes del vencimiento de la fecha límite, que tengas un excelente día”.

En cuanto al tipo de criterios que los estudiantes tenían que atender para redactar sus manuscritos, los criterios de formato refirieron a la presentación del texto con base en aspectos ortográficos, sintácticos, de citación y maquetación, previamente descritos, los cuales fueron solicitados en la primera columna del FORCE de la siguiente manera: Título del trabajo; Referencia del texto consultado, utilizando el formato APA sexta edición; Alineación de texto justificada; Correcta escritura de las palabras; Uso adecuado de tildes, comas y puntos; Corta extensión de los párrafos (no mayor a 10 líneas); Argumentos que inicien y concluyan en un mismo párrafo; Variar los conectores empleados.

El cumplimiento de cada uno de los criterios de formato fue calificado con 5 puntos sobre una escala de 100 (es decir el cumplimiento ambos tipos de criterios), de manera que si un estudiante cumplía con los ocho criterios de formato alcanzaba 40 de 100 puntos, lo cual restringía que, tras la satisfacción de estos criterios, se pudiese tener una calificación alta. Esto permitió tener un control para que los estudiantes tuvieran que satisfacer los criterios de contenido para obtener mayor puntaje.

Para el apartado relacionado con los criterios de contenido, se recuperaron las cualificaciones previamente descritas y manifestadas en forma de actividades de escritura (Tabla 1).

 

Tabla 1. Desglose de las actividades de escritura para cumplir los criterios de contenido

 

Entrenamiento

Constituida por 10 sesiones, la condición de entrenamiento demandó que los estudiantes continúen realizando escritos de manera similar a la forma en que lo realizaron durante las evaluaciones, añadiendo la revisión por un par.

 

La revisión por un par

A los estudiantes se les asignó en pares de manera aleatoria y una vez que fueron seleccionados, se les notificó quienes serían sus parejas con el objetivo de que intercambiasen sus direcciones de correo electrónico, por lo que no se consideró que fuese un procedimiento de doble ciego.

A continuación, se les facilitó el FORCE y después se administraron los criterios tal como se había hecho en las sesiones de evaluación, pidiendo que a lo largo de toda esta condición mandaran los correos a la misma dirección de correo, modificando que ahora debían enviar una copia a sus pares.

Una vez que los estudiantes hubiesen intercambiado textos con sus pares, debían calificarlos según el FORCE, añadiendo comentarios respecto de lo que se debía mejorar (en el caso de que identificaran errores en cuanto al tipo de criterios solicitados) o lo que habían hecho correctamente, para poder alcanzar el puntaje de cada uno de los criterios. Luego de haber llenado el FORCE los estudiantes debían intercambiar sus formatos, completados a partir de los textos de sus parejas, mandándolos con copia marcada para la cuenta de correo del estudio.

Una vez concluida la condición de entrenamiento, se llevó a cabo la segunda evaluación en la que se mantuvieron las mismas condiciones que la primera evaluación, por lo que nuevamente se mandaron respuestas en las que simplemente se notificaron las entregas y retrasos de los textos.

 

RESULTADOS

En términos del objetivo de evaluar los efectos de imponer criterios de formato y contenido, por medio de una rúbrica, en tareas de revisión por pares con estudiantes universitarios; se obtuvo un incremento, en el cumplimiento de criterios de formato en la segunda evaluación luego de utilizar la rúbrica en el entrenamiento en revisión por pares.

El cumplimiento de criterios de formato, fue analizado en términos de sus diferencias cualitativas a partir del porcentaje de satisfacción de los mismos. Durante la evaluación inicial, el cumplimiento de criterios referidos a las síntesis resultó ser más alto que los otros dos subtipos de criterios. Mientras que, el cumplimiento de criterios referidos a las ilustraciones resultó ser el más bajo respecto de los otros subtipos de criterios. Para la condición de entrenamiento, el cumplimiento de los tres subtipos de criterios obtuvo un grado de avance significativo comparado con la condición de evaluación inicial, ya que en los tres casos mínimamente se duplicaron los porcentajes de satisfacción de criterios. En la segunda condición de evaluación se registró una consistencia en el cumplimiento de los criterios referidos a las síntesis y un avance significativo en torno al cumplimiento de criterios referidos a las ilustraciones y a los criterios referidos a las argumentaciones (Figura 2).

 

 

Figura 2. Porcentaje de criterios de contenido satisfechos por todos los estudiantes durante las tres condiciones del estudio.

 

Finalmente, para realizar un análisis individual del desempeño de los estudiantes durante todo el estudio, como una forma de ilustrar el avance en el desarrollo de habilidades escritoras, se definió el total de cumplimiento de criterios como el 100% (línea verde en la Figura 3), y se dividió dicho porcentaje con valores diferentes para cada tipo de criterios. En tanto existe una mayor historia con los criterios de formato, se asignó un porcentaje máximo a alcanzar de 40% (línea naranja en la Figura 3), mientras que para los criterios de contenido se asignó un valor máximo de 60% (línea amarilla en la Figura 3). Se observó que durante la primera evaluación todos los estudiantes muestran desempeños efectivos bajos ante los criterios de contenido, los que se encuentran por debajo del 40%, siendo los extremos el desempeño mostrado por el participante 3 que sale con porcentajes que rondan el 20%, caso contrario el participante 12 que no mostro cumplimiento de criterios de contenido. En cuanto a los criterios de formato, los participantes 5, 8, 9 11, 13, 14, 15, 16, 17, 18, 19 y 20, mostraron un desempeño alto que se encontró alrededor del 40%, valor máximo definido para estos criterios. Mientras que los participantes 2 y 4 mostraron los desempeños efectivos más bajos con 20% para el caso del primero y en el caso del segundo, con un desempeño que fue aumentando para aproximarse al 30%.

Durante el entrenamiento, en el que se empleó la rúbrica, se observó un incremento en todos los participantes, sobre todo en el cumplimiento de criterios de contenido, mientras que se mantuvieron los valores máximos en los criterios de formato. Lo cual se tradujo en un incremento en el porcentaje de desempeño efectivo ante el total de los criterios, el incremento en varios casos tuvo lugar de forma gradual, pero en otros, como los de los participantes 2,7, 8, 9, 14 y 19, el desempeño incrementó en las primeras sesiones de entrenamiento para ya no disminuir. Este aumento en el cumplimiento se mantuvo durante la segunda evaluación en casi todos los participantes, a excepción de los participantes 1 y 5 que mostraron altibajos en su desempeño efectivo (Figura 3).

 

 

Figura 3. Porcentaje de criterios cubiertos individualmente durante las condiciones. Las líneas punteadas, representan el porcentaje máximo a obtener tras cumplir con los criterios de formatos (línea inferior), y de (línea superior). La línea verde representa el total de criterios cubiertos, la línea amarilla representa a los criterios de formato y la naranja representa a los de contenido.

 

CONCLUSIONES

El presente trabajo tuvo como propósito evaluar los efectos de imponer criterios de formato y contenido, por medio de una rúbrica, en tareas de revisión por pares con estudiantes universitarios. El hallazgo más relevante fue que el entrenamiento basado en el uso de la rúbrica, promovió desempeños que cumplieron con ambos tipos de criterios, pero el efecto es menor sobre los criterios de formato y mayor sobre los criterios de contenido, sobre todo cuando éstos criterios exigen vincular elementos que no se encuentran en el texto a partir del cual se escribe, que en este estudio estuvo representado por la exigencia de elaborar argumentaciones (Pacheco, Reséndiz, y Mares, 2010; Morales, Hernández, Peña, Chávez, y Carpio, 2017; Morales, Peña, Hernández, Trejo, y Carpio, 2017). Esto último señala que el entrenamiento no sólo se facilitó, sino que también distinguió cualitativamente la revisión por pares (Kulage, y Larson, 2016). Dicha distinción se da en términos de lo que se tiene que escribir y leer, pero referido a aspectos formales (criterios de formato), y los criterios de contenido disciplinario en función de aspectos textuales (la síntesis), aspectos situacionales que se pueden explicar con lo que se lee-escribe (la ilustración) y aspectos estrictamente conceptuales o teóricos (la argumentación).

La naturaleza longitudinal del estudio permitió observar la evolución del desempeño escritor ante dos tipos de criterios, cuya efectividad representada de forma individual, muestra el desarrollo de las habilidades escritoras, además de hacer evidente que dicho desarrollo en un mismo grupo de estudiantes, es diferente. Lo cual es difícil de apreciar cuando sólo se toma en cuenta el producto del comportamiento escritor y no el proceso o ruta que siguen quienes cumplen con dichos criterios y quiénes no. Esto realza el carácter formativo y no exclusivamente sumativo del proceso educativo escolarizado, y permite cuestionar el papel sobrevaluado de los exámenes o trabajos finales, ya que un simple escrito, no es ningún indicador de la dirección y desarrollo de las habilidades escritoras de un universitario (Mares y Rueda, 1993; Yurdabakan, y Erdogan, 2009).

El desempeño escritor mediado por una rúbrica también posibilita que el comportamiento de los estudiantes que se encuentran en formación universitaria de una disciplina, poco a poco se aproximen a las formas esperadas por los colectivos que conforman las comunidades de dichas disciplinas. Reduciendo las diferencias en los productos escritos que resultan de no imponer criterios, imponer criterios demasiados generales o ambiguos, que redundan en que los estudiantes difícilmente cumplan con los criterios que el docente espera.

Identificar el tipo de desempeño escritor que se espera de los estudiantes universitarios y sobretodo qué tanto ellos pueden identificar si cumplen o no con tales criterios, está cruzado por la consideración de las diferencias funcionales entre los criterios, lo que significa diferencias entre desempeños. Por ejemplo, cuando se transcribe un texto y cuando se elabora un nuevo argumento, existen morfologías similares para estimar la calidad de ambos textos, como pueden ser el número de palabras, conectores, cuartillas, párrafos, pero funcionalmente representan dos extremos cualitativamente distintos: el primero es un desempeño que se apoya completamente en buscar en un material la respuesta y copiarla, el segundo, es un desempeño que surge de la construcción de relaciones entre diferentes segmentos lingüísticos o argumentos, con lo cual se da origen a nuevos planteamientos.

Cuando se escribe es frecuente que en un inicio el escritor juega las veces de ser su propio revisor, pero siempre lo hace para satisfacer los criterios que son impuestos por otros. Por ejemplo, cuando un universitario relee lo que él mismo escribió para una tarea y que posteriormente será cotejada por el profesor. Progresivamente, el universitario escritor no sólo satisface los criterios de otro, sino que comienza a imponer sus propios criterios, idealmente esos criterios se asemejan a los que ha cubierto, por lo que si dichos criterios se reducen a cuestiones formales, difícilmente podrá imponerse criterios de contenido novedoso como se demanda al escribir una tesis o redactar un artículo. Por ende, es crítico favorecer la imposición y la identificación de criterios de formato y de contenido en la promoción de habilidades escritoras. Específicamente esta última condición, transitar de requerir la ayuda de otros hacia ser capaz de identificar y corregir los errores del desempeño propio, podría implicar un avance en términos del desarrollo psicológico que también es necesario promover en los estudiantes (Carpio, 2005). Por supuesto, la promoción de desempeños escritores cualitativamente diferentes, no puede descansar completamente en la imposición de criterios por medio de rúbrica, por lo cual es necesario explorar otros elementos, parámetros, secuencias o procesos.

El procedimiento de revisión en el espacio educativo, históricamente ha empleado criterios administrativos para designar o caracterizar a los pares, en la literatura sobre el tema se asume que en tanto comparten un espacio o un grado académico, los estudiantes pueden ser considerados pares entre sí (Cho, Schunn, y Charney, 2006; Schunn, Godley, y Demartino, 2016). Sin embargo, siguiendo los datos encontrados en este trabajo, se debe partir del supuesto que, si el desarrollo de habilidades y competencias es asimétrico entre los estudiantes, entonces quizá debiese emplearse otro criterio para caracterizar a los estudiantes como pares. Por ejemplo, puede ser en relación con su desempeño respecto de diferentes tipos de criterios (formato y contenido, por ejemplo), formar pares en términos del grado de desarrollo de habilidades escritoras y no por la edad o la pertenencia a un grupo escolar. En el caso de este estudio, todos los pares compartían una historia de referentes como fueron las rúbricas de evaluación por medio de las cuales se estimó que, a pesar de los posibles conflictos de interés, los estudiantes tenían que cumplir con criterios de evaluación específicos. Empero, futuras investigaciones podrían asociar pares evaluando los posibles efectos que tendría juntar a aquellos estudiantes que tienen desempeños similares o quizá desempeños que se complementan, colocando juntos a aquellos que pueden satisfacer un tipo de criterios con los que pueden satisfacer otro tipo de criterios.

Este estudio mostró que la escritura de un universitario es susceptible de ser modificada por medio de un procedimiento como lo es la revisión por pares, mientras los criterios de evaluación sean explícitos y compartidos para ambas partes, reduciendo diferencias interpersonales y las apreciaciones subjetivas. La escritura puede ser la circunstancia que posibilite la estructuración de interacciones variadas progresivamente más complejas, como lo son aquellas en las que la coherencia es el factor distintivo, por ejemplo, cuando se elaboran argumentaciones.

Ya sea en el caso de la formación universitaria o de la socialización del trabajo científico, el mejoramiento de los productos escritos, está cruzado por el desarrollo de las habilidades escritoras, pero su estudio aún se encuentra en ciernes frente a la investigación que existe, por ejemplo, sobre la lectura. No se diga sobre el estado de la enseñanza de la escritura más allá de los aspectos formales, que todavía está permeada por la intuición o procedimientos poco sistematizados (Guevara, Hincapié, Jackman, Herrera, y Caballero, 2008). En este contexto el presente estudio, pretende abonar modestamente al campo, a partir de mostrar los beneficios de conjuntar la dimensión formal y funcional de las interacciones escritoras, en particular sobre procedimientos como la revisión por pares, que históricamente se han visto afectados por las valoraciones subjetivas y relaciones interpersonales. Las ventajas de esta forma de proceder pueden ser varias o ninguna, ello dependerá de la “revisión” que se haga de lo aquí plasmado.

 

REFERENCIAS

Albarrán, M., y García, M. (2010) El proceso de enseñanza de la composición escrita adaptado a la evolución del aprendizaje de la escritura de los estudiantes. Didáctica. Lengua y Literatura, 22, 15-32

Carpio, C. (1994) Comportamiento animal y teoría de la conducta. En: Hayes, L., Ribes, E. y López, F. (Coords.), Contribuciones en honor a J. R. Kantor (pp. 45-68). Guadalajara, México: Universidad de Guadalajara

Carpio, C. (2005). Condiciones de entrenamiento que promueven comportamiento creativo. Un análisis experimental con estudiantes universitarios. (Tesis de doctorado inédita). Universidad Iberoamericana. México

Carpio, C., Canales, C., Morales, G., Arroyo, R., y Silva, H. (2007). Inteligencia, creatividad y desarrollo psicológico. Acta Colombiana de Psicología. 10 (2), 41-50

Chan, S., Inoue, C., y Taylor, L. (2015). Developing rubrics to assess the Reading-into-writing skills: A case study. Assessing Writing, 26, 20-37

Cho, K., Schunn, C., y Wilson, R. (2006). Validity and reliability of scaffolded peer assessment of writing from instructor and student perspectives. Journal of Educational Psychology, 98(4), 891–901

Cho, K., Schunn, C., y Charney, D. (2006). Commenting on writing: Typology and perceived helpfulness of comments from novice peer reviewers and subject matter experts. Written Communication, 23(3), 260–294

Colby, R., y Colby, R. (2008). A pedagogy of play: Integrating computer games into the writing classroom. Computers and Composition, 25(3), 300-312

Colby, R. (2017). Game-based pedagogy in the writing classroom. Computers and Composition, 43, 55-72

Das, A. (2016). ‘Peer review’ for scientific manuscripts: emerging issues, potential threats, and possible remedies. Medical Journal Armed Forces India, 72(2), 172-174

Deveugele, M., y Silverman, J. (2017). Peer-review for selection of oral presentations for conferences: Are we reliable? Patient education and counseling, 100(11), 2147-2150

Engqvist, L., y Frommen, J. (2008). Double-blind peer review and gender publication bias. Animal Behavior, 76(3) 1-2

Flower, L., y Hayes, J. R. (1980). The cognition of discovery: Defining a rhetorical problem. College composition and communication, 31(1), 21-32

Guevara, M., Hincapié, J., Jackman, J., Herrera, O., y Caballero, C. (2008). Revisión por pares: ¿Qué es y para qué sirve? Revista científica Salud Uninorte, 24 (2).258-272

Janssen, G., Meier, V., y Trace, J. (2015) Building a better rubric: Mixed methods rubric revision. Assessing Writing, 26, 51-66

Kulage, K., y Larson, E. (2016). Implementation and outcomes of a faculty-based, peer review manuscript writing workshop. Journal of Professional Nursing, 32(4), 262-270

Levis, A., Leentjens, A., Levenson, J., Lumley, M., y Thombs, B. (2015). Comparison of self-citation by peer reviewers in a journal with single-blind peer review versus a journal with open peer review. Journal of Psychosomatic Research, 79, 561-565

Li, M., y Kim, D. (2016). One wiki, two groups: Dynamic interactions across ESL collaborative writing tasks. Journal of second language writing, 31, 25-42

Li, M., y Li, J. (2017). Online Peer Review Using Turnitin in First-Year Writing Classes. Computers and Composition, 46, 21-38

Linton, J. (2016). Improving the Peer review process: Capturing more information and enabling high-risk/high-return research. Research Policy, 45(9), 1936-1938

Mares, G., y Rueda, E. (1993). El habla analizada desde la perspectiva de Ribes y López: desarrollo horizontal. Acta Comportamentalia: Revista Latina de Análisis del Comportamiento, 1(1), 39-62

Morales, G., Cruz, N., León, A., Silva, H., Arroyo, R., y Carpio, C. (2010). Morfología y función en el análisis empírico del ajuste lector. Suma Psicológica, 1, 35-45

Morales, G., Hernández, A., Peña, B., Chávez, E., y Carpio, C. (2017). Escribir rápido, escribir mejor: interacción entre parámetros temporales y criterios funcionales en universitarios. Journal of Behavior, Health, y Social Issues, 9(2), 124-131

Morales, G., Peña, B., Hernández, A., Trejo, A., y Carpio, C. (2017). Participaciones orales y tipos de criterios funcionales en estudiantes universitarios. Revista educarnos, 6 (26-27), 59-80

Oppenheimer, D., Zaromb, F., Pomerantz, J., Williams, J., y Park, Y. (2017). Improvement of writing skills during college: A multi-year cross-sectional and longitudinal study of undergraduate writing performance. Assessing Writing, 32, 12-27

Pacheco, V. (2008). Generación de conocimiento y habilidades escritoras: un análisis de la producción de textos en universitarios. (Tesis Doctoral). Facultad de Filosofía y Letras, UNAM. México

Pacheco, V., Carranza, N., Silva, H., Flores, C. y Morales, G. (2005). Evaluación del aprendizaje de la práctica científica. En C. Carpio y J. Irigoyen (Eds.), Psicología y educación. Aportaciones desde la teoría de la conducta. México: FES Iztacala, UNAM

Pacheco, V., Ortega, M., Morales, G., y Carpio, C. (2013). Escribo, luego existo: reflexiones acerca de la autorreferencia. En Pacheco, V., Carpio, C., Morales, G., y Ortega, M. (Eds.). La Autorreferencia. Promoción de comportamiento complejo desde diferentes perspectivas conceptuales (pp. 55-76). México: UNAM

Pacheco, V., Reséndiz, N., y Mares, G. (2010). Análisis funcional de textos escritos por estudiantes de psicología experimental. Enseñanza e investigación en psicología, 15(1), 75-87

Pacheco, V., y Villa, J. (2005). El comportamiento del escritor y la producción de textos científicos. Revista Mexicana de Investigación Educativa. 10(27), 1201-1224

Patchan, M., Charney, D., y Schunn, C. (2009). A validation study of students’ end comments: Comparing comments by students, a writing instructor, and a content instructor. Journal of Writing Research, 1(2), 124–152

Schunn, C., Godley, A., y DeMartino, S. (2016). The reliability and validity of peer review of writing in high school AP English classes. Journal of Adolescent and Adult Literature, 20(1), 13–23

Sundeen, T. (2014). Instructional rubrics: Effects of presentation options on writing quality. Assessing Writing, 21, 74-88

Uçar, S., y Yazıcı, Y. (2016). The Impact of Portfolios on Enhancing Writing Skills in ESP Classes. Procedia-Social and Behavioral Sciences, 232, 226-233

Whitehead, D. (2002). The academic writing experiences of a group of student nurses: A phenomenological study. Journal of Advanced Nursing, 38(5), 498-506

Yurdabakan, I., y Erdogan, T. (2009). The effects of portfolio assessment on reading, listening and writing skills of secondary school prep class students. The Journal of International Social Research, 2(9), 526-0035