Revisión por pares (metapost)

Si Nature hubiera querido ensayar una aproximación seria a los problemas y a los límites de la evaluación por pares a través de un test de evaluación abierta, lo mejor hubiera sido arbitrar como requisito lo que se sostuvo como sugerencia. La participación de las comunidades científicas en emprendimientos como este que nos ocupa no siempre tiene el consenso necesario, y muchas veces debido a que dichas comunidades consideran que las cosas las estamos haciendo bien.

Nicolás Quiroga en Tapera

Hay motivos para la perplejidad y también para la desazón. La propia Nature, como se resalta en ars technica, insinúa que no hay que descartar la influencia de dos factores negativos. El primero tiene que ver con las tensiones introducidas, especialmente en biomedicina, por las leyes de propiedad intelectual. Y el segundo alude al hecho de que cualquier comentador al introducir una observación podría estar dando pistas a otros sobre su investigación. Ambos problemas están enfatizando el régimen de abierta competencia que se da en ciencia. Y, subliminalmente, invitando a reflexionar sobre un hecho clave: el fracaso del experimento tiene que ver con la hegemonía de las estrategias competitivas sobre las colaborativas.

Antonio Lafuente en Tecnocidanos

Es evidente que participar en la creación de algo es mucho más ilusionante que hacerlo en su revisión. Es decir, si queremos fomentar una participación a posteriori, los refuerzos por hacerlo deben estar bien diseñados. ¿Qué consigo por participar? Las leyes de Pareto o de participación en los medios sociales son inexorables: pocos producen, pocos intervienen de forma activa con quienes producen. La mayor parte mira y consume, pero no participa.

¿Por qué habíamos de pensar que la comunidad científica iba a ser diferente? Lo que ha pasado con el experimento de Nature es lógico, es lo normal, es lo que tenía que pasar. Generar participación es un proceso complejo, que requiere abrir muchos frentes y hacerlo de forma hábil e inteligente. Zanahorias y recompensas más elaboradas. Sea lo que sea, hay que cuidar el entorno, hay que crear los contextos que den pie a la participación.

Si el contexto no se modifica, el experimento se queda en gaseosa: se le va la fuerza al poco tiempo de abrirla. Por eso, en nuestro proyecto en ciernes sobre la participación, quizá debamos hacer un hueco para estos "nuevos referentes" de pensamiento científico que quieren modelos abiertos y más participativos. ¿Por qué no añadir una línea de trabajo acerca de participación en la comunidad científica?

Insisto, lo que ha pasado es lo que tenía que pasar. Que no decaiga el ánimo. No vamos a negar la mayor porque la comunidad científica ha participado poco en la revisión abierta de ciertos artículos. Si en una empresa que ha funcionado años y años de forma clásica, abres un buzón de sugerencias y le dices a la gente: "participa, danos tu opinión", ¿qué consigues? Me temo que nueve de cada diez veces un fracaso. No puedes pasar de A a B de forma radical, sólo confiando en la buena fe de las personas. Lo suelo decir a menudo y quizá suene un poco fuerte: nosotros hemos creado los monstruos. Modificar tendencias y erradicar inercias no es cosa fácil.

Julen Iturbe en Consultoría artesana en red

El problema es que muchos de estos análisis parten de una cierta perspectiva determinista tecnológica. La que considera que las posibilidades técnicas se abren camino como un cortejo real que atraviesa fácilmente a la multitud que se abre a un lado y otro.

La revisión abierta basada en el uso de dispositivos como los wikis, los blogs, el RSS, los foros, etc. es un práctica compleja, a la que no se va a llegar únicamente instalando unas nuevas herramientas, porque es necesario todo un cambio en la práctica social de los científico, en su imaginario, en la adopción de un ideario colaborativo… desarrollar todo eso es un trabajo arduo y difícil. Por eso me fascinan en Internet los colectivos (formados por humanos y no humanos: software, servidores, máquinas, usuarios…) que funcionan, ya sea Menéame, Flickr, YouTube, Barrapunto… porque conseguir no sólo que el software funcione, sino que mantenga unidos, motivados, y sostenga la participación de los individuos es algo prodigioso. Ya vemos que Nature, con todo lo que es, no ha sido capaz de lograrlo.

Adolfo Estalella en Contexto

O sea: se acabó. Sobre toda esta efímera historia me gustaría hacer algunas consideraciones. Por ejemplo:

• es aparentemente contradictorio el teórico apoyo a la idea y que, a la hora de la verdad, casi nadie se prestara a someter sus trabajos a la crítica pública y se prefiriera muy mayoritariamente el método tradicional. Tal vez, digo yo, se preguntó al colectivo equivocado (lectores) en vez de preguntar a los autores de los últimos 5 años, por ejemplo.
• es chocante (y algo patético) que haya habido tan pocos comentarios y que sólo 4 de ellos hayan sido clasificados como realmente relevantes. Parecería que el colectivo de comentaristas no tenía demasiado nivel mientras que los otros, los que tal vez podrían haber aportado algo interesante, han decidido dedicar el tiempo, recurso escaso y valioso, a sus propios trabajos. Y es que ejercer revisor es ingrato, duro, no haces amigos y encima no te pagan (podrían, al menos, enviarte un ejemplar de la revista al final, pero ni eso).
  
• es obvio que la crítica a los colegas sólo se hace cómodamente desde el anonimato y encuentro muy probable que mucha gente se abstuviera por ese motivo (no piensen mal, el anonimato en el método tradicional es sólo relativo ya que el editor sabe quien eres y te juegas tu dudoso prestigio si haces una crítica absurda).
• los autores, si son mínimamente conscientes, han revisado cien veces su trabajo y lo han enviado a tres o cuatro colegas de confianza para que lo hagan a su vez. Es difícil convencer a nadie que otra revisión asamblearia vaya a aportar nada importante al texto. Tal vez por eso los comentarios han sido mayoritariamente superfluos.
  

Al final, por suerte o por desgracia, la popularización (que no democratización) de las revisiones en Nature se ha ido al traste. Era un ensayo conveniente, aunque sólo sea para acotar las espectativas de la llamada Ciencia 2.0. Ahora cada cual que saque sus conclusiones.

Alberto en Golem Blog