253
REDES
, VOL. 25, Nº 49, BERNAL, DICIEMBRE DE 2019, PP. 253-337
LA EVALUACIÓN ACADÉMICA BASADA EN
INDICADORES BIBLIOMÉTRICOS COMO SISTEMA
SOCIO-TÉCNICO. MICRO Y MACROPOLÍTICA DE LA
JERARQUIZACIÓN DE PRODUCTOS Y ACTIVIDADES
CIENTÍFICAS Y TECNOLÓGICAS
Hernán Thomas* / Lucas Becerra** / Florencia Trentini***
RESUMEN
La evaluación académica basada en indicadores bibliométricos cuantitati-
vos (factor de impacto - WoS; Scimago - Scopus e índice h - Google
Scholar) se ha convertido en las últimas décadas en uno de los principales
pilares de la jerarquización de publicaciones, la definición de agendas de
investigación, la conformación de equipos de investigación, la asignación
de recursos financieros y la promoción (y a veces estancamiento) de trayec-
torias profesionales de investigadores y tecnólogos.
Esta centralidad ha determinado múltiples niveles de incidencia de una
práctica relativamente restringida a dinámicas intracomunitarias, al punto
de convertir la tecnología de evaluación “objetiva” basada en indicadores
bibliométricos en una práctica hegemónica. Sin embargo, tal hegemonía
no implica un consenso absoluto: los manifiestos contenidos en este dossier
son una prueba de ello.
El presente trabajo responde a los siguientes objetivos: 1) comprender
cómo fue el proceso de construcción y adopción del sistema de evaluación
basado en indicadores bibliométricos, la estabilización de ciertos criterios,
la adopción de ciertas técnicas de medición y control; 2) analizar el alcance
* Instituto de Estudios sobre la Ciencia y la Tecnología, Universidad Nacional de Quilmes,
Conicet. Correo electrónico: <thomas@unq.edu.ar>.
** Instituto de Estudios sobre la Ciencia y la Tecnología, Universidad Nacional de Quilmes,
Conicet. Correo electrónico: <lucas.becerra@unq.edu.ar>.
*** Instituto de Estudios sobre la Ciencia y la Tecnología, Universidad Nacional de
Quilmes, Conicet. Correo electrónico: <maria.trentini@unq.edu.ar>.
DOI: https://doi.org/10.48160/18517072re49.79
254 HERNÁN THOMAS / LUCAS BECERRA / FLORENCIA TRENTINI
e incidencia de este sistema sobre las actividades científicas y tecnológicas,
tanto en un nivel general/global como nacional y regional, y 3) analizar los
encadenamientos explicativo-causales de este sistema de evaluación acadé-
mica sobre la generación / inhibición de capacidades de investigación y
desarrollo, en particular, sobre la dinámica sociocognitiva de los aparatos
tecnoproductivos de países en vías de desarrollo.
El análisis se despliega desde un abordaje socio-técnico y se presenta en
clave de un argumento incremental. En primer lugar, se analiza la trayec-
toria socio-técnica de la transición entre la tecnología de evaluación por
pares (subjetiva, “idiosincrásica”) y la bibliométrica (“objetiva”), poniendo
el foco en el proceso de cambio no-lineal que sufrieron los criterios, meca-
nismos, protocolos y prácticas (desde fines de la segunda guerra mundial
hasta la actualidad) a escala internacional y su adecuación a los complejos
institucionales de y latinoamericanos.
En segunda instancia, se abordan problemas puntuales de la tecnología
de evaluación basada en indicadores bibliométricos. Así, se analizan los pro-
blemas (conceptuales y empíricos) de la evaluación “objetiva”, y sus proble-
mas derivados: sobre la concepción de la calidad de la producción académica;
las microprácticas de los investigadores y las microprácticas de
evaluación.
Este análisis por elementos puntuales se integra, en una tercera instan-
cia, en términos sistémicos. Se pone en tensión qué mide (y por derivación,
qué invisibiliza) la evaluación “objetiva”; cómo incide esta tecnología de
evaluación en la relación entre la producción de conocimiento científico y
la producción de bienes y servicios; entre la producción de conocimientos
científicos y la producción de soluciones a problemas locales; y entre las
agendas de investigación y las políticas públicas de ciencia, tecnología,
innovación y desarrollo en América Latina.
El artículo concluye, en un cuarto nivel de análisis, con una reconstruc-
ción analítica de la alianza socio-técnica en términos de las capacidades
relacionales, los bucles de retroalimentación y la dinámica inercial que
construye, estabiliza y refuerza el funcionamiento de la tecnología de eva-
luación “objetiva”. Este último nivel de análisis permite dimensionar la
capacidad transformadora de las diferentes soluciones –propuestas en los
manifiestos– a los problemas analizados.
: – –
- – ,
255
REDES
, VOL. 25, Nº 49, BERNAL, DICIEMBRE DE 2019, PP. 253-337
INTRODUCCIÓN
La evaluación académica basada en indicadores bibliométricos cuantitati-
vos se ha convertido en las últimas décadas en uno de los principales pilares
de la conformación de elencos de las comunidades científicas. Tanto a nivel
nacional como regional o internacional. Esta centralidad ha determinado
múltiples niveles de incidencia de una práctica relativamente restringida a
dinámicas intracomunitarias hasta alcanzar un significativo nivel de deter-
minación de selección de temáticas, construcción (y discontinuación) de
agendas de investigación y desarrollo, estructuración de equipos de trabajo,
generación de capacidades, adquisición y desarrollo de equipamientos, asig-
nación de recursos financieros. Así, la evaluación académica basada en indi-
cadores bibliométricos (factor de impacto - WoS; Scimago - Scopus e
índice h - Google Scholar) constituye hoy un verdadero sistema de premios
y castigos que –permeando el conjunto de las disciplinas académicas–
orienta las actividades científicas y tecnológicas desde el plano microinsti-
tucional hasta el plano macropolítico (Vanclay, 2012; Weingart, 2005;
Wouters, 2014).
La evaluación académica basada en indicadores bibliométricos se ha tor-
nado una práctica hegemónica, que goza de un elevado consenso en los
aparatos institucionales de Ciencia y Tecnología. Sin embargo, tal hegemo-
nía no implica un consenso absoluto. A lo largo de los últimos años, como
muestra el contenido de los manifiestos (recopilados en este dossier), se han
alzado diferentes voces, denunciando restricciones, limitaciones y efectos
no deseados de esta práctica, sus reglas de funcionamiento y su basamento
empírico y conceptual (Radder, 2010; Seglen, 1997; Van den Besselaar y
Leydesdorff, 2009).
El cuestionamiento ha alcanzado nivel institucional internacional. En
este marco, la European University Association () y Science Europe y
la cOAlition S emitieron declaraciones públicas sobre la perentoria nece-
sidad de modificar las actuales formas de evaluación de la investigación.
[1]
El 14 de mayo de 2019 la , que reúne a más de ochocientas universida-
des de 48 países, y Science Europe unieron esfuerzos para mejorar la eva-
luación de la investigación académica y afirmaron:
Hoy en día, los resultados de la investigación académica a menudo se miden
a través de métodos basados en indicadores cuantitativos, como el factor
de impacto de la revista. Es necesario alejarse de las formas reduccionistas
[1] Véase y Science Europe (2019) y cOAlition S (2019), respectivamente.
256 HERNÁN THOMAS / LUCAS BECERRA / FLORENCIA TRENTINI
de evaluar la investigación, así como establecer sistemas que evalúen mejor
el potencial de la investigación ( y Science Europe, 2019).
De forma convergente, el Grupo de Expertos de la Comisión Europea ha
definido en un informe crítico que “El elemento estructural más importan-
te del actual ecosistema de investigación es el sistema de evaluación, en par-
ticular el factor de impacto” (Comisión Europea, 2019: 10).
cOAlition S, el programa generado por los impulsores del Plan S para
arribar al acceso abierto desde la Declaración de Budapest en 2002, publi-
có en 31 de mayo de 2019 sus diez principios definitivos. El décimo prin-
cipio establece:
Al momento de decidir el destino de los financiamientos, los financiado-
res se comprometen a considerar el valor intrínseco del trabajo y a evaluar
el producto de las investigaciones y no su canal de publicación, su factor
impacto (u otras métricas sobre revistas) o a la editorial (cOAlition, 2019: 2).
Pero también es posible observar en los diferentes manifiestos presenta-
dos en este dossier que no existe consenso en estos cuestionamientos. El
artículo de Noela Invernizzi y Amílcar Davyt mapea críticamente estos
niveles de convergencia y diferenciación. En el presente trabajo intenta-
remos otra vía analítica: 1) comprender cómo fue el proceso de construc-
ción y adopción de este sistema de evaluación, la estabilización de ciertos
criterios, la adopción de ciertas técnicas de medición y control; 2) anali-
zar el alcance e incidencia de estas prácticas sobre las actividades científi-
cas y tecnológicas, tanto en un nivel general/global como nacional
regional, y 3) analizar los encadenamientos explicativo-causales de estas
prácticas de evaluación académica sobre la generación / inhibición de
capacidades de investigación y desarrollo, en particular, sobre la dinámica
sociocognitiva de los aparatos tecno-productivos de países en vías de
desarrollo.
De todas las vías analíticas posibles, hemos seleccionado una que per-
mite observar movimientos de actores e instrumentos (entendiendo a los
sistemas de evaluación como instrumentos de política pública): el análisis
socio-técnico (Thomas, 2008).
En términos estilizados, es posible realizar este ejercicio analítico por
dos vías:
a) Metafórica: entendiendo al conjunto de prácticas de evaluación aca-
démica hegemónico y consensuado “como” un símil en términos de maqui-
naria tecnológica de una dinámica sociopolítica. Una representación
257
REDES
, VOL. 25, Nº 49, BERNAL, DICIEMBRE DE 2019, PP. 253-337
didáctica que permite simplificar relaciones para facilitar la comprensión
de explicaciones complejas.
b) Constructivista: entendiendo que la evaluación académica constituye
un sistema socio-técnico de jerarquización, de efectos concretos sobre las
prácticas de los actores sociales, al mismo tiempo que es conformado por
estos. Los instrumentos de evaluación, los criterios de diferenciación, los
procesos de construcción y validación de información, las formas de expli-
citación de resultados y toma de decisiones son artefactos y técnicas cohe-
sionadas de ese sistema socio-técnico, comportándose como cualquier otra
tecnología de producto, de proceso y de organización. Material, tanto en
su existencia como en sus efectos.
Optaremos por la segunda vía analítica. Los sistemas de evaluación generan
efectos sociales, económicos, culturales, políticos tan verificables como
cualquier otra tecnología. En otros términos, consideraremos a lo largo de
este artículo que las prácticas de evaluación son materialidades artefactuales
estabilizadas que se nutren de otros artefactos –considerados universales–
que se objetivan en ciertos productos, adquiriendo la forma de información
validada y pertinente. Por ejemplo: bases de datos, currículas, referencias
bibliográficas, indexaciones, citaciones, rankings, derechos de propiedad
intelectual, etc. Esto justifica y legitima –de forma necesaria y suficiente–
los resultados de los procesos de evaluación: las jerarquizaciones construidas
y las decisiones adoptadas.
Así, lejos de una vía metafórica, blanda, indirecta, lejos de todo “como
si”, las relaciones entre actores y artefactos adquieren capacidad explicativa.
Inciden de modo concreto y material sobre las prácticas de investigación y
desarrollo.
El abordaje constructivista permite, al mismo tiempo, introducir un pro-
ceso analítico reflexivo. En este sentido, el artículo integra la experiencia de
los autores como evaluadores –y evaluados– en el marco del sistema científi-
co-tecnológico local (Argentina), regional e internacional. Desde estos luga-
res distintos, desde los encuentros y debates compartidos –en comisiones
evaluadoras, equipos de diseño de instrumentos de política, asesorías, con-
sultorías, etc.– fuimos alimentado la discusión presentada en este trabajo en
diálogo con la bibliografía especializada. Esta es, además, resultado de inter-
cambios con otros evaluadores de la Argentina, de América Latina y Europa.
Y del trabajo conjunto con colegas de distintas nacionalidades en proyectos
de investigación, redacción y publicación de papers y libros; búsqueda (y
muchas veces, obtención) de financiamiento; rendiciones… es decir, hemos
sido parte una innumerable secuencia de instancias de evaluación.
258 HERNÁN THOMAS / LUCAS BECERRA / FLORENCIA TRENTINI
En el marco de foros, congresos, comisiones evaluadoras, espacios de
intercambio y discusión entre colegas fuimos recopilando información
valiosa en materia de actividades y procedimientos de evaluación. En estas
hemos registrado posiciones convergentes, más allá de los países y conti-
nentes, que nos permiten complementar los planteos contenidos en los
manifiestos del dossier y mostrar una “cultura de la evaluación” y también
un “malestar en esa cultura” a partir de un conocimiento situado y
experiencial.
El análisis constructivista socio-técnico, que se utiliza en este documen-
to, generara inteligibilidad sobre los principales cuestionamientos y pregun-
tas provocadas por los manifiestos presentados en este dossier. Y, al mismo
tiempo, integra una vasta y variada experiencia (como fuente primaria de
información) que, al tiempo que posibilita realizar un análisis metacrítico,
permite ponderar la capacidad de resolución de los problemas denunciados
en los manifiestos que integran el dossier.
MARCO ANALÍTICO CONCEPTUAL: EL ANÁLISIS SOCIO-TÉCNICO
La adopción de la perspectiva analítica socio-técnica posibilita una primera
operación clave: seleccionar un aparato conceptual orientado a describir y
explicar las relaciones entre grupos sociales y tecnologías: los procesos de
coconstrucción entre artefactos y sistemas tecnológicos y actores, grupos
sociales e instituciones.
Seis conceptualizaciones del análisis socio-técnico resultan particular-
mente adecuadas para el presente ejercicio:
Tecnología
La definición socio-técnica de tecnología intenta evitar tanto el determinis-
mo tecnológico como el social. Según este enfoque las tecnologías (en plu-
ral) son conjuntos de artefactos, procesos y formas de organización que se
despliegan como acciones articuladas (cognitivas, materiales y prácticas)
realizadas conscientemente por los humanos para alterar o prolongar el
estado de las cosas con el objetivo de que desempeñen un uso o función
situado y constituido en forma particular dentro de configuraciones socio-
técnicas dadas (Thomas, Becerra y Bidinost, 2019).
Lejos de la universalidad y neutralidad de las definiciones deterministas
tecnológicas, en términos socio-técnicos todas las tecnologías tienen fun-
259
REDES
, VOL. 25, Nº 49, BERNAL, DICIEMBRE DE 2019, PP. 253-337
cionamiento situado: social, político, económico, territorial y temporal-
mente. Se vinculan no solo en procesos homogéneamente tecnológicos –de
unos artefactos con otros–, sino en procesos heterogéneos, de artefactos y
decisiones, conocimientos y valores, productos y acumulación, prácticas
y controles, procesos y poder (Thomas, 2008).
Todas las tecnologías ejercen agencia. Obviamente, no de manera autó-
noma, determinista tecnológica, sino integradas sistémicamente en diná-
micas y alianzas socio-técnicas. En este sentido: todas las tecnologías son
políticas (Bijker, 1995; Callon, 1992, Thomas, 2008, 2012).
Desde esta perspectiva analítica, entonces, la evaluación académica es
una tecnología: un conjunto articulado de acciones (cognitivas, artefactuales
y práxicas: instrumentos, protocolos, criterios, indicadores, etc.) realizadas
conscientemente por las instituciones y, en particular, por un grupo de
actores, los evaluadores. Que se comportan en términos de distribución de
premios y castigos, orientados a jerarquizar ciertos temas y perfiles, a gene-
rar y validar la adopción de ciertas prácticas de investigación y desarrollo,
a regular ciertas conductas y comportamientos de los evaluados y legitimar
procesos decisorios institucionales. De este modo, las tecnologías de “eva-
luación académica” ejercen agencia sobre el conjunto de los científicos y
tecnólogos, la orientación de sus agendas de investigación, la conformación
y validación de sus productos (papers, desarrollos tecnológicos, servicios
científico-técnicos, etcétera).
En términos socio-técnicos, la evaluación académica, basada en el con-
cepto de “excelencia” entendida en términos “objetivos cuantitativos”, es
un sistema tecnológico particular, cuyos principales componentes hetero-
géneos son:
Indicadores bibliométricos (factor de impacto [WoS], Scimago
[Scopus] e índice h [Google Scholar]) + criterios y protocolos de selección
de publicaciones + repositorios + motores de búsqueda + algoritmos + ran-
kings bibliométricos + ideologema
[2]
de “excelencia” cuantitativa + criterios,
protocolos y prácticas de evaluación académica + protocolos de selección y
participación de pares evaluadores externos + ideologema de “objetividad
cuantitativa” + tablas de conversión (de indicadores bibliométricos en indi-
cadores de calidad académica y producción científica) + construcción de
rankings de calidad académica + formato de dictámenes.
[2] Ideologema: la menor unidad inteligible de (una) ideología (Makaryk, 1993). Des-
criptor conceptual vinculado a construcciones ideológicas acerca de lo que es y no es, lo
que es bueno o malo, adecuado o inadecuado, eficiente o ineficiente, lo que es posible o
imposible, viable o inviable.
260 HERNÁN THOMAS / LUCAS BECERRA / FLORENCIA TRENTINI
Dinámicas y trayectorias socio-técnicas
Las dinámicas socio-técnicas son conjuntos de patrones de interacción entre
tecnologías, instituciones, políticas, racionalidades y formas de constitu-
ción ideológica de los actores (Maclaine Pont y Thomas, 2007; Thomas,
1999, 2007; Thomas, Fressoli y Aguiar, 2006; Thomas, Versino y Lalouf,
2007). Se trata de un concepto sistémico sincrónico que permite insertar
una forma determinada de cambio socio-técnico en un mapa de interaccio-
nes simultáneas.
Una trayectoria socio-técnica es un proceso de coconstrucción de produc-
tos, procesos productivos, organizaciones, instituciones, relaciones usua-
rio-productor, relaciones problema-solución, procesos de construcción de
funcionamiento / no-funcionamiento de una tecnología, racionalidades,
políticas y estrategias de un actor (Thomas, 1999; Thomas, Versino y
Lalouf, 2007). A diferencia de la dinámica, la trayectoria es un concepto
diacrónico: partiendo desde un elemento socio-técnico particular permi-
te ordenar relaciones causales e identificar la conformación de bucles de
retroalimentación entre elementos heterogéneos en secuencias temporales.
Trayectorias y dinámicas son construcciones del analista, posibles de
operacionalizar en diferentes escalas y alcances, en diversos objetos de aná-
lisis. En este caso en particular, el sistema de evaluación académica, sus inte-
racciones normativo-políticas, socio-institucionales y tecno-productivas, y
su integración en alianzas socio-técnicas concretas.
Relaciones problema-solución
Las relaciones problema-solución constituyen un nodo básico del análisis
socio-técnico. Es necesario diferenciar metodológicamente dos niveles de
identificación/definición de las relaciones problema-solución (Bortz,
Becerra y Thomas, 2018; Thomas, 2008).
Definición 1 (nivel del actor): los problemas, las soluciones y sus relacio-
nes de correspondencia remiten a la dimensión de los actores. Problemas:
restricciones, inconvenientes, disfunciones, incompatibilidades, efectos
negativos o contraproducentes, vacancias (ausencia de respuestas a interro-
gantes considerados relevantes) inmanentes a artefactos y sistemas, signifi-
cados por ingenieros, tecnólogos, usuarios –en síntesis actores
socio-técnicos– de forma histórica y espacialmente situada. Soluciones:
superación de restricciones, refuncionalizaciones, compatibilizaciones,
desarrollos tecno-cognitivos, significados por los actores socio-técnicos
261
REDES
, VOL. 25, Nº 49, BERNAL, DICIEMBRE DE 2019, PP. 253-337
como respuesta a los problemas en términos de construcción de artefactos
y sistemas tecnológicos. Los actores suponen –construyen– la existencia de
correlaciones correspondientes y lógicas entre los problemas percibidos y
sus soluciones.
En este nivel es posible observar, relevar, registrar y sistematizar las cons-
trucciones de relaciones problema-solución generadas por los actores: en
nuestro caso, las construcciones de sentido generadas por comunidades
epistémicas, instituciones científicas y tecnológicas, gubernamentales,
empresariales, por ejemplo: ¿qué problemas afectan la acción de evaluación
académica?; ¿cómo jerarquizar científicos y tecnólogos?; ¿cómo hacerlo de
manera legítima y justa?; ¿cómo construir consensos –endo y extracomu-
nitarios– respecto de las soluciones construidas?; ¿cómo evitar la arbitrarie-
dad subjetiva?
Definición 2 (nivel del analista): en un segundo nivel es posible, además,
definir las relaciones problema-solución como (re)construcciones del ana-
lista. En este nivel, los problemas no son “reales”, inmanentes a los artefac-
tos o sistemas tecnológicos (problemas objetivos) ni se encuentran en la
mente de los actores (problemas subjetivos), sino que corresponden a cons-
trucciones socio-técnicas generadas por vía analítica. Los problemas, en tér-
minos socio-técnicos, son (re)construcciones de relaciones de sentido entre
actores y artefactos, irreductibles a los componentes singulares de esta rela-
ción. En el mismo nivel, las soluciones son construcciones socio-técnicas
generadas por diferentes actores que asignan el sentido de solución tecno-
lógica a diferentes acciones (cognitivas, artefactuales y práxicas) realizadas
conscientemente por los humanos para alterar o prolongar el estado de las
cosas con el objetivo de que desempeñen un uso o función.
Es función del analista reconstruir, además, la “racionalidad” particular
que vincula problemas y soluciones de los actores, relación que no es a
priori ni lógica, ni correspondiente ni necesaria, sino el resultado de suce-
sivas operaciones –recíprocas y biunívocas– de a) construcciones de sentido
desplegadas por los actores sobre artefactos y sistemas y b) de ejercicio de
la agencia de artefactos y sistemas sobre los procesos de construcción de fun-
cionamiento como respuesta a los problemas, parámetros e interrogantes
planteados.
Así, es posible responder a preguntas de orden explicativo: ¿cómo se ha
ido configurando una particular secuencia problema/solución en las prác-
ticas de evaluación académica?; ¿qué quieren evaluar los evaluadores?;
¿cómo se construyó la adecuación de las soluciones generadas (instrumen-
tos, protocolos, modelizaciones, indicadores, etc.) a los problemas identi-
ficados?; ¿por qué esas soluciones –esos instrumentos, esos protocolos, esas
262 HERNÁN THOMAS / LUCAS BECERRA / FLORENCIA TRENTINI
prácticas– y no otras?; ¿qué racionalidades comunitarias se coconstruyeron
con esos instrumentos y protocolos de evaluación?; ¿cómo desarrollan y
validan sus instrumentos de evaluación?; ¿cómo han cambiado las corres-
pondencias entre la necesidad de evaluar y las prácticas de evaluación a lo
largo del tiempo?; ¿quiénes consideran que se han alcanzado hoy soluciones
adecuadas y quienes no?; ¿por qué se genera esta diferencia?
En ambos niveles analíticos, la configuración de los problemas condi-
ciona el funcionamiento y pertinencia de las soluciones correspondientes.
Es posible (y deseable) integrar los dos niveles en el análisis socio-técnico.
Funcionamiento
Para el análisis de cualquier tecnología particular, es imprescindible com-
prender una condición clave: el funcionamiento. En el análisis socio-técni-
co, el “funcionamiento” tiene un valor asimilable a la noción de “verdad”
para la epistemología científica. Es necesario diferenciar metodológicamen-
te dos niveles de identificación/definición de funcionamiento.
Definición 1 (nivel del actor): en este nivel, funcionamiento se define
como el resultado de “funcionar” y, a funcionar, como una propiedad.
[3]
Otra acepción común de funcionamiento hace referencia al comportamien-
to “normal” de un elemento, un artefacto, que cumple con aquello para lo
que fue diseñado.
[4]
Estas definiciones configuran la noción “funcionamiento” en el nivel de
análisis del actor: es este quien define si los artefactos y sistemas “se com-
portan normalmente”, “con corrección”, “de un modo efectivo”, “se com-
portan como se esperaba para ejecutar las funciones que les son propias”,
cumplen con su cometido” (y definen en qué consisten esa “normalidad”,
[3] El Diccionario de la Real Academia Española () define “funcionamiento” como:
acción y resultado de funcionar (y da como ejemplo: “el funcionamiento del aparato es
correcto”). Define “funcionar” con dos acepciones: 1) Dicho de una persona, de una
máquina, etc.: ejecutar las funciones que le son propias y 2) marchar o resultar bien. El
negocio funciona como esperaba. Véase <https://dle.rae.es/funcionar>.
[4] Para el portal mexicano Definición, funcionamiento es “el comportamiento normal
que un elemento tiene, comportamiento esperado para realizar una tarea específica. El
término deriva de función, de la relación que se establece entre dos variables determinadas.
Así, funcionar implica que algo se relacione con un hecho o circunstancia de modo efecti-
vo. En el caso de un artefacto, funcionará si cumple con su cometido”. Véase <https://
definicion.mx/funcionamiento/>.
263
REDES
, VOL. 25, Nº 49, BERNAL, DICIEMBRE DE 2019, PP. 253-337
“corrección”, “efectividad”). Una forma de determinismo social (Thomas,
Becerra y Bidinost, 2019).
También en el plano del actor –en el sentido común de los usuarios, en
las concepciones de ingenieros, tecnólogos y científicos–, es posible encon-
trar juicios deterministas tecnológicos, donde el funcionamiento se explica
por las propias condiciones, características, “naturaleza”, de los artefactos y
sistemas. Y, aun, extienden la noción “funcionamiento” a fenómenos bio-
lógicos y políticos.
En todas estas definiciones, el funcionamiento es lo que explica (por qué
se utilizan algunos artefactos y sistemas y otros no, por qué ciertos inventos
derivan innovaciones, por qué algunas tecnologías duran y se difunden y
otras se discontinúan y abandonan, por qué algunas son mejores que otras),
no lo que hay que explicar (Thomas, Becerra y Bidinost, 2019).
En el caso en estudio, para los actores –científicos, tecnólogos, institu-
ciones– la evaluación académica adquirió su configuración actual y su gra-
do de aceptación porque funciona; en particular, porque funciona mejor
que otras prácticas de evaluación ensayadas en el pasado y/o frente a otras
alternativas. Y, porque funciona, se difundió a escala global, al conjunto de
las disciplinas científicas y tecnológicas.
Definición 2 (nivel del analista): en términos socio-técnicos, en el plano
del analista, el funcionamiento / no-funcionamiento de los artefactos no es
algo “intrínseco a las características del artefacto” (Bijker, 1995), ni el resul-
tado de una simple asignación de sentido generada por los actores, sino que
es una contingencia que se construye social, tecnológica, política, científica,
cognitiva y culturalmente (Thomas, Becerra y Bidinost, 2019).
Lejos de una característica o condición intrínseca o inmanente de los
artefactos tecnológicos, el funcionamiento o no-funcionamiento es la acción
y resultado de una relación interactiva entre humanos y no-humanos, entre
actores y artefactos. Es resultado de un proceso de coconstrucción socio-
técnica en el que intervienen elementos heterogéneos: artefactos y sistemas,
conocimientos, regulaciones, materiales, financiamiento, desempeños téc-
nicos, prestaciones, gustos y preferencias de los usuarios, definiciones para-
métricas, etc. (Vercelli y Thomas, 2007; Thomas, 2008; Thomas, Becerra
y Bidinost, 2019).
Lejos de una condición estable y permanente, el proceso de coconstruc-
ción de funcionamiento / no-funcionamiento es una secuencia: supone pro-
cesos no-lineales, interactivos y sucesivos de adecuación de soluciones
tecnológicas a concretas y particulares articulaciones socio-técnicas, histó-
ricamente situadas. En el análisis socio-técnico, el funcionamiento es lo que
hay que explicar, no lo que explica (Bijker, 1995; Thomas, 2008).
264 HERNÁN THOMAS / LUCAS BECERRA / FLORENCIA TRENTINI
En el presente ejercicio, entonces, no basta con responder a las pregun-
tas en términos de las construcciones subjetivas (discursivo-argumentales)
de los actores. Es necesario responder a las siguientes preguntas analíticas:
¿cómo se construyó el funcionamiento de la actual configuración de la tec-
nología “evaluación académica basada en indicadores bibliométricos”?;
¿quiénes la diseñaron y por qué consideran que funciona?; ¿cómo funcio-
na?; ¿cómo se construyó el no-funcionamiento de tecnologías de evaluación
académica alternativas?; ¿cómo se universalizó el funcionamiento de esta
configuración actual de la evaluación académica?; ¿funciona igual en todo
escenario, en todo momento, en toda disciplina?; ¿para quiénes funciona y
para quienes no?; ¿por qué la diferencia?
Alianzas socio-técnicas
Para explicar un proceso de construcción de funcionamiento / no-funcio-
namiento de una tecnología es tan insuficiente como inadecuado proponer
linealmente un elemento disparador, un efecto gatillo, una causa necesaria
y suficiente, al modo de los análisis deterministas. Por el contrario, es nece-
sario generar una (re)construcción analítica de una coalición de elementos
heterogéneos implicados en ese proceso: una alianza socio-técnica.
Una alianza socio-técnica es una construcción del analista: un movi-
miento de alineamiento y coordinación (en el sentido de Callon, 1992) de
artefactos, ideologías, regulaciones, conocimientos, instituciones, actores
sociales, recursos económicos, condiciones ambientales, materiales, etc. que
viabilizan o impiden la estabilización de la generación, diseño, producción,
adopción, uso, adopción y adecuación socio-técnica de una tecnología y de
construcción de su funcionamiento / no-funcionamiento (Maclaine Pont
y Thomas, 2007; Thomas, Becerra y Bidinost, 2019; Thomas, Fressoli y
Becerra, 2012).
En este ejercicio, es necesario desarrollar un proceso de alineamiento y
coordinación, de reconstrucción de movimientos no lineales, relaciones
causales y bucles de retroalimentación, de necesidades socio-institucionales,
valores académicos, criterios ideológicos de calidad y excelencia, instrumen-
tos de medición, “rankeo”, objetivación, organización institucional, política
pública de investigación y desarrollo, redes tecno-productivas locales e
internacionales, instrumentos de financiamiento, jerarquización de publi-
caciones científicas, etcétera.
Sin ese conjunto de elementos articulados de forma particular, resulta
insuficiente o ininteligible la explicación del funcionamiento del actual sis-
265
REDES
, VOL. 25, Nº 49, BERNAL, DICIEMBRE DE 2019, PP. 253-337
tema de evaluación académica. Así como también resulta insuficiente la
identificación de los problemas de escala y alcance de las críticas formula-
das en los diferentes manifiestos. ¿Cuál es la alianza que construye funcio-
namiento a la tecnología de evaluación académica “objetiva” cuantitativa?
¿En qué alianza funciona esta tecnología de evaluación? ¿Qué funciona o
no-funciona en el marco de esa alianza? ¿Los interjuegos de la alianza son
simétricos en cualquier escenario, en cualquier momento, para cualquier
disciplina? ¿Qué movimientos y acciones promueve o inhibe? ¿Cuál es el
alcance de las críticas de los manifiestos? ¿Estas críticas son parte de la mis-
ma alianza –endogeneradas– o son formulados desde otras alianzas –exo-
generadas–? ¿Las soluciones propuestas en cada uno de los manifiestos son
incrementales o estructurales?
El concepto de alianza socio-técnica permite así analizar algo más: el
poder. En las alianzas, la cuestión del poder es abordada, siguiendo a
Bijker (1995), en dos niveles: micropolítico (procesos decisorios y vincu-
laciones de coconstrucción) y semiótico (procesos de asignación de sen-
tido y construcción de funcionamiento). De esta manera, la alianza
socio-técnica:
permite mapear y comprender conflictos, enfrentamientos, controversias,
diferendos. Permite visualizar interacciones múltiples, entre elementos
heterogéneos, y reconstruir relaciones causales. Y, así, permite simplificar y
tornar inteligible aquello que el sentido común caracteriza como “lo com-
plejo” (Thomas, Becerra y Bidinost, 2019: 149).
TRAYECTORIA DEL PROCESO DE CONSTRUCCIÓN
DE FUNCIONAMIENTO / NO-FUNCIONAMIENTO
DE LOS SISTEMAS DE EVALUACIÓN ACADÉMICA
Revisar brevemente la historia reciente de los sistemas de evaluación acadé-
mica permite comprender el proceso de transición no-lineal de criterios,
mecanismos, protocolos y prácticas, desde fines de la segunda guerra mun-
dial hasta la actualidad. Permite comprender, en particular, cómo una for-
ma de evaluación aceptada por las comunidades científicas durante décadas
comenzó a ser cuestionada, problematizada y finalmente sustituida por
otra. Y finalmente, permite inteligir por qué se adoptó esa nueva forma y
no otra. Este ejercicio es funcional para comprender el alcance –y restric-
ciones– de las críticas contenidas en los manifiestos.
266 HERNÁN THOMAS / LUCAS BECERRA / FLORENCIA TRENTINI
El proceso de construcción de no-funcionamiento
de la evaluación académica “idiosincrásica”
Hasta fines de la Primera Guerra Mundial, la evaluación académica se
caracterizaba por un sistema de selección basado en el prestigio de investi-
gadores y/o instituciones académicas. Cada disciplina científica reconocía
jerarquías construidas idiosincrásicamente, a partir de criterios centralmen-
te subjetivos compartidos por élites intracomunitarias. En una escala rela-
tivamente reducida de elencos científicos, presupuestos acotados,
equipamientos genéricos, redes cortas vinculadas a la escala y alcance de los
colegios y las academias nacionales, el sistema de evaluación por pares dis-
ciplinarios no solo parecía suficiente, sino también adecuado. Derek de
Solla Price describía de este modo el papel de las publicaciones en el esce-
nario previo a la Primera Guerra Mundial:
En el oscuro y distante pasado de la ciencia, desde finales del siglo
cuando aparecieron las publicaciones científicas y hasta alrededor de la
Primera Guerra Mundial, cuando la autoría colectiva era un evento bastan-
te raro, la norma era que un investigador activo producía alrededor de un
artículo científico por año (Price, 1986: 259).
Pero desde la posguerra de la Segunda Guerra Mundial los aumentos de
escala, la configuración de alteraciones de equipamientos, presupuestos y
elencos de lo que la literatura denominó Big Science (Gallison y Hevly,
1992; Price, 1963), la percepción de la producción científica como una
ventaja estratégica primero en el plano militar, y después tecno-productivo
y comercial, implicó no solo una creciente inversión de recursos sino tam-
bién una creciente ampliación de la cantidad de investigadores. Y un pro-
ceso de abandono del carácter vocacional de la ciencia hacia la
profesionalización de la actividad científica, de formalización de las carreras
de investigación, de configuración de formaciones de posgrado
universitario.
A medida que este proceso se desarrollaba, fue generándose una nueva
estructura de la trama socioinstitucional pública y privada, que dio lugar a
un irreversible proceso de institucionalización. Los mecanismos de evalua-
ción intersubjetivos intracomunitarios comenzaron a percibirse como dis-
funcionales: arbitrarios, elitistas, conservadores, autoritarios, y obsoletos,
respecto de los procesos de modernización del estado. ¿Cómo asignar los
crecientes presupuestos de forma transparente?, ¿cómo justificar las deci-
siones institucionales y presupuestarias adoptadas?, ¿cómo compatibilizar
267
REDES
, VOL. 25, Nº 49, BERNAL, DICIEMBRE DE 2019, PP. 253-337
los ingresos a las (nuevas) carreras científicas con los sistemas democráticos
nacionales y las políticas públicas de educación superior, ciencia y tecnolo-
gía?, ¿cómo racionalizar y objetivar las subjetividades idiosincrásicas? se
constituyeron en interrogantes que demarcaron un problema. Y comenza-
ron a derruir las bases ideológicas de las formas de evaluación por pares
consuetudinarias, los criterios basados en el prestigio de investigadores e
instituciones, previamente aceptadas durante décadas: a construir el no-
funcionamiento de la evaluación académica idiosincrásica. Un evidente y
creciente malestar en la cultura académica.
La construcción de funcionamiento de la evaluación académica “objetiva”
A inicios de la década de 1960, en los países más industrializados (Estados
Unidos, algunos países europeos) una serie de elementos heterogéneos con-
vergieron en la organización de una respuesta/solución a estos
cuestionamientos.
Por una parte, los estudios de nuevas subdisciplinas, como la sociología
y la historia de la ciencia –así como una serie de trabajos sobre política cien-
tífica– gestaron una línea de análisis basados en metodologías cuantitativas,
orientados inicialmente a mapear la producción científica y, posteriormen-
te, a generar indicadores de productividad de los investigadores. Así,
comenzaron a analizarse las formas de circulación de los conocimientos
científicos y a registrarse las primeras redes de investigadores vía cuantifi-
cación y trazabilidad de citaciones bibliográficas (Garfield y Sher, 1963;
Price, 1963, 1986). Los desarrollos de Eugene Garfield –asociado inicial-
mente a Price– se cristalizaron en la concepción del Institute for Scientific
Information (), en el año 1960. Hacia 1963 la productividad científica
y la calidad de la producción medida por el referenciamiento de revistas
científicas configuraron una herramienta estabilizada y reconocida, el
Science Citation Index.
Por otra parte, el proceso de reinstitucionalización y profesionalización
de la ciencia implicó la burocratización del sistema decisorio y administra-
tivo (así como se burocratizaron las funciones de los estados occidentales).
La racionalización de los crecientes presupuestos de ciencia –correspon-
dientes al aumento de los costos de la investigación– se materializó en la
asignación de subsidios mediante fondos concursables. La misma lógica
permeó la asignación de cargos de investigación (desde las becas de estudios
a las direcciones institucionales). Las agendas de investigación se reconfi-
guraron, coconstruyéndose en correspondencia y adecuación con los flujos
268 HERNÁN THOMAS / LUCAS BECERRA / FLORENCIA TRENTINI
de recursos, los temas financiados, los criterios de selección ex ante de las
convocatorias de proyectos (Hagstrom, 1965).
En 1962, la necesidad de homogeneizar la información sobre ciencia y
–en menor medida tecnología– y convertirla en insumo práctico para sub-
sidiar los procesos decisorios mediante la generación de indicadores (útiles
para la planificación estatal, el desarrollo de estrategias, la identificación de
fortalezas y debilidades, la rendición del gasto público y la justificación
de la inversión) llevó a la creación de un instrumento de normalización de
datos: el Manual de Frascati.
[5]
Al mismo tiempo, las empresas más dinámicas del sector privado inter-
nalizaron la función de investigación y desarrollo, demandando creciente-
mente elencos de investigadores y tecnólogos con el objetivo de generar
lucros extraordinarios vía innovación tecnológica. En diversos sectores –par-
ticularmente en el sector de defensa en el caso norteamericano, pero también
de ciencias de la salud, de energía, de telecomunicaciones–, los intereses eco-
nómicos de las empresas comenzaron a ponerse en fase con los procesos de
profesionalización científica y tecnológica, y de inversión de recursos públi-
cos en investigación y desarrollo (Mazzucato, 2014). Así, la proporción del
gasto en + privada aumentó hasta tornarse dominante.
Y, al mismo tiempo, esa hegemonía se materializó en la orientación de
las agendas de investigación: no solo en las unidades de + del sector pri-
vado, sino también –vía subsidios en inversiones consorciadas– en las agen-
das de las instituciones científicas y tecnológicas del sector público,
consolidando la convergencia de intereses públicos y privados. Y, como par-
te de este movimiento, realizando aportes en el sostenimiento de algunas
de las principales publicaciones de diversos campos científicos (con especial
énfasis en las ciencias exactas y naturales), las que a su vez –en un bucle de
retroalimentación– demarcaron las agendas prioritarias.
La profesionalización de los elencos gubernamentales implicó la coop-
tación de economistas, administradores e ingenieros en el sector público, y
con ellos la adopción de criterios cuantitativos de aumento de la eficiencia
del gasto y planificación de las políticas públicas. Entre ellas, las políticas
[5] El manual debe su nombre a la ciudad italiana donde, en 1962, el Grupo de Trabajo
de la Organización para la Cooperación y el Desarrollo Económicos () de Expertos
Nacionales en Indicadores de Ciencia y Tecnología (, por sus siglas en inglés) acordó
por primera vez un enfoque común para medir e informar estadísticas sobre +. El manual
ha sido revisado en seis ocasiones para abordar nuevos desafíos y tener en cuenta los intereses
emergentes de los usuarios. Todas las versiones se encuentran disponibles en el sitio de
internet de la . Véase <https://www.oecd.org/sti/inno/Frascati-Manual.htm>.
269
REDES
, VOL. 25, Nº 49, BERNAL, DICIEMBRE DE 2019, PP. 253-337
de educación superior, ciencia y tecnología. Y esos criterios demandaban
tanto nuevos mecanismos de rendición de cuentas como herramientas de
evaluación ex ante que permitieran –o al menos tuvieran la apariencia de–
selección legítima, distribución racional, transparencia y accountability.
El último elemento puesto en juego en esta convergencia se vincula direc-
tamente con el primero. Desde fines de la década de 1990, la indexación de
las revistas en repositorios institucionales (públicos y privados) y su posterior
jerarquización según diferentes mediciones de “impacto” derivó de releva-
miento de la producción científica en instrumento de evaluación de la cali-
dad y la productividad de los investigadores (“Manifiesto de Leiden”). Frente
a la intrasubjetividad de las comunidades de pares, la evaluación de investi-
gadores a través de la ponderación bibliométrica cuantitativa de sus publi-
caciones científicas mediante el índice h, el factor de impacto y los cuartiles
de Scimago según temática y disciplina, pasó a ser aceptado como un
criterio objetivo y universal de calidad (Godin, 2006).
A través de esta convergencia de elementos heterogéneos se configuró
una nueva alianza socio-técnica, tal que resultaba compatible con la profe-
sionalización y proliferación de investigadores, la burocratización orientada
a la eficiencia del sector público, la planificación estatal, los intereses del
sector privado, la orientación estratégica de las agendas de investigación y
desarrollo, la democratización vía “aumento de la transparencia” del proce-
so decisorio compatible con el moderno estado democrático, y, aun, el ideal
de universalización de la ciencia. La alianza socio-técnica de la evaluación
académica “objetiva”.
El uso de métricas refuerza el funcionamiento de la evaluación “objeti-
va” debido a que permite resolver un problema operativo significativo de
esta alianza: el creciente volumen de evaluaciones de distintos objetos (con-
cursos por cargos, asignación de fondos concursables, generación de nuevas
instituciones, etc.). El uso de indicadores cuantitativos es sencillo de imple-
mentar y operacionalizar, y autoevidente en su justificación. Generando un
bucle de retroalimentación adicional.
Esta alianza socio-técnica alcanzó tal nivel de ubicuidad e incidencia que
permeó al conjunto de instituciones científicas de los países industrializa-
dos en un plazo relativamente breve, desplazando las prácticas previas,
resolviendo en línea todos los problemas de la evaluación idiosincrásica,
sepultando su funcionamiento, y prometiendo un futuro de desarrollo pro-
ductivo, económico y social basado en un valor fundamental: la “excelen-
cia” académica, dimensionada cuantitativamente –de forma simple y
concreta, sintética y económica, exenta y objetiva, universal e intercomu-
nitaria– por la calidad de las publicaciones científicas.
270 HERNÁN THOMAS / LUCAS BECERRA / FLORENCIA TRENTINI
La construcción de funcionamiento de la evaluación
académica “objetiva” en América Latina
El proceso, relativamente tardío, de institucionalización moderna de la
ciencia en América Latina se inicia a fines de la década de 1950 (Hurtado
de Mendoza, 2010; Thomas, 1999). La creación de diferentes consejos
nacionales de ciencia a lo largo de la década de 1960 consolida un proceso
de formalización y creciente burocratización de procesos decisorios
(Thomas, 1999). La creación de registros y carreras de investigador genera
un problema a resolver: ¿con qué criterios incorporar y jerarquizar a los
investigadores?
Las primeras prácticas de evaluación institucional incorporaron la eva-
luación “idiosincrásica” por comisiones de pares, emulando el uso estabili-
zado previamente en Europa (espacio de formación de doctorado de las
élites científicas locales). Dos elementos resultaban de un peso simbólico
particular: el prestigio del director del grupo de trabajo y la realización de
estudios de posgrado en casas de altos estudios (de Europa y Estados
Unidos) referenciadas según campo disciplinario.
Por otra parte, ya desde fines del siglo e inicios del , algunos de
los principales grupos académicos –y luego de investigación– intentaron
emular una de las prácticas observadas en las instituciones científicas euro-
peas: la edición de revistas científicas locales, tarea entendida como un
aspecto constitutivo de la construcción de campo y conformación de
comunidades temáticas a nivel nacional y, en algunos casos, regional
(Vessuri, 1994).
Los viajes de formación consolidaron vínculos personales e institucio-
nales entre los grupos locales y los laboratorios de referencia internacionales
(Vessuri, 1994). Al regresar, se internalizaron usos y prácticas, emulación
de equipamientos y, fundamentalmente, agendas de investigación. Sobre
los vínculos preexistentes circularon nuevos becarios, generando una repro-
ducción ampliada de esta dinámica. La adopción de nuevas prácticas de
investigación, el enrolamiento en agendas mainstream, el liderazgo de pro-
cesos de microinstitucionalización de laboratorios, y la publicación de artí-
culos en coautoría con referentes europeos y norteamericanos permitió
(Kern y Thomas, 2014; Kreimer, 2006) al mismo tiempo: a) desarrollar
nuevas capacidades, b) construir prestigio local, c) convertir ese prestigio
en acceso a financiamiento, d) consolidar los grupos locales en formación,
y e) posicionar a los investigadores como referencias locales, tanto en inves-
tigación como en docencia (titularidad de cátedras universitarias). Una vez
estabilizado, el mecanismo tendió a retroalimentarse.
271
REDES
, VOL. 25, Nº 49, BERNAL, DICIEMBRE DE 2019, PP. 253-337
Paralelamente, al proceso de institucionalización se agregó un nuevo
elemento: la profesionalización de los investigadores, con carreras full time
en universidades e instituciones públicas de investigación y desarrollo
(Prego y Vallejos, 2010).
Ya en la década de 1970, el paper publicado en una revista científica
internacional con referato comenzó a consolidarse como el producto desea-
do del proceso de investigación (Kreimer, 1998), el que a su vez represen-
taba –de forma fehaciente y verificable– la “excelencia” del investigador.
Al mismo tiempo, comenzaron a verificarse tensiones entre las prácticas
consuetudinarias de evaluación “idiosincrásica” y las formas “objetivas” de
evaluación, de las que participaban no solo la élite científica local sino tam-
bién los miembros jóvenes de los equipos de investigación que pugnaban
por desarrollar carreras profesionales y disputaban entre sí cargos, espacios
y fondos concursables. Hacia fines de la década de 1990, las prácticas con-
suetudinarias pasaron a ser calificadas por un número creciente de investi-
gadores –en particular de las ciencias exactas y naturales– como decisiones
subjetivas y arbitrarias. En una transición no exenta de debates y contradic-
ciones, las instituciones de investigación de la región –comenzando por los
consejos nacionales de ciencia y tecnología– adoptaron incrementalmente
los criterios y mecanismos institucionales de la evaluación académica basa-
da en la ponderación de la calidad y cantidad de las publicaciones científi-
cas, en primera instancia, el índice h y luego el cuartil (el “Q”) de las
publicaciones. La tecnología de evaluación “objetiva” fue considerada por
el conjunto de las comunidades científicas como una superación de los pro-
blemas de la evaluación idiosincrásica. Un avance tal que constituía una
irreversibilidad del sistema institucional.
El funcionamiento de la tecnología de evaluación académica “objetiva”
construyó el no-funcionamiento de cualquier alternativa. ¿Quién podría
defender un regreso al pasado arbitrariamente subjetivo? ¿Los que no
podían publicar un paper en una revista Q1? ¿Los que no alcanzaban un
índice h significativo? ¿Los mediocres de las ciencias sociales y las humani-
dades que autofinanciaban la publicación de sus libros o publicaban en
revistas locales? ¿Los que prestaban servicios tecnológicos rutinarios? ¿Los
pseudocientíficos? ¿Los que ostentaban posiciones en base a su estructura
de relaciones política y personales?
La tecnología de la evaluación académica “objetiva” se fue extendiendo
en escala y alcance desde los Conicet y y hacia las instituciones uni-
versitarias, por una parte y hacia los institutos de tecnología, por otra, y
también comenzó a aplicarse en la evaluación de proyectos financiados por
fondos concursables, hasta permear el conjunto de las instituciones cientí-
272 HERNÁN THOMAS / LUCAS BECERRA / FLORENCIA TRENTINI
ficas y tecnológicas de la región (Kreimer, 2011). Las ingenierías, las cien-
cias sociales y las humanidades, relativamente perjudicadas inicialmente en
este cambio del sistema de premios y castigos, encontraron una solución a
su problema de “discriminación”: adoptaron la tecnología de evaluación
académica de la “excelencia”, ponderada objetivamente (factor de impacto
+ Scimago + índice h).
El proceso de desarrollo institucional sostenido por instituciones de
financiamiento internacional (principalmente el Banco Interamericano de
Desarrollo y el Banco Mundial, pero también el International Development
Research Centre –– canadiense y otras fuentes de recursos como los
programas de cooperación europeos) –de incidencia creciente en la región
desde comienzos de la década de 1960– determinó un particular sendero
de desarrollo tecnológico de la evaluación académica: una forma de meta-
evaluación, donde los complejos socioinstitucionales que adoptaban las
nuevas prácticas de evaluación “objetiva” resultaban objetos dignos de nue-
vas corrientes de fondos. Y estos flujos financieros, en el contexto de pre-
supuestos crónicamente deficitarios (donde la ciencia era considerada más
un gasto que una inversión y, por lo tanto un destino no prioritario), orien-
taron de forma sustantiva la política pública de ciencia y tecnología.
Obviamente, los grupos de investigación internacionalizados que ya res-
pondían a esa lógica resultaron comparativamente más beneficiados. Y sus
estrategias se confirmaron como las más adecuadas. Conformando un nue-
vo bucle de retroalimentación.
A diferencia de los procesos de interacción interinstitucional desplegados
en algunos de los denominados “países centrales”, las empresas del sector
privado de América Latina permanecieron fuera de esta dinámica (Arocena
y Sutz, 2010; Thomas y Dagnino, 2005). Transnacionales que no realizan
+ local, pequeñas y medianas empresas que solo realizan + informal in
house (Thomas, Aguiar y Fressoli, 2004). Otro tanto ocurrió con gran parte
de las empresas públicas –con singulares excepciones en algunos sectores
estratégicos clave, de algunos países–. Pero aun en estos casos, las unidades
de + no interactuaban con las instituciones públicas de y. De modo tal
que no parece arriesgado afirmar que durante gran parte del siglo , y aun,
de los inicios del siglo , en la mayoría de los países de la región, la políti-
ca científica y tecnológica fue un problema de las propias comunidades cien-
tíficas locales. Y cuando adquirió una mayor visibilidad relativa, de todos
modos nunca fue considerada en los hechos –aunque muchas veces sí en el
discurso político– un área prioritaria del Estado.
Como un subregistro de la agenda de política pública –en particular, en
vigencia de administraciones “liberales”– y como un non issue de la agenda
273
REDES
, VOL. 25, Nº 49, BERNAL, DICIEMBRE DE 2019, PP. 253-337
estratégica empresarial privada, la política científica y tecnológica tendió a
restringirse a una cuestión estatal de asignación presupuestaria, creación de
agencias e instituciones de pequeño y mediano porte, aspecto secundario
de políticas de educación superior, adquisición de equipamientos y asigna-
ción de subsidios (de menor cuantía relativa). Una parte sustantiva del pro-
blema de racionalización, ejecución presupuestaria, accountability y
transparencia de estas asignaciones de recursos se solucionó mediante una
tecnología legitimada y avalada internacionalmente, adecuada al rango
decisorio de la comunidad beneficiaria de este tipo de inversiones (para los
investigadores) / gastos (para las administraciones públicas), pertinente y
válida para la racionalidad de los científicos: la evaluación académica “obje-
tiva”, basada en la ponderación del factor de impacto, el índice h y el cuartil
de los papers. Con lo que se construye un nuevo bucle de retroalimenta-
ción de la alianza socio-técnica.
Como en tantos otros campos de actividad humana en la región, la
alianza socio-técnica en la que se desarrolla la tecnología de evaluación
académica cuantitativa “objetiva” es relativamente corta, poco densa, sec-
torial a nivel local, pero, al mismo tiempo, fluidamente conectada –aun-
que de forma problemática, por incompleta y subordinada– con las
tecnologías académicas de productos, procesos y formas de organización
de Europa y Estados Unidos. Después de todo, si funciona a escala global
–desde Japón a Gran Bretaña, desde China a Estados Unidos– ¿por qué
no funcionaría aquí?
LOS PROBLEMAS EVIDENTES DE LA SOLUCIÓN
“CUANTITATIVA OBJETIVA”
Esta sección del artículo constituye un intento de sistematizar las principa-
les críticas formuladas, las relaciones problema-solución explícitas o implí-
citas en los diferentes manifiestos, así como sus alcances y derivaciones a
nivel internacional y a escala regional. Así, es posible diferenciar diversos
niveles y focos de objeción: desde la problematización de las unidades de
medición, hasta las consecuencias sistémicas de la tecnología de evaluación
cuantitativa “objetiva”. Porque en la misma escala y alcance que se extendió
la práctica, también se extienden los problemas derivados de esta solu-
ción.
[6]
Un nuevo y creciente malestar en la cultura académica.
[6] Numerosos trabajos dan cuenta de este “malestar” en la evaluación académica basada
en indicadores bibliométricos, desde fines de la década de 1990. Solo por citar algunos
274 HERNÁN THOMAS / LUCAS BECERRA / FLORENCIA TRENTINI
La calidad de la producción medida por factor de impacto
+ Scimago sjr de la publicación
Uno de los principales puntos de convergencia de las críticas denuncia una
serie de problemas metodológicos de la aplicación excluyente de la tecno-
logía de evaluación cuantitativa “objetiva”.
Mientras los defensores de los métodos cuantitativos de evaluación de
publicaciones sostienen que la extensión de esta metodología permitió la
generalización de mejores estándares de calidad –tanto en el plano de las
disciplinas como en el de las diversas comunidades científicas nacionales–,
sus objetores plantean exactamente lo contrario. En esto coinciden prácti-
camente todos los manifiestos: la adopción excluyente de estos métodos
condujo a la degradación de la calidad académica. El método cuantitativo
indujo un aumento de la productividad a expensas de la calidad de los pro-
ductos. El “Manifiesto de la ciencia lenta”
[7]
es particularmente explícito en
este sentido. No solo produjo –denuncian– una degradación en el nivel de
los productos sino, en términos más amplios, de la ciencia en su conjunto
y de la academia como institución social diferenciada.
En el mismo sentido, para otras posiciones críticas afines (contenidas en
el “Estatuto de la desexcelencia” y el “Manifiesto académico: de la universi-
dad ocupada a la universidad pública”
[8]
), el problema del productivismo
responde no simplemente al método de evaluación sino al marco conceptual
en el que se sustenta: la cultura de la “excelencia” sustentada normativamen-
te por las reformas liberales adoptadas en Europa, siguiendo modelos nor-
teamericanos de gerenciamiento empresarial. Un giro tautológico, en
realidad, dado que la “excelencia” es ponderada excluyentemente por la can-
tidad de papers publicados en revistas Q1, con un elevado índice h.
¿Cómo sugieren los manifiestos resolver el problema de la degradación
de la calidad? En tanto el “Manifiesto de la ciencia lenta” propone recupe-
rar ritmos más pausados de producción que permitan la revisión cuidadosa
de los productos, la “Declaración de San Francisco sobre la Evaluación de
la Investigación”
[9]
(, por sus siglas en inglés) promueve disociar la
ejemplos: Klein y Chang (2004); Narin y Hamilton (1996); Persson, Glänzel y Danell
(2004); Seglen (1997). Lo significativo es que los cuestionamientos aumentaron de escala
y relevancia a lo largo del tiempo, desde artículos críticos individuales a manifiestos insti-
tucionales internacionales.
[7] Véase en el presente dossier.
[8] Véanse ambos en el presente dossier.
[9] Véase en el presente dossier.
275
REDES
, VOL. 25, Nº 49, BERNAL, DICIEMBRE DE 2019, PP. 253-337
evaluación de la calidad de la producción (un artículo) del repositorio ins-
titucional de su publicación (la revista), impugnando el “factor de impacto”
en dos niveles: como medición directa de la calidad del artículo (factor de
impacto del documento publicado) y como evaluación indirecta del artí-
culo (el factor de impacto de la revista se traslada automáticamente a la
calidad del documento publicado).
En América Latina, en particular, la adopción del valor de “excelencia
cuantitativa” y la introducción de protocolos de evaluación basados en la
cuantificación de la producción a lo largo de las últimas décadas parece
haber implicado tanto el aumento de la productividad como la estandari-
zación de los productos de diferentes disciplinas, desde las ciencias exactas
y naturales a las ciencias sociales y humanas. Muchos investigadores opinan
que esto construyó “un piso” de calidad de la producción científica local.
Al mismo tiempo, parece haber condicionado la asimilación (para algunos),
subordinación (para otros) de las agendas de investigación (Dagnino y
Thomas, 1997; Kreimer, 2011), los marcos teórico-conceptuales y las
metodologías de investigación, a fin de lograr la aprobación de los artículos
en revistas internacionales de referencia.
El aumento de la cantidad de nuevos graduados y la ampliación de los
complejos institucionales de ciencia y tecnología muestra una característica
más: el proceso de institucionalización interactuó fuertemente con la adop-
ción generalizada de estas prácticas y valores. Pero produjo, para muchos
críticos locales, la desterritorialización de esas agendas, prácticas y abordajes
(Kreimer y Thomas, 2006; Oteiza, 1992; Vessuri, 1994).
Por otra parte, la práctica de coautoría promovida por la cooperación
internacional reforzó en muchas disciplinas y áreas temáticas el sesgo des-
territorializado de la producción científica latinoamericana y, aun, la sub-
ordinación de la producción local a agendas exogeneradas (Herrera, 1995
[1971]; Hurtado de Mendoza, 2010; Kreimer, 2006; Sábato y Botana,
1968; Thomas, 2007; Varsavsky, 1974a). En otros términos, el aumento
cuantitativo de la producción “de excelencia” implicó –para muchos– una
pérdida de la relevancia / pertinencia de las investigaciones, la estandariza-
ción de los abordajes e inhibió la generación de propuestas innovadoras,
adecuadas a los desafíos de la región.
El sistema de premios y castigos de la evaluación cuantitativa basada en
indicadores bibliométricos, finalmente, supone otro efecto: la visibilización
o invisibilización de ciertos productos y actividades. En tanto los papers
publicados en revistas internacionales de referencia pasan a constituirse en
la unidad de medida de la calidad científica, otras actividades son secunda-
rizadas o directamente invisibilizadas: producción de nuevos artefactos y
276 HERNÁN THOMAS / LUCAS BECERRA / FLORENCIA TRENTINI
sistemas tecnológicos, prestación de servicios cognitivos, comunicación
pública de la ciencia, actividades de vinculación y extensión, organización
de redes colaborativas. A punto tal que, en algunas instituciones, la evalua-
ción de los ingresos o promociones, la asignación de subsidios y cargos, pasa
–de forma excluyente o, al menos, predominante– por el número de publi-
caciones, su índice h, su factor de impacto y el cuartil en el que se encuen-
tra la revista en la que se publica.
Las microprácticas de los investigadores
Los sistemas de evaluación, como toda tecnología, condicionan espacios y
conductas de los actores, diferencian lo posible de lo imposible, distinguen
lo deseable de lo inadecuado, demarcan oportunidades y senderos de viabili-
dad: son la base material de las construcciones de “realidad” (Thomas, 2012).
La tecnología de evaluación cuantitativa “objetiva” ejerce agencia –directa
y muy concretamente– sobre el conjunto de prácticas de los investigadores,
hasta un minucioso nivel micro, de detalle. Desde la configuración del
currículum, la estrategia de llenado de bases de datos y autodescripciones,
las prácticas de citación, la selección de publicaciones, las estrategias de
inserción institucional, hasta el diseño de agendas de investigación, la con-
figuración de los equipos de trabajo, la adquisición de equipamientos, la
construcción de vínculos nacionales e internacionales.
Los investigadores –es lógico– responden al conjunto de señales emana-
do por la tecnología de evaluación. No solo por un problema de construc-
ción de prestigio o reconocimiento –en términos mertonianos–, sino por
la concreta necesidad de inserción laboral, de progreso en sus carreras, de
aumento de sus grados de libertad.
La tecnología de evaluación cuantitativa demarca un sendero particular
(cuadro 1), al mismo tiempo que inhibe caminos alternativos.
Todas acciones necesarias para desarrollar actividades científicas en la
actualidad, en cualquier lugar del mundo, realizadas por personas con voca-
ción de producir nuevos conocimientos, de resolver problemas sociales y
ambientales, de beneficiar a la humanidad. Solo que, en una “inversión car-
navalesca”, la generación de condiciones y medios –la producción de obser-
vables– pasa a transformarse en un fin en sí mismo, una estrategia de
supervivencia, un trabajo alienado, una operatoria delineada y condiciona-
da por la tecnología de evaluación “objetiva”. En particular, por el conjunto
acotado de observables cuantitativos (índice h, factor de impacto y cuartil
de las publicaciones) que supone la aplicabilidad de esa tecnología. Así, es
277
REDES
, VOL. 25, Nº 49, BERNAL, DICIEMBRE DE 2019, PP. 253-337
posible verificar un doble “efecto Mateo” (Merton, 1968): a) en la búsque-
da y obtención de recursos humanos y financieros y b) en la conversión de
prestigio en fuente de apalancamiento de financiamiento. Tanto en el
Estatuto de la desexcelencia como en Manifiesto académico: de la universidad
ocupada a la universidad pública se denuncia este comportamiento, induci-
do por la aplicación de las evaluaciones bibliométricas y apoyado en la nor-
mativa –neoliberal– derivada de los acuerdos de Bolonia.
Obviamente, los escenarios socioinstitucionales no son homogéneos. En
algunos países, las políticas de investigación son más robustas, dan claras
señales, en otros, el entramado de empresas productoras de bienes y servi-
cios (públicas y/o privadas) demarcan agendas acordes a sus demandas
estratégicas, en algunos, se despliegan densas dinámicas interactivas inte-
rinstitucionales. Pero cuando los escenarios socioinstitucionales locales son
Cuadro 1. Primer hecho estilizado: incidencia de la evaluación “objetiva”
en las prácticas de los investigadores locales
• Construir un currículum que muestre una trayectoria coherente, consistente y progresiva,
que evidencie un alto grado de productividad y calidad (entendida en los términos
particulares enunciados por la “excelencia académica”).
• Adquirir una formación académica que muestre su vinculación con centros de i+d de
excelencia internacionales.
• Manejar estrategias de citación de terceros clave (y autocitación, ahora inhibidas por los
sistemas de cálculo de citaciones, como contraestrategia de los constructores de
indicadores, ¡claro!) y de citación cruzada en grupos de investigación o instituciones.
• Diseñar agendas de investigación orientadas por las agendas temáticas de publicación de
las revistas internacionales en el campo de referencia disciplinaria (obviamente, en lo
posible revistas Q1, que viabilicen un significativo índice h).
• Asegurar una inserción laboral sólida en instituciones académicas de prestigio.
• Conformar equipos de trabajo orientados a la publicación de resultados (y estrategias de
dirección que garanticen la maximización de las autorías).
• Adquirir equipamientos y desarrollar capacidades técnicas que respondan al estado del
arte de los temas priorizados en las publicaciones de referencia.
• Generar permanentemente recursos financieros para subsidiar esas adquisiciones, y
cultivar de vínculos internacionales que garanticen coautorías y acceso a publicaciones
internacionales.
Fuente: Elaboración propia.
278 HERNÁN THOMAS / LUCAS BECERRA / FLORENCIA TRENTINI
frágiles, poco densos, caen periódicamente en crisis políticas o económicas,
y las políticas son discontinuas e inconsistentes –como ocurre en América
Latina normalmente–, la única señal clara para un investigador es la agen-
cia ejercida por la tecnología de evaluación “objetiva”. De modo tal que la
adopción de estas prácticas no es una opción: la “excelencia cuantitativa” es
la única estrategia racional aparentemente viable.
Las microprácticas de evaluación
La resolución de los problemas de subjetividad, parcialidad, inequidad,
inconmensurabilidad y elevado nivel de incertidumbre del peer review con-
suetudinario son resueltos por la adopción de la evaluación “objetiva” cuan-
titativa mediante la generación y estandarización de observables
monosémicos y autoevidentes, por lo tanto no sujetos a interpretación: los
indicadores de calidad (índice h, factor de impacto y el cuartil de las
publicaciones).
Esto implica, claro, que por diseño de los criterios de evaluación del sis-
tema es conveniente dejar de lado (en las versiones más radicales) o secun-
darizar (en las versiones moderadas) todos los parámetros pasibles de
interpretación subjetiva. Así, todo aquello que no se constituya en dato
cuantificable es descartado o reducido a su mínima expresión.
De este modo, la lógica constructiva de la tecnología de evaluación
“objetiva” genera una distinción epistemológica entre una diversidad de
informaciones. La distinción maximiza la precisión de los datos y la econo-
mía de recursos del ejercicio de evaluación: los indicadores y los rankings.
Esta lógica se ha desplegado en las prácticas de evaluación aplicadas por
los evaluadores institucionales en nuevos procedimientos, que procuran
maximizar la economía y la precisión mediante la generación de nuevos
criterios complementarios. En el plano de las unidades de observación, la
lógica cuantitativa de los papers se ha extendido, en el caso de la producción
de tecnologías, a las patentes. En algunas instituciones ha alcanzado tam-
bién a libros y capítulos de libros. En pocos casos, a servicios y obras de
comunicación pública de la ciencia. Estos procedimientos han dado lugar
a verdaderas “tablas de equivalencias”, donde la unidad básica de medida es
el artículo publicado en revista periódica con referato de alto nivel interna-
cional: el paper en revista Q1. El valor del resto de la producción cuantifi-
cable es calculado en relación a fracciones de valor de esa unidad.
Esta dinámica de path dependence ha tendido a resolver los nuevos pro-
blemas surgidos en la aplicación de la tecnología “objetiva cuantitativa”
279
REDES
, VOL. 25, Nº 49, BERNAL, DICIEMBRE DE 2019, PP. 253-337
siguiendo el mismo principio constructivo: problemas de multiautoría,
resueltos distribuyendo el valor según el orden de los autores (respetando
las características de nominalidad de cada disciplina); problemas de auto-
citación, resueltos con la eliminación taxativa de autoreferencias (operación
ahora automatizada en los motores de búsqueda); problemas de publicación
en journals de la propia institución del autor (efecto denominado “endoga-
mia”), resueltos mediante la disminución del valor relativo del paper. Así, a
escala institucional, distintas comisiones de evaluación generaron nuevos
coeficientes destinados a compensar efectos del “desvío” estadístico.
La confianza en el nivel de precisión de los rankings ha generado una
tolerancia de centésimas en la diferenciación entre los evaluados. Esto es
consignado abiertamente en los dictámenes de concursos de asignación de
becas (por ejemplo, del Conicet, la , las universidades nacionales de la
Argentina), ingresos a la carrera de investigador (en el caso del Conicet), y,
aun, asignación de recursos y cargos.
Es necesario reconocer que, en el plano del ejercicio mismo de la eva-
luación “objetiva”, la tecnología ofrece no pocas ventajas al evaluador: es
simple, minimiza las operaciones, desambigua situaciones de paridad,
rankea automáticamente, reduce los tiempos por unidad de expediente eva-
luada. Dada su reconocida “universalidad de criterio” permite rápidos con-
sensos, tanto dentro de las propias comisiones, como en las comunidades
de evaluación porque, dada la aceptación de la cultura de la evaluación aca-
démica cuantitativa, los evaluados participan de estos mismos criterios (a
lo sumo, los evaluados cuestionan la omisión o error de alguna cuantifica-
ción). Y esta misma universalidad consagra el funcionamiento justo y equi-
tativo de la tecnología “objetiva” cuantitativa.
Y, fundamentalmente, ofrece una ventaja sustantiva: la ponderación de
base ya está disponible. Ha sido generada “anónimamente” por el colectivo
de evaluadores de las publicaciones. El evaluador institucional se remite a
esa información –mediada y tipificada por Scimago-Scopus, Google
Scholar, y WoS– como “verdad” incuestionable apoyada en un aparato
externo y “neutral” de indicadores. Esa doble externalidad le construye
“objetividad” empírica. Esa construcción de “verdad objetiva” es asimilada
al aparato de pruebas de la metodología científica. De esta manera, la prác-
tica misma de la evaluación adquiere un estatuto de “cientificidad”.
Sin embargo, varios de los manifiestos
[10]
coinciden en denunciar estas
prácticas como una “fetichización” de los indicadores, y cuestionan la “lógi-
[10] “Estatuto de la desexcelencia”, “Manifiesto académico: de la universidad ocupada a
la universidad pública”, “Manifiesto de Leiden”, “Salvar la ciencia”.
280 HERNÁN THOMAS / LUCAS BECERRA / FLORENCIA TRENTINI
ca de la excelencia” basada en los principios de: medición, competencia y
eficiencia.
Es posible observar que, en la base de la tecnología de evaluación “obje-
tiva”, yace un problema de desplazamiento metonímico. El ideologema
“excelencia” –devenido criterio necesario y suficiente de evaluación– se rei-
fica en la cuantificación “objetiva” mediante un procedimiento de despla-
zamiento y reducción de sentido (una sinécdoque), de la producción del
investigador a la revista en la que publica sus artículos.
Es de notar que este no es un problema de las publicaciones y sus crite-
rios de evaluación, los que, de hecho, responden a la lógica de peer review
cualitativo. Tampoco es un problema –al menos, en primera instancia,
como veremos más adelante– de los rankings de publicaciones por redes de
citación (citation network), destinados en todo caso, a jerarquizar revistas
(factor de impacto + Scimago ). El problema radica en desplazar la cuan-
tificación por redes de citación, devenida indicador y ranking de revistas y
suponer que eso dice algo acerca de la calidad de la producción de un inves-
tigador y de su calidad como investigador ().
Una de las ventajas de la tecnología de evaluación “objetiva” de la “exce-
lencia” es que permite desplazar la ponderación subjetiva a una base infor-
macional externa al evaluador. El papel del evaluador se restringe a registrar
esa información en un dictamen.
Uno de los principales problemas deriva precisamente de esta ventaja: la
evaluación “objetiva” viabiliza y oculta un sistema de delegación. La evalua-
ción subjetiva del procedimiento de peer review de las publicaciones cientí-
ficas –reducida a dato de publicación, ni siquiera a información sobre el
dictamen de la publicación, cantidad de revisiones, argumentos positivos o
negativos del dictamen, citaciones positivas o críticas– permite omitir el ejer-
cicio mismo de evaluación de los artículos de referencia. A punto tal esta
delegación funciona como criterio académico que posibilita realizar una eva-
luación obviando la lectura del contenido de los artículos publicados.
No es de extrañar que algunos de los manifiestos denuncien el proble-
ma de la degradación del procedimiento de peer review (“Salvar la ciencia”),
y sus consecuencias: resultados poco confiables, errores de evaluación, que
se extienden al propio sistema de evaluación de las publicaciones
(“Manifiesto de Leiden”).
Frente a la incapacidad de asegurar calidad en las evaluaciones “objeti-
vas” basadas en los criterios cuantitativos de “excelencia”, una de las solu-
ciones –de orden operativo– propuestas por uno, el “Manifiesto de Leiden”,
es delegar la solución-métrica a la categoría de “información auxiliar” del
peer review. Otra solución propuesta para el problema metonímico –de
281
REDES
, VOL. 25, Nº 49, BERNAL, DICIEMBRE DE 2019, PP. 253-337
orden conceptual– es partir del “principio de disociación” de la calidad del
producto / investigador respecto de la categorización del periódico en el
que publica ().
Ambas soluciones –en términos de dinámica endo-causal de la alianza–
parecen restringidas, incrementales, y de escasa probabilidad de adopción.
En comunidades donde el grado de aceptación de la tecnología de evalua-
ción “objetiva” es tan elevado –a punto tal de estar “naturalizado”– y las
ventajas crecientes de adopción son tan significativas, las dos respuestas
parecen insuficientes para reconstruir parcialmente su funcionamiento,
morigerando sus efectos negativos.
Las máquinas de categorizar
En el core set de la tecnología de evaluación “objetiva” subyacen dos proble-
mas, uno conceptual y otro metodológico, de base empírica.
La base conceptual de los rankings de revistas está constituida sobre un
nuevo desplazamiento de sentido, otra metonimia: aquella que a princi-
pios de la década de 1960 convirtió una técnica de investigación de la
sociología de la ciencia: la medición de citaciones y la reconstrucción
nominal de redes de citaciones y colegios invisibles, en una tecnología de
categorización y jerarquización de las publicaciones científicas (Moed et
al., 1987). Bajo el supuesto simple de que las mejores revistas son las más
citadas. Y, en un segundo nivel, mediante una operación de transducción,
[11]
donde la herramienta de investigación derivó en un servicio vinculado a
una estructura editorial comercial.
El segundo problema, empírico, refiere a la propia construcción de esas
jerarquizaciones de publicaciones: ¿quién mide?; ¿qué mide?; ¿cómo mide?
Y, como cuestión derivada, ¿cuáles de esos indicadores son utilizados de
forma privilegiada en los ejercicios de evaluación académica “objetiva”?;
¿qué problemas genera esa selección de indicadores?
[11] Proceso autoorganizado de generación de entidad y sentido que aparece cuando un
elemento (artefacto, concepto, mecanismo o herramienta) es trasladado de un contexto
sistémico a otro (Thomas y Dagnino, 2005; Thomas, 2008). La inserción de un mismo
elemento en un nuevo sistema (ensamble socio-técnico, sistema local de innovación y
producción, alianza socio-técnica, etc.) genera la aparición de nuevos sentidos (funciones,
disfuncionalidades, efectos no deseados, etcétera).
Estos nuevos sentidos no aparecen simplemente por la agencia que los diferentes
actores ejercen sobre el elemento, sino en virtud de la resignificación generada por el par-
ticular efecto “sintáctico” de la inserción del elemento en otra dinámica socio-técnica.
282 HERNÁN THOMAS / LUCAS BECERRA / FLORENCIA TRENTINI
El proceso de estandarización de las referencias bibliográficas operacio-
nalizado a partir de la aplicación extendida de los criterios del Manual de
Frascati y los subsecuentes acuerdos y manuales de procedimiento unificó
los asientos bibliográficos, facilitando el ejercicio de la sistematización de
árboles de citas y el acceso ampliado a comunidades enteras del material
bibliográfico. El posterior desarrollo de software de base, planillas de cálcu-
lo, algoritmos y motores de búsqueda dio soporte material a esas técnicas.
El problema no radica allí, sino en las operaciones metonímica y meto-
dológica en la evaluación académica “objetiva” basada en la utilización de
la cantidad de publicaciones y citaciones –reforzada por el accionar de edi-
toriales internacionales– que permiten “cualificar” el soporte de la produc-
ción, pero no el producto de la actividad científica.
Los índices (index) son repositorios con distintos criterios de admisibi-
lidad de revistas científicas, y algunos incluyen otros productos, como
libros, ponencias y patentes. Cada índice tiene su propio indicador, y pre-
senta indicadores comunes, que permiten rankear las revistas en función de
algún algoritmo que pondera diferentes variables. Comprender cómo ope-
ran esas máquinas de categorizar constituye un insumo crucial para explicar
su funcionamiento.
Los indicadores “de calidad” más utilizados a nivel internacional en la
evaluación académica “objetiva” son generados en los repositorios de WoS
(factor de impacto), Scopus (Scimago ) y Google Scholar (índice h).
Web of Science (WoS) - WoS Core Collection
La Web of Science (WoS) –creada en 1997– es un repositorio que es la con-
tinuación del Thomson Reuters que a su vez, es el resultado de la adqui-
sición por parte de Reuters del Thomson , que a su vez es resultado de la
adquisición por parte de la empresa Thomson del Institute for Scientific
Information () fundado por Eugene Garfield en 1960 (Información
Tecnológica, 2013).
Actualmente la institución propietaria de WoS es Clarivate Analytics,
una compañía –en rigor, un grupo económico que cotiza en la Bolsa de
Nueva York– con sedes en Filadelfia y Londres, formada en 2016, tras la
adquisición de la división de Intellectual Property and Science Business de
Thomson Reuters por Onex Corporation y Baring Private Equity Asia. El
13 de mayo de 2019, Clarivate se fusionó con Churchill Capital.
[12]
[12] Churchill Capital es un grupo financiero con sede legal en el estado de Delaware.
283
REDES
, VOL. 25, Nº 49, BERNAL, DICIEMBRE DE 2019, PP. 253-337
El índice raíz de la WoS es el Master Journal List. Una herramienta de
búsqueda para guiar a los investigadores sobre las opciones de revistas cien-
tíficas donde pueden publicar sus artículos. El Master Journal List busca
revistas académicas hospedadas en el repositorio de la plataforma Web of
Science. En el corazón de esta base de datos se encuentra la Web of Science
Core Collection que incluye solo revistas que alcanzan “altos niveles de
rigor editorial” y cumplen con “las mejores prácticas editoriales”. Web of
Science contiene más de 161 millones de documentos indexados en 254
áreas temáticas.
El Master Journal List permite buscar en los siguientes subíndices, todos
integrados a la plataforma Web of Science: Science Citation Index Expanded
(), Social Sciences Citation Index (), Arts & Humanities Citation
Index (), Emerging Sources Citation Index ().
El ingreso de una revista a la WoS depende de la evaluación realizada
por un grupo de curadores, que aplican los criterios de selección y perma-
nencia. La selección inicial de la WoS Core Collections se basa en un con-
junto de 24 “criterios de calidad” diseñados para evaluar el proceso de
publicación y el contenido de la revista. Todas las revistas, independiente-
mente de la disciplina, se evalúan según los mismos 24 criterios de calidad.
Si la revista se aprueba, ingresa a un índice provisorio, el Emerging Sources
Citation Index ().
Ingresada una Revista al , se evalúa según cuatro criterios de impac-
to para ser admitida finalmente en la WoS Core Collection, sumando en
total 28 criterios de evaluación. De los cuatro criterios de impacto que se
utilizan, tres se basan en la actividad de citación como indicador principal.
El análisis de citas se realiza a nivel de la revista, del autor y de la editorial.
El cuarto criterio es de “significancia”: un indicador cualitativo definido
como una especialización única de la revista, una perspectiva novedosa, un
enfoque regional o un contenido inusual que enriquece la cobertura de la
WoS.
[13]
A partir de esa base de datos del repositorio, WoS genera dos
indicadores:
• Factor de Impacto: El Factor de Impacto se define como la media de
veces que –en un año determinado– se citaron los artículos científicos
publicados por una revista en los dos años anteriores. El cálculo es un
promedio simple de base móvil que se realiza dividendo el número de
[13] Para una explicación completa del proceso de evaluación de WoS, véase <https://
clarivate.com/webofsciencegroup/wp-content/uploads/sites/2/2019/08/Journal-Evalua-
tion.pdf>.
284 HERNÁN THOMAS / LUCAS BECERRA / FLORENCIA TRENTINI
veces que se citaron los artículos por la cantidad de artículos que se pue-
den citar publicados en los últimos dos años.
[14]
El Factor de Impacto
está orientado a generar una jerarquización relativa de revistas.
• Factor de Impacto de Cinco Años: Web of Science, también calcula y
publica el Factor de Impacto de Cinco Años, que es resultado de la apli-
cación del mismo algoritmo que el factor de impacto clásico, pero con
una base móvil de cinco años.
Scopus
La institución propietaria de Scopus es Elsevier, grupo editorial internacio-
nal con sede en Ámsterdam, fundado en 1880.
Scopus es una base de datos –creada en el año 2004– que indexa el con-
tenido de 24.600 títulos activos y 5 mil editores que, según informa en su
página web, “es rigurosamente examinado y seleccionado” por un comité
de revisión independiente, y utiliza una rica arquitectura de metadatos sub-
yacentes para conectar personas, ideas publicadas e instituciones.
[15]
Utilizando herramientas de análisis bibliométrico, Scopus genera resultados
sobre citas, perfiles detallados de investigadores y líneas de investigación.
Cubre áreas de: ciencia, tecnología, medicina y ciencias sociales (inclu-
yendo artes y humanidades). Además de revistas, tiene series monográficas,
actas de congresos, libros y patentes (más de 39 millones, tomadas de cinco
oficinas oficiales: Organización Mundial de la Propiedad Intelectual (),
European Patent Office (), y las oficinas de patentes de Estados Unidos,
Japón y Reino Unido). Su cobertura temporal es desde 1996, aunque a
veces llega hasta 1970. Se actualiza diariamente.
En algunos casos, da acceso gratuito al texto completo de los documen-
tos que incluye. También ofrece herramientas bibliométricas para evaluar
el rendimiento de publicaciones y autores, según las citas recibidas por cada
artículo. Estas herramientas se basan en las métricas desarrolladas por dis-
tintos expertos, como el grupo de investigación español Scimago, o el
(Centre for Science and Technology Studies), de la Universidad de Leiden
(Países Bajos).
[14] El factor de impacto del año 2019 de una revista se calcula dividiendo la cantidad
de veces que se citaron los artículos publicados en 2017 y 2018 sobre el número total de
“artículos citables” publicados en 2015 y 2016.
[15] Para mayor información, véase <https://www.elsevier.com/solutions/scopus/how-
scopus-works>.
285
REDES
, VOL. 25, Nº 49, BERNAL, DICIEMBRE DE 2019, PP. 253-337
• Scimago Journal Rank (sjR): Creado en 2007, el es un factor de medi-
ción que establece la calidad de las publicaciones científicas basándose en
el recuento de citas obtenidas por cada publicación. El cálculo de este índi-
ce se realiza contabilizando el número de citas recibidas ponderando la
“importancia” o “prestigio” de las revistas de las que proceden dichas
citas.
[16]
El indicador se realiza sobre el cálculo de las citas recibidas por
las revistas en un periodo de tres años, otorgando un peso mayor a las citas
procedentes de revistas de alto prestigio (aquellas con altas tasas de citación
y baja autocitación) utilizando para ello el algoritmo de Google PageRank.
Las publicaciones se ordenan por cuartiles (Q), clasificadas cada año en
cada una de las áreas temáticas a las que se asocia. El se hospeda en el
Scimago Journal & Country Rank, un portal disponible al público que
incluye las revistas y los indicadores científicos de cada país desarrollados
a partir de la información contenida en la base de datos Scopus.
La institución responsable del es Scimago: un grupo de investiga-
ción conformado por el Consejo Superior de Investigaciones Científicas
() de España, la Universidad de Granada, la Universidad de
Extremadura, la Universidad de Carlos (Madrid) y la Universidad
de Alcalá de Henares.
Google Scholar
Google Scholar (Google Académico, en castellano), creado en 2005, es un
producto de Google , compañía subsidiaria de la multinacional estadou-
nidense Alphabet Inc.
Google Scholar es un motor de búsqueda de Google que indexa conte-
nido y bibliografía científico-académica. El sitio indexa editoriales, biblio-
tecas, repositorios, bases de datos bibliográficas, entre otros; y entre sus
resultados se pueden encontrar citas, enlaces a libros, artículos de revistas
científicas, comunicaciones y congresos, informes científico-técnicos, tesis,
tesinas y archivos depositados en repositorios.
Jerarquiza los resultados usando un algoritmo similar al que utiliza
Google para las búsquedas generales, aunque también usa como señal de
“calidad” la revista en la que se ha publicado.
[16] Los datos de citas provienen de más de 34.100 títulos, de más de 5 mil editores
internacionales y métricas de desempeño, de 239 países en todo el mundo. El muestra
la visibilidad de las revistas contenidas en la base de datos Scopus desde 1996. Información
disponible en <https://www.scimagojr.com/help.php?q=FAQ>.
286 HERNÁN THOMAS / LUCAS BECERRA / FLORENCIA TRENTINI
A través de su herramienta “citado por”, Google Académico proporcio-
na acceso a resúmenes de artículos en los que se haya citado el artículo que
se está consultando. Es esta herramienta en particular la que proporciona
índices de citaciones, previamente solo disponibles en Scopus y en Web of
Science. Los dos criterios utilizados por Google Scholar Metrics para incluir
revistas en su producto son: contar con cien trabajos publicados y poseer al
menos una cita (Delgado López-Cózar y Martín-Martín, 2018).
Google Scholar presenta información de los siguientes indicadores:
• Índice h (de personas): El índice h es un sistema propuesto por Jorge
Hirsch, investigador de la Universidad de California, en 2005, para la
medición de la calidad profesional de físicos y de otros científicos, en
función de la cantidad de citas que han recibido sus artículos científicos.
Se calcula ordenando de mayor a menor los artículos científicos según
el número de citas recibidas, siendo el índice h el número en el que coin-
ciden el número de orden con el número de citas.
[17]
El Índice i10, un
derivado, indica las publicaciones que se han citado al menos diez veces.
• Índice h (de publicaciones):
[18]
El índice h de una publicación es el mayor
número h de tal manera que al menos h artículos en esa publicación
fueron citados al menos h veces cada uno. El h-core de una publicación
es un conjunto de los principales artículos h citados de la publicación.
Estos son los artículos en los que se basa el índice h. La mediana-h de
una publicación es la mediana de los recuentos de citas en su h-core. La
mediana h es una medida de la distribución de citas a los artículos en el
h-core. El índice h5, el h5-core y la mediana h5 de una publicación son,
respectivamente, el índice h, el h-core y la mediana h solo de aquellos
artículos publicados en los últimos cinco años calendario.
El grado de aceptación de estos indicadores (factor de impacto, índice h,
Scimago ) por parte de amplios sectores de las comunidades científicas
es tal que muchos investigadores conocen detalladamente los índices de las
publicaciones clave de su campo disciplinario. Pero paradójicamente igno-
ran cómo se generan, qué métodos aplican, cómo seleccionan las publica-
ciones y las jerarquizan, a qué intereses responden las instituciones
responsables de su producción y publicación, cómo se financian, cómo se
gobiernan. El grado de internalización es tal que la existencia de estos índi-
[17] Por ejemplo, si un autor tiene diez publicaciones (ordenadas según número de citas)
y la quinta publicación tiene cinco citas, entonces el valor de h es 5. Fuente: <http://
guiasbuh.uhu.es/c.php?g=655120&p=4605523>.
[18] Fuente: <https://scholar.google.com/intl/es/scholar/metrics.html#metrics>.
287
REDES
, VOL. 25, Nº 49, BERNAL, DICIEMBRE DE 2019, PP. 253-337
ces ha sido naturalizada, como si no fueran objeto de procesos de construc-
ción socio-técnica.
Este es el primer dato significativo: la producción de los principales
indicadores en los que se basa la evaluación de la “calidad cuantitativa” recae
exclusivamente en manos de empresas privadas. Empresas que, por otra
parte, no están sometidas a ningún tipo de auditoría o control público (ni
estatal ni comunitario). Empresas que, además, tienen marcados intereses
en la industria editorial de las publicaciones científicas, conglomerados que
nuclean cientos de publicaciones científicas de las más diversas disciplinas,
que inciden directamente en las dinámicas de producción y enforcement de
regulaciones de propiedad intelectual a escala global, con capacidad de con-
trol de la circulación y acceso a bienes culturales, que obtienen lucros de la
realización de negocios con empresas de base tecnológica.
El segundo dato significativo es que el negocio editorial académico ha
cambiado en los últimos años. En dos niveles: el acceso electrónico y el finan-
ciamiento de la publicación de artículos por parte de los propios autores.
El acceso electrónico, aparentemente propiciatorio de una apertura, ha
implicado en la práctica la necesidad de seleccionar un set acotado de lec-
turas y fuentes. Así, si bien se multiplicaron tanto la cantidad de artículos
científicos como las posibilidades de acceso a los materiales digitales, la
atención de los lectores académicos se ha focalizado en las revistas mejor
indexadas de cada campo. No es una cuestión menor el funcionamiento de
motores de búsqueda propietarios, que conducen prioritariamente a ciertos
repositorios, como en el caso de Google Scholar y las firmas asociadas en el
conglomerado Alphabet.
El autofinanciamiento ha implicado la generación de nuevas barreras a
la entrada para la publicación de producciones de países subdesarrollados
o en vías de desarrollo, con sistemas de financiamiento restringidos, y con-
secuentes presiones sobre las asignaciones presupuestarias. Lo que a su vez
deriva en fenómenos de concentración –a nivel local– del mérito relativo,
la visibilidad de esos grupos y la asignación de nuevos fondos. Un efecto de
retroalimentación secundaria que refuerza los efectos concentradores de la
evaluación de la “excelencia”.
El tercer dato significativo es que, frente a estas capacidades de regula-
ción concentradas en los principales índices de referencia, a las editoriales
académicas independientes (privadas o públicas, universitarias o institucio-
nales) les resta poco margen de discrecionalidad. Así como la regla para los
investigadores es publish or perish, para las revistas científicas es “indexarse
o morir”. Porque la indexación problematiza la sostenibilidad de los perió-
dicos, tanto como condiciona las carreras científicas.
288 HERNÁN THOMAS / LUCAS BECERRA / FLORENCIA TRENTINI
Los criterios de selección de periódicos y documentos a ser incorpora-
dos en los repositorios y las bases de datos de los indicadores bibliométricos
suponen la incorporación de un número acotado de publicaciones. Los coe-
ficientes utilizados penalizan subdisciplinas enteras, que tienen dificultades
para alcanzar los parámetros críticos de los algoritmos. También se han
denunciado diversas formas de discriminación, comenzando por el idioma
de publicación (Ortiz, 2009), el país de origen de los investigadores, la
nacionalidad de sus instituciones de radicación, etc. (Kreimer, 2011; Velho,
1986). Y han dado lugar a no pocas arbitrariedades:
[…] al actualizar el 30 de mayo los datos del Scimago Journal & Country
Rank, Latinoamérica cuenta con 830 revistas (3.3%), donde 3.9% son
cuartil I, 18.4% cuartil II, 35.7% cuartil III, 40.9% cuartil IV. […] De las
33 revistas latinoamericanas en Q1 –vean lo “sólido” del indicador–, nueve
revistas apenas alcanzan veinte o menos citas en los tres años anteriores. Sí,
las revistas mejor posicionadas de la región, las de alta calidad, la crème de
la crème, en tres años apenas habían alcanzado veinte citas. De hecho, la
revista Antiguo Oriente lleva varios años en cuartil I y apenas tuvo cuatro
citas –sí, cuatro citas en tres años– y la recién incorporada Páginas alcanzó
una cita: ¡Deplorable! (Aguado López, 2019).
[19]
Dado el alto grado de concentración de la producción de índices validados
a nivel internacional no parece arriesgado afirmar que se trata de una acti-
vidad oligopólica, restringida a este selecto club de tres iniciativas.
Frente a este escenario, en los últimos años han surgido alternativas
orientadas a compensar los efectos negativos de estos indicadores y reposi-
torios, sus jerarquizaciones, sus “desvíos” y su concentración. En particular,
la invisibilización de producciones científicas regionales, la omisión de
revistas locales, la hegemonía institucional y lingüística.
En el caso latinoamericano, las principales iniciativas se desarrollan a
continuación.
SciELO
SciELO (Scientific Electronic Library Online) es un proyecto de reposi-
torio digital, creado en junio de 1998, que permite la publicación electró-
nica de ediciones completas de las revistas científicas mediante una
[19] Eduardo Aguado-López es fundador y director general de .
289
REDES
, VOL. 25, Nº 49, BERNAL, DICIEMBRE DE 2019, PP. 253-337
plataforma online. El proyecto SciELO cuenta con el apoyo de diversas
instituciones nacionales e internacionales vinculadas a la edición y circu-
lación de producción científica. Tiene por objetivo explícito el “desarrollo
de una metodología común para la preparación, almacenamiento, disemi-
nación y evaluación de la literatura científica en formato electrónico”.
[20]
Iniciada por la Fundação de Amparo à Pesquisa do Estado de São Paulo
() y el Centro Latinoamericano y del Caribe de Información en
Ciencias de la Salud (), actualmente participan en la red SciELO
los siguientes países: Sudáfrica, Argentina, Brasil, Chile, Colombia, Costa
Rica, Cuba, España, México, Perú, Portugal, Venezuela, Bolivia, Paraguay
y Uruguay.
Latindex
La iniciativa surgió en 1995 en la Universidad Nacional Autónoma de
México () y se convirtió en una red de cooperación regional a partir
de 1997. Latindex es producto de la cooperación de una red de institucio-
nes que se articulan para reunir y diseminar información sobre las publica-
ciones científicas seriadas producidas en Iberoamérica. La página web está
hospedada en la . Incluye revistas de investigación científica, técnico-
profesionales y de divulgación científica y cultural que se editan en América
Latina, el Caribe, España y Portugal. Cuenta con dos servicios principales
de información:
• Directorio: ofrece datos bibliográficos y de contacto de 28.513 revistas
registradas.
• Catálogo: compuesto por las 1.714 revistas con “más altos estándares de
calidad” de acuerdo con la metodología de evaluación de Latindex.
El sitio web proporciona información específica sobre las 10.473 revistas
disponibles en línea, ya sea que estén registradas en el Directorio o califica-
das al Catálogo. Latindex cubre todas las disciplinas,
[21]
clasificadas en siete
grandes grupos: Artes y humanidades; Ciencias agrícolas; Ciencias de la
ingeniería; Ciencias exactas y naturales; Ciencias médicas; Ciencias sociales
y Multidisciplinarias. Registra publicaciones en cualquier idioma empleado
en Iberoamérica.
[20] Véase: <https://scielo.org/es/sobre-el-scielo/metodologias-y-tecnologias/>.
[21] Véase: <https://www.latindex.org/latindex/meto2>.
290 HERNÁN THOMAS / LUCAS BECERRA / FLORENCIA TRENTINI
REDALYC
La Red de Revistas Científicas de América Latina y el Caribe, España y
Portugal () fue fundada por Eduardo Aguado López, Arianna
Becerril García y Salvador Chávez Ávila en 2003 como un proyecto acadé-
mico de la Universidad Autónoma del Estado de México bajo la responsa-
bilidad del cuerpo académico “Difusión y Divulgación de la Ciencia”, con
el fin de dar visibilidad, consolidar y mejorar la calidad editorial de las revis-
tas de Ciencias Sociales y Humanidades de la región latinoamericana. En
el 2006 se abrió a todas las áreas del conocimiento e incluyó revistas de la
península ibérica.
Es un sistema que integra a su índice las revistas académicas selecciona-
das de la región de América Latina y el Caribe, España y Portugal, apoyan-
do la consolidación de revistas que comparten el modelo de publicación sin
fines de lucro.
Las revistas bajo el modelo de , cuentan con: calidad editorial
y científica (revisión por pares), tecnología de publicación digital -;
política de acceso abierto sin costos por publicación o procesamiento.
Explícitamente, convoca a superar la actual evaluación de la cien-
cia basada en métricas como el factor de impacto, impulsando la inclusión
de la ciencia local y la diversidad lingüística por el bien común.
[22]
Actualmente, cuenta con: 1.369 revistas en línea, 673 instituciones de
26 países, 672.573 artículos, 51.973 fascículos y 85,744 artículos generados
con . Presenta tres métricas sobre la revistas indexadas: 1) indicador
de artículos externos / internos (institución/nacionalidad de los autores),
2) índice de internacionalización (de las autorías), 3) índice de esfuerzo edi-
torial (producción de artículo comparado con el promedio de la disciplina).
Como es posible observar, se trata en todos los casos de iniciativas desa-
rrolladas en el ámbito público, en contextos académico institucionales esta-
tales. Las tres intentan explícitamente compensar los problemas de los
sistemas de indexación por factor de impacto, índice h, Scimago .
El cuarto dato significativo es que, pese a los esfuerzos desplegados en
las dos últimas décadas, estas iniciativas han alcanzado un grado de adop-
ción dispar en los sistemas de evaluación de los diferentes países de la
región, en diferentes disciplinas (con mayor utilización en las ciencias socia-
les y las humanidades, precisamente las producciones más invisibilizadas
por los índices estándar), y aun, en diversas instituciones científicas y
tecnológicas.
[22] Véase: <https://www.redalyc.org/>.
291
REDES
, VOL. 25, Nº 49, BERNAL, DICIEMBRE DE 2019, PP. 253-337
En muchos casos, su uso en evaluaciones académicas es: a) secundario,
complementario de la aplicación de los indicadores estándar, o b) supleto-
rio, en caso de ausencia de información registrada en términos de factor de
impacto, índice h o Scimago . Por lo tanto, no alcanzaron a compensar
los efectos denunciados en sus objetivos de creación.
Al igual que la producción de indicadores y la construcción de reposi-
torios, la producción de revistas académicas en América Latina es una acti-
vidad sostenida predominantemente por grupos de investigadores radicados
en instituciones públicas, con dificultades de acceso a financiamiento (tan-
to público como privado), trabajo editorial no remunerado, realizado de
manera voluntaria. Aun así, es posible registrar en la región numerosas ini-
ciativas editoriales, algunas sostenidas por décadas, de prestigio nacional y
regional.
Sin embargo, el efecto del sistema de jerarquización de publicaciones y
su práctica omisión en las bases y repositorios de Scopus/Scimago, Google
Scholar y WoS, y por lo tanto, su descalificación relativa en los sistemas de
evaluación basados en la “excelencia cuantitativa” problematizan estructu-
ralmente la sostenibilidad de estas revistas. Algunas, en una tentativa por
mayor visibilización, ahora son publicadas en inglés, lo que aumenta sen-
siblemente sus costos editoriales. La mayoría ha realizado esfuerzos para
calificar en los repositorios e indicadores de SciELO, Latindex y .
Muchas se han reconvertido a soportes digitales y han implementado soft-
wares de gestión o propietarios. En un esfuerzo por alcanzar mayor visi-
bilidad, recientemente SciELO ha hecho un acuerdo con Clarivate Analytics
para construir el SciELO Citation Index, incorporando sus publicaciones
en el sistema de cálculo de factor de impacto y producción de rankings de
WoS. A cambio, SciELO permite que la empresa privada con fines de lucro
tenga acceso y utilice la información producida en América Latina con
recursos públicos.
Pero aun así, estos esfuerzos colisionan con las microprácticas de los
investigadores (que prefieren reservar sus mejores productos para su
publicación en revistas indexadas en el exterior) y de los evaluadores (que
penalizan relativamente a los autores que publican en las revistas loca-
les). Por otra parte, ¡claro!, las publicaciones regionales no constituyen
objetos deseables para las estrategias comerciales de los grandes conglo-
merados editoriales internacionales. No las necesitan: respondiendo a las
señales emitidas por la tecnología de evaluación cuantitativa, los inves-
tigadores latinoamericanos ya publican en sus periódicos por propia
voluntad.
292 HERNÁN THOMAS / LUCAS BECERRA / FLORENCIA TRENTINI
PROBLEMAS SISTÉMICOS DERIVADOS DE MEDIR CALIDAD
“CUANTITATIVA OBJETIVA”
En el apartado anterior
[23]
se focalizó en los efectos más directos y lineales
de la adopción de los indicadores bibliométricos cuantitativos sobre las
comunidades científicas, las prácticas de los investigadores y evaluadores,
los instrumentos de medición de calidad académica, y las publicaciones
científicas. Pero las derivaciones de la adopción de criterios cuantitativos
para la evaluación “objetiva” están lejos de agotarse con el análisis de las
relaciones explicativas más inmediatas o evidentes.
A continuación, enumeramos algunos problemas sistémicos, no linea-
les, pero tan concretos como los anteriores. Una breve revisión de la agencia
de la tecnología de evaluación “objetiva” en la alianza socio-técnica en la
que se alinea y es alineada, coordina y es coordinada.
¿Qué no miden los indicadores bibliométricos?
La respuesta a esta pregunta puede desplegarse en un abanico de posibili-
dades. Unas pocas resultan particularmente pertinentes en el presente con-
texto. La tecnología de jerarquización fue diseñada originariamente para
operar sobre publicaciones científicas periódicas. Si bien diferentes reposi-
torios declaran su intención de abarcar una heterogeneidad de productos,
en la práctica el sistema responde a sus condiciones de origen. De modo tal
que los instrumentos de medición tratan al resto de los observables a) con
el mismo método de medición de citaciones y referencias que aplica sobre
los artículos científicos, y, por lo tanto, b) genera un desplazamiento de
sentido, isonomizando observables heterogéneos.
Un nuevo giro metonímico, porque, obviamente no son iguales los artí-
culos científicos que los libros y los capítulos de libros, los que a su vez
difieren de los manuales e instructivos, los textos normativos, la producción
de bases de datos, patentes y expresiones de copyright, los textos de comu-
nicación pública de la ciencia, videos y películas, y se diferencian más aún
de los diseños y blueprints de artefactos y sistemas y los servicios tecnológi-
cos. Esos observables no solo son heterogéneos por su caracterización
intrínseca, sino por su forma de circulación, su escala y alcance (en térmi-
nos territoriales, disciplinarios, de públicos target, de soportes materiales,
[23] Véase “Los problemas evidentes de la solución cuantitativa objetiva”.
293
REDES
, VOL. 25, Nº 49, BERNAL, DICIEMBRE DE 2019, PP. 253-337
de formas y tecnologías de acceso, etc.), sus formas de uso (tanto en térmi-
nos cognitivos como prácticos).
Por otra parte, dada la selección a priori realizada para constituir los
repositorios, esos “otros” observables entraron tardía y lateralmente en los
sistemas de medición. Lejos de aplicar nuevos criterios para los nuevos obje-
tos, se aplicaron los mismos criterios de selección –las citaciones de los
soportes bibliográficos–. Y cuando se incluyeron criterios complementarios
para dar cuenta de la heterogeneidad, en algunos casos se acudió a solucio-
nes adjetivas más que a la generación de una reestructuración general de la
arquitectura de los sistemas de jerarquización.
Pero el problema metodológico-descriptivo de los indicadores biblio-
métricos adquiere estatuto normativo cuando se inserta en la tecnología de
evaluación “objetiva”. Inicialmente, porque la máquina de jerarquizar pre-
senta una imagen sesgada de la producción: invisibiliza relativa o absoluta-
mente los observables “no-papers”. Anota lo notable en términos
cuantificables con un criterio hipersimplificado de jerarquización vertical.
Esto en sí ya implica un sesgo grave, que se complica con el segundo efec-
to: dado que se trata de sistemas de señales de lo que es bueno o malo,
deseable o no deseable, que constituye la materia prima de juicios de valor:
la invisibilidad deviene disvalor.
Lo que a su vez incide, claro, en dos niveles de prácticas: a) las de los
investigadores, que evidentemente –en condiciones de tiempo y disponibi-
lidad de recursos acotadas– construyen sus agendas en virtud de la obten-
ción de mayor visibilidad y mejor valorización (no social o productiva,
entiéndase, sino en términos de evaluación académica) y b) las de los eva-
luadores, que lógicamente tienden a reproducir de forma ampliada los ses-
gos de (in)visibilidad y (des)valorización de la información de base: los
indicadores cuantitativos de WoS (factor de impacto), Scopus (Scimago
) y Google Scholar (índice h), y los internalizan en sus dictámenes.
Estos, en un nuevo bucle de retroalimentación, demarcan a su vez un sen-
dero estratégico de premios y castigos al que responden los investigadores
y la lógica de sus comunidades epistémicas.
Así, normalmente, los sistemas de evaluación de “excelencia cuantitati-
va”, no por un problema de “intencionalidad”, sino por una cuestión estric-
tamente vinculada al funcionamiento de la tecnología de evaluación
“objetiva”, generan asimetrías “naturalizadas”, en contra de:
a) Las disciplinas de ciencias sociales y humanidades y, en particular las
producciones de normativas político-institucionales, la planificación de
políticas públicas o estrategias institucionales, la generación de capacidades
de gobierno y gestión gubernamental (internacional, nacional, provincial y
294 HERNÁN THOMAS / LUCAS BECERRA / FLORENCIA TRENTINI
municipal), los libros, la producción de materiales en video, las asesorías y
consultorías, los informes técnicos.
b) Las actividades de comunicación pública de la ciencia (desde guiones
de programas y series hasta la producción de fascículos, el diseño de mate-
riales audiovisuales, el diseño de museos y exposiciones, etcétera).
c) El diseño, producción, testeo de tecnologías, donde el registro de
observables se reduce, normalmente a papers y otras formas de propiedad
intelectual (un medio secundario de comunicación en estos campos).
d) Peor destino aún les cabe a los servicios cognitivos y tecnológicos, la
generación de estándares, la estandarización de procesos, la resolución de
problemas, la producción de normas, la realización de diversos estudios
(de control, factibilidad, riesgo ambiental o productivo), y la generación
de dinámicas interinstitucionales colaborativas.
Y es de notar que muchas de estas actividades pueden requerir más tiempo,
dedicación, esfuerzo, creatividad, articulación y conocimiento que la pro-
ducción de la unidad de medida estándar de los sistemas de evaluación
“objetiva”: primer autor de un paper publicado en revista Q1.
En un nuevo bucle del sistema de evaluación, los evaluadores incluidos
en el marco socio-técnico de la tecnología cuantitativa “objetiva” presentan
diversas objeciones metodológicas, muchas veces convertidas en el discurso
en éticas o epistemológicas: “¿Cómo evaluar eso?”, “¿Cómo evitar la subje-
tividad?”, “¿No es injusto equiparar un artefacto a un paper? ¿Cómo dife-
renciar un servicio rutinario de una solución tecnológica creativa?”.
La reacción primaria a estas dudas es la construcción del “caso proble-
mático”. Derivada de la previa construcción del “caso normal”. Donde
dado el carácter performativo del sistema de premios y castigos, de afirma-
ciones y sanciones, la “normalidad” se asimila a los observables cuantitati-
vos. En un sistema estandarizado, construido con simplificaciones
reduccionistas, con escasa variables monosémicas, lo problemático “hace
ruido”, genera molestias, demanda más tiempo y energía… las “anomalías”
pierden.
Pero, aun en caso de intentar dar respuestas a esas preguntas, la solución
a estos problemas no se encontrará en los indicadores cuantitativos están-
dar: los servicios no se citan, las normativas circulan por otros circuitos, los
artefactos y sistemas tecnológicos no se publican. Porque la solución no es
mejorar los indicadores ni ampliar los repositorios, ¡claro! Algunas institu-
ciones científicas y tecnológicas han generado diversos mecanismos insti-
tucionales complementarios, todos ellos secundarizados respecto del
principio constructivo general, del criterio matriz. Tal vez lo más increíble
295
REDES
, VOL. 25, Nº 49, BERNAL, DICIEMBRE DE 2019, PP. 253-337
es que, dada la pervasividad de la tecnología de la evaluación “objetiva”, esta
invisibilización y desvalorización relativa de la producción de artefactos,
sistemas y servicios ocurre aun en instituciones tecnológicas públicas de la
región (institutos agronómicos, laboratorios industriales, centros de servi-
cios técnicos) donde estas actividades y producciones son parte fundamen-
tal del trabajo.
Lo que omite la tecnología de evaluación “objetiva” también ejerce
agencia –simétricamente inversa– sobre lo que no mide.
¿Cómo incide la tecnología de evaluación “objetiva” en la relación
entre la producción de conocimiento científico y la producción
de bienes y servicios?
Hay diversos modos de responder a esta pregunta. Tal vez resulte más cla-
ro un argumento basado en las modelizaciones estándar de las relaciones
entre producción científica y las dinámicas de innovación y cambio
tecnológico.
Una de las modelizaciones más utilizadas es la denominada “Modelo
lineal de innovación” (figura 1).
El modelo, explicitado por primera vez en el año 1945, plantea
sintéticamente:
[24]
1) Existe una secuencia causal necesaria y suficiente que se inicia en la
investigación básica, que da lugar a investigaciones aplicadas, las que a su
vez generan nuevos prototipos, formulaciones y modelos únicos, que luego
son producidos a escala, y finalmente son comercializados.
2) De este modo, acumulativo y lineal, los beneficios generados por la
investigación científica –básica– llegan a los consumidores, beneficiarios y
usuarios finales
3) En una división técnica del trabajo de innovación, el modelo consi-
dera que la investigación básica (y la aplicada) es poco rentable, y por lo
tanto debe ser financiada por el estado. En tanto la producción de prototi-
[24] Los primeros enunciados del modelo lineal de innovación fueron realizados por
Vannevar Bush (1945), como respuesta a una solicitud del presidente norteamericano
Franklin D. Roosevelt. Retomados posteriormente en las primeras reuniones del directorio
de la recientemente creada National Science Fundation. Para una aplicación crítica del
modelo, véase Nelson (1988). Para una revisión de problemas de la aplicación del modelo
lineal, véase el dossier “Ciencia, la frontera sin fin”, en Redes. Revista de Estudios Sociales de
la Ciencia y la Tecnología, vol. 7, Nº 14, noviembre de 1999.
296 HERNÁN THOMAS / LUCAS BECERRA / FLORENCIA TRENTINI
pos, la producción a escala y la comercialización, rentables, son financiadas
por la inversión privada.
4) En el ciclo virtuoso del modelo, a mayor inversión en investigación
básica, mayor cantidad de innovaciones, mayores beneficios sociales.
5) Esta relación causal no puede ser evaluada ex ante: es imposible pre-
decir cuándo un conocimiento básico o aplicado dará lugar a una innova-
ción tecnológica.
Dos frases atribuidas a Bernardo Houssay, primer presidente del Conicet
argentino, sintetizan la afirmación normativa del modelo: “Hay que hacer
ciencia, buena ciencia. Lo demás viene por añadidura”; “La mejor manera
de tener ciencia aplicada es intensificar la investigación científica fundamen-
tal, pues de ella derivarán abundantes aplicaciones” (Houssay, 1960: 11).
La evaluación académica de la producción científica desempeña un
papel fundamental en esta modelización: la ciencia de calidad, tarde o tem-
prano, da lugar a innovaciones beneficiosas para los usuarios. Es necesario
asignar fondos y recursos a los mejores investigadores para maximizar los
beneficios sociales de esa inversión.
Para la mayoría de los investigadores –en particular para aquellos que se
autodefinen como básicos– el modelo constituye una descripción acertada
del lugar de la investigación en la producción de bienes y servicios, y una
legitimación de su actividad (así como de la necesidad de su libertad para
el diseño de sus agendas de investigación) (Dagnino, Thomas y Davyt,
1996; Dagnino y Thomas, 1997; Kreimer y Thomas, 2006; Thomas,
Figura 1. Modelo lineal de innovación
Transferencia de
conocimiento
Investigación
básica
Investigación
aplicada
Instituciones cientícas
Universidades y centros públicos
de investigación
“Mercado”
Usuarios nales
Empresas
Venta
Mercancías
Desarrollo
de productos
y procesos
Nuevos
bienes
Alto riesgo /
bajo retorno económico /
inversión pública
Bajo riesgo /
alto retorno económico/
inversión privada
Riesgo nulo /
consumo de recurso /
sin capacidad de decisión
Productores y
comercializadores
Fuente: Elaboración propia.
297
REDES
, VOL. 25, Nº 49, BERNAL, DICIEMBRE DE 2019, PP. 253-337
2007). De hecho, el modelo lineal de innovación subyace en la justificación
discursiva de la creación de unidades de +, la asignación de subsidios, la
confección de presupuestos de ciencia y tecnología, y la formación de recur-
sos humanos altamente calificados. Funciona, en la práctica, como la base
de un discurso legitimador de la necesidad de inversión en ciencia y
tecnología.
Es de notar la convergencia lógica entre el modelo lineal de innovación
y la tecnología de evaluación “objetiva” basada en el criterio cuantitativo de
“excelencia”. El modelo explica la necesidad de direccionar recursos, la eva-
luación determina a quién asignarlos. Los dos son modelos causales unidi-
reccionales. Los dos son explicaciones lineales, simples y económicas.
Combinados, constituyen una lógica consistente: una racionalidad.
El único problema del modelo lineal es que sus afirmaciones no coinci-
den con los resultados de los estudios de base empírica de economía de la
innovación y sociología de la tecnología generados en los últimos cincuenta
años.
[25]
Los procesos de cambio tecnológico no funcionan así. Lejos de la linea-
lidad, las relaciones causales son sistémicas; lejos de relaciones necesarias y
suficientes, predomina un alto grado de incertidumbre; lejos de secuencias
lógicas entre elementos homogéneos, predominan las relaciones heterogé-
neas y no-lineales: es imposible establecer a priori una cadena causal lineal,
unidireccional, necesaria y suficiente; los conocimientos implicados en las
dinámicas innovativas, lejos de restringirse a conocimientos científicos
“básicos y aplicados”, abarcan una diversidad que comprende desde el sen-
tido común, saberes consuetudinarios y/o ancestrales, costumbres y hábi-
tos, hasta conocimientos técnicos de orden tácito. Lejos de un orden
epistemológico diferenciado, en las dinámicas de cambio tecnológico los
conocimientos científicos constituyen un insumo cognitivo igualado con
otros de diverso orden.
La distinción entre ciencia básica (o pura, o fundamental) y ciencia apli-
cada –y su secuencia lógica– ha sido dejada de lado. Nuevas relaciones
sociocognitivas –de mayor poder explicativo– han sido propuestas: la
[25] Por solo citar algunos ejemplos, ya clásicos en el campo de la economía de la inno-
vación: Freeman (1987, 1988); Lundvall (1985, , 1992); Nelson (1979, 1988, 1990,
1993); Nelson y Winter (1977, 1982); , (1992); Pavitt (1984); Porter (1990); Rip y
Van der Meulen (1996); Rosenberg (1979, 1982). Y otros, clásicos en la sociología de la
tecnología: Bijker (1995); Callon (1992, 1994); Callon, Law y Rip (1986); Hughes (1983,
1986); Latour (1992); Mulkay (1972); Pinch y Bijker (1987). Todos estos estudios refutan
o contradicen la modelización lineal.
298 HERNÁN THOMAS / LUCAS BECERRA / FLORENCIA TRENTINI
noción de tecno-ciencia (Callon, 1992; Dagnino, 2008; Latour, 1992), los
marcos tecnológicos y los ensambles socio-técnicos (Bijker, 1995), las are-
nas transepistémicas (Knorr-Cetina, 1996), los conocimientos horizontales
(Shinn, 2000), no encuentran ventaja analítica alguna en distinguir cono-
cimientos básicos de aplicados.
Desde la enunciación del modelo demand pull (Schmookler, 1966) en
adelante, la secuencia causal lineal no presenta el orden previsto. En cam-
bio, se ha potenciado la capacidad explicativa de los modelos sistémicos,
basados en hechos estilizados, por ejemplo el modelo denominados chain
linked (Kline y Rosenberg, 1986), como el de la figura 2.
Finalmente, pero no menos relevante, las modelizaciones interactivas
han sustituido las linealidades basadas en secuencias de oferta y demanda
de conocimientos. Concretamente, la capacidad explicativa recae hoy en
modelos de aprendizaje interactivo, con diversas modalidades de governan-
ce. Y es en estas nuevas modelizaciones que se revelan algunos de los aspec-
tos más negativos de la incidencia de la evaluación basada en la “excelencia
cuantitativa”:
1) Los indicadores cuantitativos generados por WoS (factor de impac-
to), Scopus (Scimago ) y Google Scholar (índice h) no se combinan con
los indicadores de innovación, por ejemplo, los propuestos en el Manual
de Oslo, o en el de Bogotá.
[26]
2) Los indicadores cuantitativos estándar (factor de impacto, , índice
h), son incapaces de capturar las dimensiones de curva de aprendizaje; inte-
ractividad; colaboración entre actores heterogéneos: aportes en términos
sociales, ambientales, tecno-productivos, de capacidad de resolución de
problemas.
3) De hecho, al omitir estos productos y actividades, invisibilizan y des-
valorizan relativamente un conjunto de acciones consideradas clave en tér-
minos de innovación y cambio tecnológico.
4) Al responder al modelo lineal, ubican a las acciones de innovación y
cambio tecnológico al final de la secuencia necesaria y suficiente, como un
output de la acumulación científico-cognitiva.
5) En su carácter de registro de la producción universal y neutral de
conocimiento científico, tienden a ocultar relaciones de asimetría y hege-
[26] Elaborado en 2001 por la Red Iberoamericana de Indicadores de Ciencia y Tecno-
logía (Ricyt) la Organización de Estados Americanos (), el Programa -
/, el Manual de Bogotá: Normalización de Indicadores de Innovación Tecnológica en
América Latina y el Caribe propone pautas para la normalización y construcción de los
indicadores de innovación tecnológica.
299
REDES
, VOL. 25, Nº 49, BERNAL, DICIEMBRE DE 2019, PP. 253-337
monía, así como de capacidades de apropiación de los resultados de la
investigación y de los lucros generados vía monopolio relativo de mercado
vía innovación tecnológica.
6) Toda la literatura sobre innovación coincide en que los procesos de
innovación son locales. Los indicadores bibliométricos tienden, como ya
vimos, a desterritorializar las agendas de investigación.
Para observar mejor estos fenómenos, es conveniente responder a la pre-
gunta ¿Cómo incide la adopción de los indicadores de calidad generados
por WoS (factor de impacto), Scopus (Scimago ) y Google Scholar (índi-
ce h) en las dinámicas sistémicas de innovación y cambio tecnológico?
Es posible describir esta incidencia en el siguiente hecho estilizado (cua-
dro 2), que conecta las microprácticas de los investigadores con las estrate-
gias empresariales y las macropolíticas nacionales e internacionales.
Y este hecho estilizado es tal vez una de las principales objeciones para
la adopción de los indicadores generados WS (factor de impacto), Scopus
(Scimago ) y Google Scholar (índice h) en los países subdesarrollados o
en vías de desarrollo. La aplicación universal de estos indicadores bibliomé-
Figura 2. Modelo interactivo del proceso de innovación: Modelo chain-liked
Invento I+D
nuevo
concepto
Diseño
analítico y
testeo
Recomposición
del concepto y
producción a
escala
Distribución y
mercado
Conjunto de conocimientos cientícos y tecnologías disponibles
Investigación y Desarrollo
Mercado
potencial
Fuente: Elaboración propia sobre la base de Kline y Rosenberg (1986).
300 HERNÁN THOMAS / LUCAS BECERRA / FLORENCIA TRENTINI
Cuadro 2. Segundo hecho estilizado: alineamiento y coordinación de microprácticas
con macropolíticas nacionales e internacionales
1) Un investigador desea consolidar su carrera siguiendo el sendero virtuoso de su sistema
institucional de evaluación, basado en la tecnología cuantitativa de la “excelencia”.
2) Intenta publicar en una revista internacional con referato que presente un mejor factor de
impacto y califique como Q1 o, en el peor de los casos, como Q2.
3) Para lograrlo, orientará su agenda de investigación a fin de responder a la agenda
temática de publicación de los principales periódicos de su campo.
4) Por selección de los criterios y algoritmos de WoS, Scopus/Scimago y Google Scholar, estos
repositorios e indicadores priorizan las revistas que se editan en las principales universidades
y centros de i+d de Europa y Estados Unidos, algunas menos ahora en China y Japón.
5) De modo tal que, en general, las agendas de publicación responden a las agendas de
investigación de esas instituciones y, en particular, a algunos de sus grupos de investigación.
6) Esos grupos inciden directamente sobre la integración del cuerpo editorial, el
establecimiento de los criterios de publicación, la delimitación de pertinencia temática de los
artículos a publicar y la integración de los elencos de pares evaluadores.
7) Las agendas de investigación de esos grupos e instituciones responden a las líneas de
financiamiento y subsidios que los sostienen. Tales subsidios provienen de tres fuentes:
a) financiamiento estatal, de los países desarrollados, determinado por instancias oficiales
que diseñan estrategias (geoestrategia, desarrollo sectorial, desarrollo territorial,
posicionamiento en mercados internacionales, resolución de problemas considerados
prioritarios, defensa);
b) financiamiento de agencias internacionales (en las que los gobiernos de los países
desarrollados que ocupan posiciones decisorias en el board reflejan y negocian sus
intereses nacionales); y
c) financiamiento privado (estrategia de desarrollo de mercados, propiedad intelectual,
generación de situaciones mono- u oligopólicas, conquista y defensa de market shares,
creación de necesidades, demandas y deseos de los usuarios y consumidores, provisión de
programas estatales, cumplimiento de contratos con el estado, provisión de servicios,
etcétera).
8) Así, una red de vínculos contractuales de distinto tipo incide sobre la configuración de
esas agendas de investigación.
9) Obviamente, una parte –generalmente no la principal– es a su vez configurada por la
participación de miembros de las comunidades científicas y tecnológicas locales.
10) En paralelo, las empresas –en particular los grupos corporativos transnacionalizados–
internalizaron la función de investigación y desarrollo: aspectos de esas agendas de i+d
empresarial son compartidos mediante diferentes figuras contractuales y dinámicas
colaborativas con los grupos de investigación de instituciones universitarias y laboratorios
públicos de i+d.
11) Por otro lado, en un bucle de retroalimentación, las empresas proveedoras de los estados
inciden sobre las políticas públicas de adquisición de artefactos y sistemas tecnológicos,
direccionando los contratos en virtud de sus capacidades tecno-productivas.
12) Y en otro bucle complementario, muchos grupos económicos a) financian las
publicaciones de referencia de campos enteros o b) como ya vimos, forman parte de los
grupos económicos en los que participan las empresas que generan los indicadores.
Fuente: Elaboración propia.
301
REDES
, VOL. 25, Nº 49, BERNAL, DICIEMBRE DE 2019, PP. 253-337
tricos en los sistemas de evaluación produce efectos asimétricos sobre los
sistemas de innovación y producción. ¿Cómo se produce esta asimetría?
En el caso de los países desarrollados, la coordinación de estos interjue-
gos alinea las agendas de investigación científica con las agendas guberna-
mentales (nacionales e internacionales) y las estrategias de negocios de sus
empresas privadas hegemónicas. Los indicadores cuantitativos de calidad
constituyen un sistema de afirmaciones y sanciones que controla y encua-
dra esas agendas, dándoles sentido, dirección y sostenibilidad. Es impor-
tante destacar que lo hace de un modo no coercitivo, al menos para aquellos
se alinean con las señales generadas por la tecnología cuantitativa de eva-
luación, que de hecho, no solo direcciona las agendas de investigación, sino
que induce un aumento constante de la productividad. El conjunto de inte-
racciones cierra en un círculo virtuoso, retroalimentado por servomecanis-
mos de prestigio, asignación de recursos, posicionamiento, micropoder.
En el caso de los países de ingreso bajo (comúnmente denominados
“subdesarrollados”), el alineamiento de los investigadores en redes interna-
cionales adquiere el valor de condición de subsistencia. La coordinación de
las agendas de investigación locales constituye un prerrequisito para la rea-
lización de una carrera científica: desde la formación de grado y posgrado
(normalmente realizada mediante una beca de una universidad de un país
central) hasta el despliegue de una investigación local –de carácter adjetivo
y complementario– subordinada a una main agenda determinada por un
grupo de referencia o la institución del país desarrollado que financia la
investigación, con el que publica. O, directamente, induce la migración del
investigador y su radicación en la institución de un país central, o el des-
empeño de funciones en una agencia internacional.
En el caso de los países de ingreso medio (o en vías de desarrollo), que
han acumulado capacidades de + (formación de recursos humanos, equi-
pamiento, infraestructura, institucionalización de la investigación), donde
las agendas públicas –acotadas por restricciones presupuestarias, crónicas
situaciones de crisis, fragilidad institucional, inestabilidad política– emiten
débiles señales para las comunidades locales de investigación, y las empre-
sas privadas –tanto nacionales como transnacionales– resuelven sus necesi-
dades mediante la importación de sistemas productivos, equipamientos y
software, y realizan solo escasas actividades de + (muchas veces restringi-
das al control de calidad y el análisis de materiales sustitutivos locales), las
comunidades científicas reciben escasas y problemáticas interpelaciones.
Utilizando el modelo chain linked, estas interacciones débiles, fragmen-
tarias y restringidas, presentes en los países de ingreso medio (como es el
caso de Argentina), pueden graficarse como se muestran en la figura 3.
302 HERNÁN THOMAS / LUCAS BECERRA / FLORENCIA TRENTINI
Figura 3. Modelo interactivo del proceso de innovación (en la Argentina)
Invento I+D
nuevo
concepto
Diseño
analítico y
testeo
Recomposición
del concepto y
producción a
escala
Distribución y
mercado
Conjunto de conocimientos cientícos y tecnologías disponibles
Investigación y Desarrollo
Mercado
potencial
Fuente: Elaboración propia a partir de Kline y Rosenberg (1986).
Las oportunidades de interacción locales son mucho más escasas, los
aprendizajes limitados, los flujos financieros para +, restringidos. Así, las
señales que emiten los sistemas tecno-productivos locales resultan débiles
en relación a las señales producidas por la tecnología de evaluación
“objetiva”.
En el marco de estas dinámicas socio-técnicas acotadas, la adopción de
la tecnología de indicadores cuantitativos de calidad en la evaluación de los
científicos resulta crucial: publish or perish se constituye como la principal
interpelación para las comunidades científicas locales. Solo que no funcio-
na igual que en los países desarrollados. Las agendas de investigación de los
investigadores se alinean y coordinan siguiendo todos y cada uno de los 12
pasos descriptos anteriormente en el segundo hecho estilizado (cuadro 2).
Cuanto mejor es el investigador, cuanto mayor su “excelencia”, en mejores
condiciones se encuentra de cubrir, en particular, las acciones finales cola-
borativas de la secuencia.
¿El resultado? Las agendas de investigación locales son alineadas y coor-
dinadas por la agencia de la tecnología de la evaluación “objetiva” con las
agendas científicas, tecnológicas, políticas y empresariales de los países desa-
rrollados, y desalineadas y descoordinadas de las agendas tecno-productivas
y las agendas políticas y las necesidades locales. Por esto, los movimientos
303
REDES
, VOL. 25, Nº 49, BERNAL, DICIEMBRE DE 2019, PP. 253-337
de retroalimentación de agendas de investigación, políticas y tecno-produc-
tivas locales ocurre solo en contadas ocasiones, y cuando ocurre, normal-
mente se trata: a) de una casualidad, una excepción, un “efecto no deseado”
o b) responde a una planificación estatal puntual robusta en algún sector
considerado estratégico (nuclear, telecomunicaciones, informática, o a
veces biomedicina).
El alineamiento externo es tal que los países en vías de desarrollo invier-
ten sus recursos en financiar la producción de conocimientos que no son
utilizados para resolver sus problemas productivos, sociales, ambientales, y
hasta se endeudan (Banco Interamericano de Desarrollo, Banco Mundial,
etc.) para financiar esas investigaciones. O, aun, los países en vías de desa-
rrollo invierten parte de sus escasos fondos genuinos como contrapartida
de las líneas de financiamiento internacional (Programa Marco de la
Comisión Europea, , etc.) para que sus investigadores puedan partici-
par en proyectos de investigación “en cooperación” (Kreimer y Levin,
2011), diseñados en virtud de las agendas de los países desarrollados. Una
nueva regla para la producción científica de los países en vías de desarrollo,
que podría definirse: pay for co-publish… or perish.
¿Cómo incide la tecnología de evaluación objetiva en la relación
entre la producción de conocimientos científicos y la producción
de soluciones a problemas locales?
El problema de la conversión de problemas locales en agenda de investiga-
ción científica no es una cuestión solo relacionada con países subdesarro-
llados o en vías de desarrollo. De hecho, también es un problema registrado
en los países desarrollados. En particular, y esto es común a todos los esce-
narios sociopolíticos, constituye un problema de ingreso en agenda de las
problemáticas de los desempoderados.
Y no debe entenderse como “desempoderado” solo a aquel grupo en
condiciones de pobreza o marginalidad, sino a todo aquel que no forme
parte de una constituency hegemónica –a nivel internacional, regional,
nacional o aun, sectorial–. Obviamente, el problema de la barrera al ingre-
so en agenda es aún mayor cuando se trata de las dos tendencias combina-
das: marginales + periféricos. Y peor aún si se trata de grupos o movimientos
contrahegemónicos.
¿Por qué hacer mención de esto aquí? Porque uno de los efectos de la
adopción de los indicadores bibliométricos como insumo básico de la eva-
luación académica es la invisibilización o secundarización de los temas
304 HERNÁN THOMAS / LUCAS BECERRA / FLORENCIA TRENTINI
vinculados al desarrollo de los subdesarrollados, a la inclusión de los exclui-
dos, a la generación de capacidades tecno-productivas por fuera del
mainstream.
La pregunta pasa a ser: ¿cómo incide la tecnología de evaluación acadé-
mica “objetiva” en la producción de soluciones a problemas locales? La res-
puesta demanda el análisis de tres movimientos de alineamiento y
coordinación.
1) Por una parte, los problemas de desarrollo, justicia social, inclusión/
exclusión y sostenibilidad no forman parte de la agenda de las principales
publicaciones científicas de alto impacto, Q1. Prácticamente ninguna está
focalizada en estos temas, ni considera estas cuestiones como un aspecto
sustantivo y prioritario de un abanico temático plural.
[27]
Porque la mayor
parte de las publicaciones, como fue explicado en el apartado anterior, ali-
nea y coordina su agenda editorial con la agenda política de los gobiernos
de países desarrollados o con la agenda de negocios de grandes empresas
(normalmente transnacionales). Cerrando un nuevo bucle de retroalimen-
tación, la contracara de este movimiento es que los grupos desempoderados
lo son –al menos en parte– porque no logran ingresar sus problemas, nece-
sidades, deseos en las agendas editoriales, en las agendas de política pública
y, menos aún, ¡claro!, en las estrategias de negocios empresariales.
2) Por otra, porque los grupos de investigación reciben señales negativas
para orientar sus agendas en sentido convergente con estos problemas,
necesidades y deseos. Concretamente, las señales emitidas por el sistema de
evaluación “objetiva” no solo son afirmativas respecto a ciertas temáticas,
recortes de objeto, metodologías, desarrollo de aplicaciones, sino que son
indiferentes o, aun, emiten señales negativas para el desarrollo de agendas
de investigación alternativas al mainstream.
Esta percepción es explícitamente anotada en el manifiesto producido
por el Centro , titulado “Innovación, sustentabilidad y desarrollo. Un
Nuevo Manifiesto”; en este sentido, es la crítica más sistémica y abarcativa
contra la evaluación académica bibliométrica.
3) El tercer nivel se vincula directamente con una construcción de sen-
tido: la contradicción entre “calidad y relevancia (o pertinencia)” (Dagnino
y Davyt, 1996). El postulado –profundamente instalado en el sentido
común de muchos investigadores– es que existe una relación inversamente
proporcional entre la producción científica de “excelencia” –universal– y la
producción de soluciones a problemas locales de orden productivo, social,
ambiental y/o político.
[27] En el mejor de los casos, da lugar a algunos números temáticos.
305
REDES
, VOL. 25, Nº 49, BERNAL, DICIEMBRE DE 2019, PP. 253-337
Los tres niveles convergen sobre los indicadores bibliométricos generados
por WoS (factor de impacto), Scopus (Scimago ) y Google Scholar (índi-
ce h). No existe en sus respectivas configuraciones marca alguna directa-
mente vinculada a la intención de capturar la relevancia –ni siquiera la
“utilidad”– de los conocimientos publicados en los periódicos científicos.
Aun la referencia a contenidos tecnológicos en Google Scholar –en térmi-
nos de patentes y propiedad intelectual– en nada se vincula al aporte en
términos de resolución de problema alguno.
[28]
Nada dicen los indicadores bibliométricos respecto a la satisfacción de
necesidades; la vinculación con agendas sociales, económicas o políticas; el
desarrollo de aprendizajes colaborativos, la vinculación con instituciones
heterogéneas. Y menos aún, acerca del relacionamiento con grupos desem-
poderados (, organizaciones sociales de base, cooperativas de trabajo,
sindicatos, etc.), o del abordaje de problemas urgentes.
Frente a estas “omisiones” en los indicadores bibliométricos en los que
se basa la evaluación “objetiva”, no es casual que la “excelencia cuantitativa”
se haya constituido en un valor intracomunitario, y la tecnología de eva-
luación a partir de ese ideologema en un ejercicio indiferente al resto de la
sociedad. Para muchos críticos, la evaluación académica “objetiva” deviene
–de este modo– una práctica elitista, excluyente, cuando no corporativa.
¡Claro que los indicadores bibliométricos no miden esto! Porque no fue-
ron diseñados en ese sentido. Obviamente, el problema no radica allí, sino
en el papel central y privilegiado que desempeñan en la tecnología de eva-
luación académica “objetiva”. De hecho, se presentan aquí dos problemas,
retroalimentados entre sí: 1) el desplazamiento de sentido de indicadores
bibliométricos en indicadores de calidad académica; 2) el reduccionismo
de la calidad académica a los términos unidimensionales de los
indicadores.
[29]
La problematización de la evaluación de la “relevancia” es de orden ideo-
lógico, metodológico y práctico. a) En el plano ideológico, desde los indica-
dores “objetivos”, los criterios de evaluación de “relevancia” y “utilidad” son
percibidos como idiosincrásicos, subjetivos, arbitrarios. b) En el orden meto-
[28] La incidencia del cuarto criterio “significancia” de consideración de las publicaciones
de WoS tampoco tienen efectos significativos sobre los indicadores bibliométricos en
este sentido.
[29] En una nueva y problemática “inversión carnavalesca” de muchos evaluadores, uno
de los supuestos derivados de la evaluación “objetiva cuantitativa” es que por el mero hecho
de ser citado, un artículo es relevante y útil. Aun aceptando el argumento, la siguiente
pregunta lógica es ¿útil para quién, más allá de la propia comunidad científica? Y para
responderla, los índices bibliométricos carecen de soluciones.
306 HERNÁN THOMAS / LUCAS BECERRA / FLORENCIA TRENTINI
dológico, la evaluación de la relevancia es un ejercicio engorroso, difícil de
operacionalizar y de legitimar. Evidentemente además, c) en el plano prác-
tico, demanda mucho más tiempo, energía y conocimiento evaluar relevan-
cia en términos cualitativos que relevar calidad en términos cuantitativos:
no existe nada similar al factor de impacto, el Scimago o el índice h.
Y aun, existe un problema agregado de asimetría entre los complejos
institucionales de investigación y desarrollo de países desarrollados y en vías
de desarrollo. En los primeros, las instituciones de + están integradas en
una densa trama de interacciones en alianzas socio-técnicas extensas y acti-
vas, de sus dinámicos sistemas nacionales de innovación y producción. En
los segundos, en cambio, por diferentes motivos que exceden a este
trabajo,
[30]
las instituciones de + despliegan estrategias de supervivencia
o crecimiento discontinuo, al ritmo de las inestabilidades políticas y las cri-
sis económicas. Así, las señales de la tecnología de evaluación “objetiva” y
la persecución de la “excelencia cuantitativa” resultan –también en este nivel
de análisis– mucho más consistentes y robustas que las demandas por solu-
ciones a problemas locales.
De modo tal que el predominio de la tecnología de la evaluación “obje-
tiva” no implica que no existan en los países en desarrollo múltiples inicia-
tivas de investigación orientadas al desarrollo de aplicaciones potenciales.
De hecho, uno de los problemas de los complejos institucionales de inves-
tigación es un fenómeno denominado (ciencia “aplicable” no aplica-
da) (Kreimer y Thomas, 2006): la implementación de proyectos de
investigación y desarrollo orientados “explícitamente” al desarrollo de apli-
caciones que no superan una instancia de investigación preliminar, el dise-
ño de blueprints, el desarrollo de prototipos, que no alcanzan a convertirse
en artefactos o sistemas producidos, utilizados o comercializados ni en la
solución de problemas tecno-productivos ni en la resolución de problemas
sociales o ambientales locales.
[31]
Aunque algunos de sus resultados son a
veces utilizados en los aparatos productivos de países desarrollados.
[32]
La
[30] Véase, Cassiolato y Lastres (2000), Cassiolato, Lastres y Maciel (2003), Dutrénit y
Sutz (2013), López (2002), Puchet Anyul y Ruiz Nápoles (2008), Thomas et al. (2013).
[31] Es posible registrar un comportamiento alternativo, igualmente problemático. Fren-
te a la intención de generar insumos económica, social o ambientalmente útiles, y al mismo
tiempo desarrollar carreras institucionales sólidas, algunos grupos de investigación y desa-
rrollo han adoptado estrategias desdobladas, una agenda de investigación correspondiente
a investigación científica y otra al desarrollo de artefactos y sistemas, servicios, y vincula-
ción tecnológica (Vaccarezza y Zabala, 2003).
[32] El alineamiento produce resultados asimétricos en los proyectos en cooperación. En
ocasiones, los resultados divergen: el grupo de un país desarrollado no solo publica, sino
307
REDES
, VOL. 25, Nº 49, BERNAL, DICIEMBRE DE 2019, PP. 253-337
explicación de este problema vincula directamente la construcción imagi-
naria de un usuario potencial por parte de un investigador con el diseño de
convocatorias –locales o internacionales– sobre la base de la tecnología de
evaluación “objetiva”.
[33]
La verificación de esta incapacidad de la evaluación bibliométrica “obje-
tiva” llevó al canadiense a cambiar su tecnología de evaluación, incor-
porando dimensiones de “relevancia”, incluyendo “factibilidad”, “potencial
de uso” y participación de los usuarios en el proceso de construcción del
problema de investigación, el desarrollo y la implementación de las solu-
ciones (, 2017). Algo similar fue implementado en la Argentina, en la
evaluación de proyectos del Programa Consejo de la Demanda de Actores
Sociales (-y).
La aplicación de la tecnología de evaluación “objetiva” induce un últi-
mo efecto negativo en relación al desarrollo de investigaciones orientadas a
la resolución de problemas locales en la región. A fin de adecuarse a los cri-
terios de evaluación de las revistas con alto índice de impacto y Q1, los
investigadores diseñan agendas que implican una operación de deslocaliza-
ción y desterritorialización de sus resultados. Y, en muchos casos, esta
segunda operación deriva, en la práctica, en una reterritorialización, en un
esfuerzo por traspolar lo local/regional en “universal”.
En muchas ocasiones, este no es un problema para los grupos de inves-
tigación radicados en países desarrollados, en particular, para los grupos
mainstream: muchos de los problemas tecno-productivos, sociales, políti-
cos, ambientales identificados en un país desarrollado son considerados por
omisión como universales. Y, con ello, muchas veces se considera que si algo
fue descripto, analizado y explicado en un país central, un artículo sobre la
misma temática producido en un país subdesarrollado o en vías de desarro-
llo es redundante o no requiere mayor profundización, no al menos en una
revista de alta circulación internacional. De modo tal que los resultados de
investigación alcanzados en países en vías de desarrollo ocupan lugares
secundarios en las agendas de publicación de las revistas periódicas cientí-
ficas. Como, por otra parte, el sesgo a favor de la producción de los países
que además convierte el conocimiento generado en nuevos artefactos, sistemas o servicios,
en tanto el grupo de un país subdesarrollado logra publicar y capacitar a sus becarios (Kern
y Thomas, 2014). En otras dinámicas, el conocimiento generado en países subdesarrolla-
dos es utilizado en reivindicaciones de patentes de grupos o empresas de países desarrolla-
dos, sin participación alguna en titularidad de la propiedad intelectual (Codner, Becerra y
Díaz, 2012).
[33] Para mayores detalles de esta dinámica sociocognitiva, analizados en estudios de caso
y sectoriales, véase Bortz y Thomas (2019).
308 HERNÁN THOMAS / LUCAS BECERRA / FLORENCIA TRENTINI
desarrollados en estos casos está reforzado por supuestos de mayor confia-
bilidad de los resultados, adopción de técnicas, “estado del arte” y respaldo
institucional, y en otro nivel, por un mayor potencial de citaciones, la obje-
ción editorial parece justificada.
Este sesgo de desterritorialización/reterritorialización de las agendas de
investigación se materializa en dos niveles de problemas: a) el recorte temá-
tico, la selección de objetos de análisis, el abordaje analítico-conceptual y
la producción de base empírica de las investigaciones (particularmente en
ciencias sociales y humanidades, pero también es estudios ambientales,
salud humana, biología, geología, etc.) y b) la escasa y relativa valorización
de los desarrollos tecnológicos locales. De este modo, también, las agendas
de + son sobredeterminadas por las agendas de publicación de las prin-
cipales revistas de cada campo: a mayor adecuación “universal”, mayor
inadecuación local.
Y finalmente, pero tal vez mucho más importante, la mayor parte de
los problemas locales de los países subdesarrollados y en vías de desarrollo:
desigualdad, hambre, déficit habitacional, riesgo ambiental, exclusión,
acceso problemático a bienes y servicios (agua potable, energía, transporte,
comunicaciones, saneamiento), requieren nuevos conocimientos que
muchas veces resulta tan ocioso como difícil convertir en un artículo acep-
table por una revista Q1. Tal vez –se podría objetar– sería más sencillo
publicar en revistas locales, nacionales o regionales. Pero –en un nuevo
bucle disuasivo– esas son, precisamente, las publicaciones de menor valor
relativo –cuando no nulo– en términos de la tecnología de la “excelencia
cuantitativa”.
Esto no deja de constituir una paradoja de las comunidades científicas
latinoamericanas, mayoritariamente definidas como “progresistas”: la adop-
ción de una tecnología de evaluación “objetiva” que inhibe –sanciona rela-
tivamente– las agendas de investigación orientadas a la resolución de los
acuciantes problemas sociales y ambientales locales.
¿Cuál es la incidencia de la tecnología de evaluación “objetiva” en
la relación entre las agendas de investigación y las políticas públicas
de ciencia, tecnología, innovación y desarrollo en América Latina?
Obviamente, es un ejercicio arduo analizar la incidencia de una tecnología
singular sobre un área completa de las políticas públicas. El análisis socio-
técnico provee una herramienta clave para realizar tal ejercicio: el concepto
de alianzas socio-técnicas.
309
REDES
, VOL. 25, Nº 49, BERNAL, DICIEMBRE DE 2019, PP. 253-337
Si bien ya ha sido operacionalizada parcialmente a lo largo del pre-
sente trabajo, la herramienta analítica “alianza socio-técnica” alcanza en
este punto el nivel de unidad de análisis. De modo tal que la pregunta
por la relación entre agendas de investigación y las políticas públicas de
ciencia, tecnología, innovación y desarrollo puede ser reformulada en los
siguientes términos: ¿cómo incide la tecnología de evaluación objetiva
en la alianza socio-técnica de las políticas públicas de ciencia, tecnología,
innovación y desarrollo latinoamericanas? Evidentemente, el análisis del
conjunto de relaciones explicativas excede el alcance del presente trabajo.
De modo tal que resulta conveniente restringir su alcance a un conjunto
de observaciones significativas, directamente relacionadas con el objeti-
vo de este artículo.
El análisis racional de las políticas públicas diferencia normalmente una
serie de articulaciones de distinto nivel: acciones, tácticas, estrategias, polí-
ticas, racionalidades e ideologías. Obviamente, no se trata de un proceso
lineal. Aunque, en tanto modelo explicativo, cada nivel guarda relación con
el posterior. Así, las tácticas y estrategias explican las acciones. Aquellas, a
su vez, son explicadas por la orientación de las políticas, y estas por racio-
nalidades y sus fundamentos de orden ideológico.
En una política diseñada bajo la racionalidad del modelo lineal de inno-
vación es lógica la valorización de lo que el modelo denomina “ciencia bási-
ca” y “ciencia aplicada” como momento inicial y foco de la política pública
de ciencia y tecnología. Como ya fue planteado en el apartado anterior, la
tecnología de evaluación “objetiva” desempeña un papel fundamental en
la secuencia lineal: constituye un instrumento y una acción práctica que
opera designando lo que es bueno, deseable, adecuado y viable para el logro
de los objetivos de la política científica y tecnológica. Así, la tecnología de
evaluación “objetiva” aparece –en el sentido común de quienes adoptan el
modelo lineal como definición ideológica y base de su racionalidad– como
un instrumento necesario (y suficiente) para desencadenar una secuencia
que conduce a la generación de innovaciones, la acumulación económica y
el desarrollo económico y social.
Dado que la tecnología de evaluación “objetiva” –como toda acción de
evaluación institucionalizada– constituye un mecanismo de alineamiento
y coordinación mediante la asignación de valores y la racionalización de una
matriz material de afirmaciones y sanciones, no debe ser interpretada sim-
plemente como un “instrumento didáctico”, sino como un sistema de con-
trol, un modelo de acción y un principio de autorreproducción ampliada.
Porque la evaluación “objetiva” no es, en sentido socio-técnico, más que un
instrumento de política.
310 HERNÁN THOMAS / LUCAS BECERRA / FLORENCIA TRENTINI
[es] necesario extender “la agencia de otros” a fin de incluir la agencia de
máquinas, así como la de actores humanos, dado que las tecnologías pue-
den ser instrumentalizadas para realizar ciertos objetivos. Dado que poder
es un concepto relacional, es ejercido antes que poseído. El poder es tam-
bién ubicuo y se encuentra presente en todas las relaciones e interacciones.
Al tomar al poder como una capacidad resulta más fácil analizar a las inte-
racciones como gobernadas por algo más que estrategias conscientes (Bijker,
1995: 262).
A la luz de las investigaciones de base empírica desarrolladas a lo largo de
los últimos cincuenta años sobre dinámicas de innovación y desarrollo no
solo se ha mostrado, como hemos visto en el apartado “la calidad de la pro-
ducción medida por factor de impacto + Scimago de la publicación”,
que la calidad de la producción básica y aplicada es insuficiente para dispa-
rar procesos de innovación y desarrollo, sino que todo el modelo lineal es
inadecuado. En el presente apartado en particular, la respuesta a la pregunta
por la incidencia de la tecnología de evaluación “objetiva” adquiere así otra
dimensión: ¿esta tecnología de evaluación es funcional para el despliegue
de procesos de innovación, cambio tecnológico, producción de bienes y
servicios y generación de dinámicas de desarrollo local?
Desde una perspectiva sistémica, los niveles de respuesta de la pregunta
–formulada en estos términos– son diversos, y deben tener en cuenta no
solo lo que la tecnología de evaluación considera, visibiliza, facilita o pro-
mueve, sino también lo que omite, invisibiliza, dificulta o inhibe.
Gran parte de la respuesta ya ha sido formulada en los apartados anterio-
res. Pero resta aún integrarlos en un plano de análisis político sistémico:
1) Coconstrucción de los investigadores y las agendas de investigación
de forma alineada y coordinada con la tecnología de evaluación “objetiva”:
una dinámica de reproducción ampliada que internaliza, reifica y valoriza
el ideologema de “excelencia cuantitativa”, desarrollando comportamientos
productivistas y reproduciendo y estabilizando sus formas institucionales.
2) Perfil monolítico del investigador: dado su instrumental acotado,
monosémico y monovariable, la tecnología de evaluación “objetiva” tiende
a generar un tipo único de actor: el científico orientado a la publicación de
papers en revistas de alto factor de impacto, caracterizadas como Q1, con
el objetivo de alcanzar un índice h elevado en su disciplina. E inhibe el sur-
gimiento de otros perfiles, adecuados a diferentes circunstancias, desafíos
cognitivos y productivos, territorios, problemáticas, necesarios para dina-
mizar sistemas de innovación y producción locales. De hecho, inhibe el
surgimiento de perfiles transdisciplinarios.
311
REDES
, VOL. 25, Nº 49, BERNAL, DICIEMBRE DE 2019, PP. 253-337
3) Estructura de encuadramiento: la tecnología de evaluación opera de
forma asimétrica frente a diferentes perfiles de investigador. En tanto eva-
lúa a los que responden al modelo “por lo que informan”, evalúa negativa-
mente a los perfiles alternativos “por lo que no informan”. A punto tal que
muchos investigadores que despliegan actividades de producción tecnoló-
gica y de prestación de servicios cognitivos solo informan su producción de
publicaciones.
4) Identificación de problemas de investigación: el rankeo de publica-
ciones constituye un indicador robusto de prioridades temáticas, compara-
tivamente más significativo que las señales de resolución de necesidades,
demandas y problemas de orden local o regional.
5) Invisibilización de procesos de aprendizaje interactivos locales: nin-
guno de los indicadores de la evaluación objetiva registra estas acciones.
Convertidos en la base cognitiva –necesaria y suficiente– construyen el
demérito relativo de estos procesos. Esto no sería mayor inconveniente, si
no fuera por una cuestión crítica: toda la literatura sobre innovación coin-
cide en su absoluta relevancia en los procesos de cambio tecnológico y
productivo.
6) Asignación de recursos: el criterio de excelencia bibliométrico apli-
cado como variable suficiente en la evaluación académica da lugar a una
secuencia de asignación de recursos directamente –e indirectamente– vin-
culada y alineada a agendas productivas y estrategias estatales y empresaria-
les del exterior.
7) Redes colaborativas: en términos relativos, la evaluación objetiva pre-
mia la articulación en redes internacionales de investigación (y desarrollo)
y sanciona la consolidación de redes nacionales o regionales locales.
8) Sustitución de importaciones: en caso de adopción de estrategias de
desarrollo que implique total o parcialmente acciones orientadas a la susti-
tución de importaciones, dada la “falta de originalidad” de los productos
de + carecen de interés para ser objeto de publicación internacional.
9) Desarrollo de tecnologías: las señales emitidas por la evaluación
“objetiva” a favor de los papers son tales que operan en contra de la adop-
ción de agendas de + orientadas a la producción de tecnologías (de pro-
ducto, de proceso y de organización, principalmente de estas últimas). Por
lo tanto, problematizan los encadenamientos directamente relacionados
con la generación local de innovaciones y el despliegue de procesos de desa-
rrollo de capacidades tecno-productivas locales.
[34]
Lo mismo ocurre res-
[34] En los estudios de base empírica sobre vinculación entre instituciones de + y
empresas (públicas y privadas) de producción de bienes y servicios la prestación de servicios
312 HERNÁN THOMAS / LUCAS BECERRA / FLORENCIA TRENTINI
pecto de otros productos de investigación y de la prestación de servicios
cognitivos de diferente índole, por ejemplo: los vinculados a la producción
de nuevas normativas o a la denuncia de injusticias o ilícitos, o la genera-
ción de productos vinculados con la comunicación pública de la ciencia y
la tecnología.
10) Inercialidad: la consistencia de las afirmaciones y sanciones de la
tecnología de evaluación “objetiva” es tal que blinda el sistema de + fren-
te a la posible adopción de alternativas o el cambio de prácticas. Así, en
particular, la táctica de enunciar objetivos políticos esperados en las convo-
catorias de fondos concursables es insuficiente para alterar la orientación
de las agendas de investigación. La contratáctica inercial es adecuar nomi-
nalmente los proyectos de investigación a los términos de las convocatorias,
pero sin alterar sustantivamente la agenda real de investigación.
11) Constitución de alianzas socio-técnicas: las señales emitidas por la
tecnología de evaluación “objetiva” inducen el alineamiento y coordinación
de las agendas locales de investigación en redes de cooperación internacio-
nal. Esto en sí no implica inconveniente alguno. Salvo por el hecho crucial
de que inciden sobre la planificación de los evaluados de modo tal que las
únicas interacciones privilegiadas se verifiquen con alianzas externas al cam-
po de acción de las políticas públicas locales. El problema es aún mayor,
¡claro!, si esta incidencia es tal que dificulta el alineamiento y coordinación
de alianzas socio-técnicas locales y su gobernabilidad.
Así, en la práctica, es posible explicar al menos algunos aspectos de la pre-
gunta, formulada en numerosas oportunidades desde la racionalidad lineal:
¿por qué las capacidades científicas de la región, acumuladas a lo largo del
tiempo, con significativas inversiones públicas y calidad demostrada por las
publicaciones de los científicos latinoamericanos en revistas internacionales
no tiene un correlato en dinámicas innovativas locales? La respuesta más
simple y directa es: porque es falsa la afirmación –de sentido común– que
sostiene que “los papers se transforman en patentes”.
En este apartado del artículo, en particular, la respuesta es: porque la
tecnología de evaluación “objetiva” desalinea y descoordina las acciones de
los investigadores –y de los evaluadores– de toda política pública de ciencia
y tecnología –y de toda estrategia institucional de +– orientada a promo-
tecnológicos (aun los de menor complejidad) desempeñan un papel central: la conforma-
ción de vínculos de confianza y el ingreso de potenciales desarrollos en la agenda tecno-
productiva de las empresas. Obviamente, los indicadores bibliométricos son incapaces de
capturar estas curvas acumulativas.
313
REDES
, VOL. 25, Nº 49, BERNAL, DICIEMBRE DE 2019, PP. 253-337
ver innovación y desarrollo local. Por un lado, circula la producción de
papers. Por otro, el problemático y discontinuo esfuerzo tecno-productivo
local.
[35]
La descoordinación no se explica por tensiones entre la política pública
y las estrategias de negocios –como es posible verificar en algunos países
desarrollados–. Porque en el caso latinoamericano más del 65% de la acti-
vidad de + es financiada exclusivamente por el estado (Unesco, 2010 y
Ricyt, 2019).
Obviamente, podría plantearse que la escasez de demandas por parte del
sector productivo local emite insuficientes señales, poco significativas para
la conformación de una agenda de investigación que vaya a su encuentro
(lo que la literatura denomina “déficit de demanda”). Pero esa dificultad
implicaría, precisamente, la necesidad de una tecnología de evaluación que
premiara e incentivara la generación de interacciones (no simplemente de
“ofertas” para un usuario imaginario) con el sector productivo –público y
privado– local, no que las invisibilice o sancione.
Claro que esto no ocurre por igual en todos los sectores, en todas las
instituciones, en todas las subdisciplinas, en todas las líneas de trabajo. Es
que no ocurre precisamente en aquellas comunidades de investigación que
interactúan con terceros (por ejemplo producción agrícola o salud humana
o animal; también en producciones consideradas “estratégicas” por los
gobiernos), de tal modo que están abiertos a recibir otras señales, otras
interpelaciones, otras interacciones. Pero, como ya vimos en los apartados
anteriores, son precisamente estos grupos de investigación los que tienen
mayores dificultades al someterse a la agencia de la tecnología de evaluación
“objetiva”. Con lo que un nuevo bucle de retroalimentación se cierra.
En términos político-ideológicos, finalmente, es posible identificar una
trayectoria histórica paradojal.
Las comunidades científicas latinoamericanas superaron un pasado de
arbitrariedades, prebendas y abusos de poder sustentados por una intrinca-
da trama de vínculos interpersonales, políticos y académicos, una élite que
utilizaba una tecnología de evaluación por pares de forma subjetiva y poco
transparente para el logro de resultado amañados. Esto se acentuó, en par-
ticular, durante la gestión de gobiernos de facto. Trabajosamente, las comu-
nidades científicas construyeron el no-funcionamiento de esa tecnología y
[35] La verificación de esta lógica “esquizoide”, de hecho, carece de toda novedad. Ya fue
sostenida –con diversas líneas argumentales– por los primeros críticos a las propuestas
lineales de y Unesco formuladas en la década del 1960: Herrera (1995 [1971]); Sábato
(1971); Sábato y Botana (1968); Varsavsky (1974a, 1974b, 1975), entre otros.
314 HERNÁN THOMAS / LUCAS BECERRA / FLORENCIA TRENTINI
sostuvieron el ideologema de la “excelencia académica cuantitativa”, y la
tecnología de la evaluación “objetiva” como una solución a los problemas
generados en el ancien regime.
Hoy, las comunidades de investigación latinoamericanas responden,
mayoritariamente, a configuraciones ideológicas progresistas: explicitan su
preocupación por la desigualdad y la exclusión; postulan que el desarrollo
de ciencia local es una acción estratégica para la resolución de los proble-
mas sociales, laborales, sanitarios, productivos. Participan en iniciativas
políticas de izquierda y centroizquierda; trabajan orgullosamente en uni-
versidades e instituciones públicas de +; se enrolan en causas de justicia
social, defensa y ampliación de derechos (de género, de minorías, de exclui-
dos), en defensa de las autonomías nacionales y regionales, en defensa del
derecho de autodeterminación de los pueblos.
Pero, tal vez en virtud de esta historia, estos investigadores progresistas
aceptan sin cuestionamientos o, aún, defienden, invistiéndola de “neutra-
lidad” política, una tecnología de evaluación basada en tres instrumentos
bibliométricos (índice de impacto, Scimago e índice h) metodológica-
mente sesgados, producidos por corporaciones transnacionales, vinculadas
directamente con intereses editoriales y redes de apropiación de la produc-
ción intelectual, justificada por una ideología de la calidad definida en tér-
minos de “excelencia cuantitativa”, que no guarda relación alguna con los
valores políticos y sociales que suscriben. No deja de ser significativo que,
en general, ignoren los contenidos de los manifiestos: lejos de una restau-
ración conservadora, todos denuncian por diferentes vías la “no-neutrali-
dad” –tanto del sistema de evaluación cuantitativa como del sistema de
producción de los índices– así como sus múltiples efectos negativos y regre-
sivos sobre la producción científica y tecnológica.
Esta nueva paradoja, esta construcción de sentido “progresista” de la
tecnología de evaluación “objetiva” constituye un último bucle de retroali-
mentación: un ciclo que atraviesa la configuración ideológica de los actores,
invisibiliza su funcionamiento político, y convierte la jerarquización arbi-
traria y exógena en práctica intracomunitaria democratizadora, acallando y
deslegitimando toda voz disidente.
Tal vez el problema principal, en términos político-sistémicos, de la tec-
nología de evaluación “objetiva” –y del ideologema de “excelencia cuanti-
tativa” en el que se sustenta– es que adquirió tal escala socioinstitucional y
tal alcance en términos de construcción del imaginario comunitario cien-
tífico que superó el nivel de “instrumento de política” para convertirse en
la principal interpelación que orienta el accionar de científicos y tecnólogos.
En tal grado que todas las otras señales de política de ciencia, tecnología
315
REDES
, VOL. 25, Nº 49, BERNAL, DICIEMBRE DE 2019, PP. 253-337
innovación y desarrollo resultan comparativamente débiles para orientar las
agendas de investigación y desarrollo.
En el nivel de análisis de la alianza socio-técnica se devela claramente
que, para los países en vías de desarrollo, la tecnología de evaluación aca-
démica “objetiva” no es simplemente un problema sectorial, intracomuni-
tario. No solo porque la generación de capacidades cognitivas –científicas
y tecnológicas– es “consensuadamente” reconocida por todos los actores
políticos como una cuestión estratégica. Sino porque el sistema de evalua-
ción académica es la principal interpelación que reciben investigadores y
tecnólogos ante la débil agencia de las políticas de investigación y desarro-
llo. Porque cuando los sistemas político-decisorios son frágiles, los sistemas
tecno-productivos están poco desarrollados, las desigualdades sociales y de
recursos materiales son flagrantes, y las estrategias gubernamentales se res-
tringen a apagar los incendios de la coyuntura… las débiles señales genera-
das por las políticas de investigación y desarrollo son sustituidas por lo más
claro, consistente, evidente, inmediato y previsible que interpela a un inves-
tigador o un tecnólogo: el sistema de evaluación académica.
Más concretamente, porque –en tales condiciones– la tecnología de eva-
luación académica “objetiva” deviene –por omisión y sustitución– la única
y concreta política científica y tecnológica.
CONCLUSIONES
A lo largo del artículo se analizaron diversas formas en que la evaluación
académica basada en indicadores bibliométricos incide sobre las prácticas
de investigadores y evaluadores, la agencia de los instrumentos, la configu-
ración de agendas de investigación, la determinación de posiciones relativas
de poder, la construcción institucional, las dinámicas sociocognitivas, el
alcance de las políticas públicas, el comportamiento de los sistemas locales
de innovación y producción. Se desplegó así un viaje que conectó micro-
prácticas de actores científicos y tecnológicos con macrodinámicas políti-
cas, sociales, económicas y tecno-productivas.
Resta por realizar un ejercicio integrador, conectar y mapear todos estos
análisis focales en un único objeto: la alianza socio-técnica de la incidencia
de la tecnología de evaluación “objetiva” y los índices bibliométricos, las
producción de publicaciones, el financiamiento de la + y el ideologema
de la “excelencia” en el conjunto de relaciones interconectadas, y sus bucles
de retroalimentación (figura 4). Solo así es posible visualizar la escala de la
problemática, situar los niveles de cuestionamiento de los manifiestos, com-
316 HERNÁN THOMAS / LUCAS BECERRA / FLORENCIA TRENTINI
prender el alcance de los diferentes cuestionamientos, y avanzar –liminar-
mente– sobre el diseño y la viabilidad de diversos niveles de solución.
Porque todo “malestar” es un síntoma, no es “el problema”. Y es necesario
no confundirlos, para evitar la tentativa ilusoria de paliar los síntomas en
lugar de solucionar los problemas.
En la figura 4 se grafica la alianza socio-técnica en la que se integra diná-
micamente la tecnología de evaluación “objetiva”. Este gráfico recopila los
elementos más significativos y sus relaciones e interjuegos, desarrollados en
los apartados anteriores.
¿Cómo funciona esta alianza socio-técnica?
Como puede observarse, esta alianza está construida alrededor de una serie
acotada de puntos de pasaje obligatorios, compuesto por cuatro elementos:
tres tecnologías
[36]
(la tecnología de evaluación “objetiva”; los indicadores
bibliométricos –factor de impacto, índice h y Scimago –, y las tecnolo-
gías utilizadas por las publicaciones científicas –evaluación, edición, selec-
ción, etc.–) y una forma de retorno (el financiamiento). De estos cuatro
elementos que se vinculan entre sí, se deprenden una serie de relaciones
entre elementos heterogéneos que dan forma a la alianza socio-técnica que
construye el funcionamiento de la tecnología de evaluación “objetiva”, a la
vez que esta construye el funcionamiento de otros elementos que pertene-
cen a esa misma alianza.
[37]
La tecnología evaluación “objetiva” funciona debido a una serie de capa-
cidades relacionales:
1) Capacidad de resolución de problemas. La tecnología de evaluación
“objetiva” tiene la capacidad de resolver problemas en múltiples formas: el
problema de la subjetividad de la evaluación idiosincrática, el de la amplia-
ción de la escala de evaluación y el de generación de criterios cuantitativos
de evaluación demandados por la profesionalización del sector
gubernamental.
2) Capacidad de alineamiento y coordinación de agendas heterogéneas. La
tecnología de evaluación “objetiva” posibilita el alineamiento y la coordi-
nación de una multiplicidad de agendas: las agendas de +, con las de las
[36] A fin de simplificar el argumento, no hemos diferenciado aquí entre tecnologías de
producto, proceso y organización.
[37] Esta doble vía de explicación de funcionamiento, a diferentes escalas, se debe al
carácter fractal del concepto de alianza sociotécnica.
317
REDES
, VOL. 25, Nº 49, BERNAL, DICIEMBRE DE 2019, PP. 253-337
Figura 4. Alianza socio-técnica de la tecnología de evaluación “objetiva”
RetornosActores humanos
REFERENCIAS GRÁFICAS
Tecnologías Problemas Bucles de retroalimentaciónIdeologemas
Ampliación
de la escala
Evaluación
idiosincráca
Subjevidad
soportaobjeta
No resuelve
Tensiona
sosenen
Invesga-
dores
locales
sustentan
Valida condición de
Publicaciones
Financiamiento
Repositorios
(index)
producen
producen
Estado
Criterios
cuantavos
provee
Demanda
provee
Refuerzo mutuo
soportan
Eficiencia
“Excelencia”
Accountability
Permite dimensionar
Permite dimensionar
Permite dimensionar
tensiona
Empresa
Agenda de I+D
B.1. Agenda I+D +
publicaciones
requiere
define
Performa acción de
alimentan
producen
cooperan
Unidad
de i+D
privada
Unidad
de i+D
pública
alimentan
Legiman o
inhiben
Son validadas por
Lucro
maximizan
provee
requieren
condiciona
Presgio
Se vinculan conObjevo
Se convierte en
Políca Pública
de CyT
diseña
Subordinada a
escaso
sosene
sosene
B.3. Estrategia
Invesgación +
Construcción de
Presgio
B.4. Construcción
de otredad +
resiliencia
B.2. Indicadores
bibliométricos +
escala de evaluación
B.6. Tecnología de
evaluación +
ideologemas de la
alianza
B.5. Subordinación
políca pública + proceso
de evaluación
Evaluación
objeva
Indicadores
bibliométricos
desplaza
Profesionalización
define
Producen
conocimiento
para
Producen
conocimiento
para
Invesga-
dores
extranjeros
Fuente: Elaboración propia.
318 HERNÁN THOMAS / LUCAS BECERRA / FLORENCIA TRENTINI
publicaciones científicas, con los financiamientos, con las estrategias de
investigación de los investigadores. En la medida en que la evaluación obje-
tiva se sostiene sobre la existencia de publicaciones, estas a su vez legitiman
las agendas de + (que, a su vez, validan la pertinencia de las publicacio-
nes). Sobre esas agendas de + trabajan los grupos de + públicos y pri-
vados que pujan por obtener financiamiento (el cual resulta escaso).
3) Capacidad de constituirse como base empírica del ideologema “excelen-
cia”: la tecnología de evaluación “objetiva” se construye y legitima sobre la
base de indicadores bibliométricos, generados por repositorios internacio-
nales, que satisfacen los requerimientos “confiabilidad” y “cientificidad” de
evaluación basada en el ideologema de “excelencia cuantitativa”. Al mismo
tiempo, la aplicación generalizada de indicadores bibliométricos en la eva-
luación académica legitima y construye la utilidad y el funcionamiento de
los propios indicadores.
4) Capacidad de asignar “premios”. La alianza socio-técnica provee de
“premios” al sistema de evaluación académica. Retribuye con prestigio a los
investigadores; con financiamiento a las unidades de +, a las revistas y a
los repositorios; con mayores tasas de lucro a las empresas. La evaluación
“objetiva” funciona como mecanismo legítimo de regulación y asignación
de esos premios.
5) Capacidad de parametrización racional. La alianza socio-técnica per-
mite parametrizar cuantitativamente ideologemas como “accountability”,
“eficiencia” y “excelencia”.
[38]
Estos ideologemas, a su vez, dan marco ideo-
lógico y racionalidad a la tecnología de evaluación “objetiva”.
6) Capacidad de autogobierno de la alianza. La alianza socio-técnica de
la tecnología de evaluación “objetiva” adquiere autonomía relativa, subor-
dinando las políticas públicas diseñadas por los Estados (en particular, de
los países subdesarrollados y en vías de desarrollo). Esto debido a que las
políticas se tensionan bajo escenarios de escases de recursos, por lo tanto,
se opta por financiar a los “mejores”, a aquellos que representan los criterios
de “excelencia”, que por definición (de esta alianza) son los que muestran
mejores indicadores bibliométricos. En el mismo sentido, blindan la agen-
da de investigación y desarrollo a temáticas de los grupos desempoderados,
reproduciendo de forma ampliada relaciones hegemónicas.
Así, la alianza socio-técnica construye el funcionamiento de la tecnología
de evaluación “objetiva”, al mismo tiempo que esta tecnología cohesiona
–de forma ubicua y fluida– la alianza. La dinámica de esta alianza socio-
[38] Entre otros que podrían ser incluidos en esta alianza.
319
REDES
, VOL. 25, Nº 49, BERNAL, DICIEMBRE DE 2019, PP. 253-337
técnica presenta –al menos– seis bucles de retroalimentación que la refuer-
zan y consolidan (los bucles están representados en la figura 4 con
transparencias amarillas):
1) Primer bucle: agenda de I+d + publicaciones. La convergencia de inte-
reses públicos y privados (las múltiples relaciones de cooperación implícita
o explícita que se despliegan en la alianza) se operacionaliza en la definición
de las agendas de investigación: no solo en las unidades de + del sector
privado, sino también –vía subsidios en inversiones consorciadas– en las
agendas de las instituciones científicas y tecnológicas del sector público.
Una proporción significativa del financiamiento (público y privado) para
el sector de ciencia y tecnología se orienta a las principales publicaciones de
diversos campos científicos, las que a su vez (construyendo el primer bucle
de retroalimentación) demarcan las agendas prioritarias.
2) Segundo bucle: construcción de indicadores bibliométricos + escala de
evaluación. El uso de métricas permite resolver un problema operativo sig-
nificativo de esta alianza: el creciente volumen de evaluaciones de distintos
objetos (concursos por cargos, asignación de fondos, generación de nuevas
instituciones, etc.). La tecnología de evaluación “objetiva” es sencilla de
implementar y operacionalizar (autoevidente en su justificación), permi-
tiendo “procesar” en forma “fiable” grandes volúmenes de expedientes. En
la medida en que aumenta la cantidad de investigadores y el volumen y
diversidad de su producción (las unidades de información a evaluar), la
necesidad de procesar mayores volúmenes de datos crece y, por extensión,
el “valor” operativo de los indicadores bibliométricos se refuerza como par-
te de un bucle de retroalimentación.
3) Tercer bucle: estrategia de los investigadores + construcción de prestigio
vía “excelencia cuantitativa”. Los investigadores de países en vías de desarro-
llo y subdesarrollados se vinculan estructuralmente con grupos de investi-
gación internacional, buscando desarrollar nuevas capacidades a fines de
construir prestigio local. Convierten ese prestigio en acceso a financiamien-
to y consolidan sus grupos locales en formación. El funcionamiento de la
alianza reproduce este ciclo y lo refuerza.
4) Cuarto bucle: construcción de otredad + resiliencia. La adopción incre-
mental de una tecnología de evaluación “objetiva” basada en indicadores
bibliométricos (el índice de impacto, el índice h y el cuartil “Q” del ) se
consolida como alternativa racional contra otra tecnología alternativa, des-
calificada por “subjetiva”, idiosincrásica. Así, precisamente en la medida en
que la tecnología de evaluación “objetiva” es cuestionada, aumenta el grado
de resiliencia. Todo cuestionamiento se convierte en riesgo de retroceso,
toda alternativa cualitativa es “conservadora”.
320 HERNÁN THOMAS / LUCAS BECERRA / FLORENCIA TRENTINI
5) Quinto bucle: subordinación de la política pública + proceso de evalua-
ción: La alianza presenta un bucle que se forma entre la adopción de tecno-
logías de evaluación “objetiva”, la determinación de la asignación de
financiamiento y la política pública efectiva de ciencia y tecnología. En la
práctica, la política científica y tecnológica implícita (Herrera, 1995 [1971])
es definida por el propio proceso de evaluación, en la medida que este defi-
ne qué proyectos se financian (y por lo tanto que agenda de problemas se
prioriza), cuáles grupos de investigación se refuerzan (con recursos huma-
nos y materiales), cuáles instituciones se privilegian y –obviamente– cuáles
no. Los flujos de fondos, en sistemas con escasez estructural de financia-
miento, se orientan de forma sustantiva bajo criterios de “mejor asigna-
ción”, generando un efecto mateo que favorece a los grupos de investigación
que ya han sabido acumular prestigio y, obviamente, los grupos de investi-
gación internacionalizados resultan comparativamente los más beneficia-
dos. Así, la política pública local queda subsumida a la lógica de la agenda
de + internacional dado que los grupos de investigación exitosos interna-
lizan dentro de la alianza local la agenda internacional, que a su vez, es pre-
miada por la política local como resultado de la aplicación de la tecnología
de evaluación “objetiva”.
6) Sexto bucle: Tecnología de evaluación “objetiva”+ ideologemas de la
alianza. La necesidad de satisfacer los “requisitos” de eficiencia, accounta-
bility y excelencia (justificados por la mejor asignación de recursos escasos)
se resuelve utilizando indicadores bibliométricos, una tecnología (diseñada,
producida y financiada) por empresas internacionales (los repositorios), lo
que se traduce para el sistema en términos de validación internacional, aje-
no a –y por esto “a salvo” de– los intereses locales. Los indicadores biblio-
métricos “universales” adquieren, de este modo, un estatuto ético,
reforzando no solo su utilidad práctica, sino su neutralidad política.
Lejos de problemas parciales, vinculados a aspectos de instrumentalización
de la evaluación, criterios de construcción y uso de indicadores, comporta-
mientos excepcionales de algunos evaluadores, inconvenientes de imple-
mentación, efectos no deseados, la (re)construcción de estos bucles de
retroalimentación evidencia la densa trama de interjuegos autoorganizados
que dan sustento y funcionamiento a la alianza sociotécnica de la tecnolo-
gía de evaluación “objetiva”.
¿Bastará con cambiar alguno de estos elementos para resolver los pro-
blemas generados por esta tecnología? Para responder esta pregunta, es
necesario realizar un nuevo análisis, en rigor, un metaanálisis de la alianza
socio-técnica.
321
REDES
, VOL. 25, Nº 49, BERNAL, DICIEMBRE DE 2019, PP. 253-337
¿Por qué esta alianza funciona de forma estable y ampliada?
A diferencia de la figura 4, donde la alianza socio-técnica explicaba el fun-
cionamiento de la tecnología de evaluación “objetiva” por sus elementos
constitutivos y sus capacidades relacionales e interactivas, en esta sección
de las conclusiones presentamos una alianza socio-técnica en flujo (figura 5),
buscando mostrar, en particular, tres niveles de alineamiento y coordina-
ción que viabilizan la estabilización de la generación, diseño, producción,
adopción, uso, adopción y adecuación de la tecnología de evaluación
“objetiva” y la construcción de su funcionamiento. Este metaanálisis per-
mite comprender los grados de endocausalidad y cohesión de la alianza, a
fin de ponderar la viabilidad de posibles cambios de tecnología de evalua-
ción académica.
Figura 5. Alianza socio-técnica en clave de meta-análisis
Evaluación
objetiva
Indicadores
bibliométricos
Publicaciones
Financiamiento
“Excelencia”
B.1. Agenda I+D +
publicaciones
B.3. Estrategia
Investigación +
construcción de
prestigio
B.4. Construcción
de otredad +
resiliencia
B.2. Indicadores
bibliométricos +
escala de evaluación
B.6. Tecnología de
evaluación +
ideologemas de la
alianza
B.5. Subordinación
política pública + proceso
de evaluación
Retornos
R
EFERENCIAS GRÁFICAS
Tecnologías Bucles de retroalimentaciónIdeologemas Path-dependenc
e
Fuente: elaboración propia.
322 HERNÁN THOMAS / LUCAS BECERRA / FLORENCIA TRENTINI
Primer nivel: puntos de pasaje obligatorio
La evaluación académica no es un inocente ejercicio donde el input es la
información y el output es la jerarquización, ni siquiera una máquina lineal:
un sistema cerrado, constituido por elementos discretos y relaciones causa-
les proporcionales. Los puntos de pasaje obligatorio de esta alianza socio-
técnica son cuatro elementos que se interrelacionan entre sí en torno a la
tecnología de evaluación “objetiva”.
Esos elementos son: 1) los indicadores bibliométricos (factor de impac-
to, índice h y Scimago ); ) las publicaciones (todas aquellas que son
alcanzadas por la medición de esos indicadores cuantitativos, desde papers
individuales hasta empresas editoriales, así como las tecnologías utilizadas
por estas publicaciones científicas –evaluación, edición, selección, etc.–);
3) el financiamiento (desde la disponibilidad de fondos producto de con-
diciones macroeconómicas fiscales y financieras; la propensión a la inver-
sión en + por parte de las empresas; el cumplimiento de compromisos
internacionales de inversión; las leyes locales que establecen requerimientos
mínimos de gasto sobre el Producto Interno Bruto (); hasta la decisión
política de un partido de gobierno de financiar el sector de ciencia y tecno-
logía); y, 4) como eje constitutivo articulador, el ideologema de “excelencia”
(y el corpus ideológico que explica su sentido y existencia).
Es posible sintetizar las capacidades relacionales de estos cuatro elemen-
tos de este modo: la “excelencia” es un valor buscado por las publicaciones,
es el criterio discriminador de asignación de financiamiento, constituye la
necesidad “objetiva” de construir indicadores bibliométricos. Y, al mismo
tiempo, los indicadores bibliométricos miden la “excelencia”, se constitu-
yen como medida cuantitativa para la asignación de fondos y dan orden
(jerarquía) a las publicaciones. Y, a la vez, las publicaciones son el soporte
material sobre lo cual se puede medir (utilizando los indicadores bibliomé-
tricos), reciben financiamiento y legitiman agendas de + que serán finan-
ciadas y se constituyen en ámbitos de prestigio, de “excelencia”, que
finalmente permiten que investigadores y grupos de investigación accedan
al financiamiento de sus actividades. Y finalmente, pero también en forma
sincrónica, el financiamiento existe (y se sostiene) porque es posible medir
su eficiencia en términos de indicadores bibliométricos que evalúan publi-
caciones (productos de la inversión en +) que generan prestigio –reifican
su capacidad– y dotan a una comunidad (la científica) de su carácter dife-
rencial de “excelencia”.
En términos sistémicos, todos los puntos de pasaje obligatorio funcio-
nan de forma fractal: desde las microprácticas de los investigadores y eva-
323
REDES
, VOL. 25, Nº 49, BERNAL, DICIEMBRE DE 2019, PP. 253-337
luadores hasta las macrodinámicas políticas y la gobernanza de los sistemas
nacionales de innovación y producción. Y se comportan –pese a su hetero-
geneidad– de forma solidaria, en términos de un único sistema socio-téc-
nico. Tal heterogeneidad y complejidad podrían interpretarse como
fragilidad de la alianza: la eliminación o modificación de uno de los ele-
mentos podría alterar su funcionamiento identitario.
¿Qué protege y consolida a la alianza –y sus principales elementos cons-
titutivos– ante eventuales cambios? Los bucles de retroalimentación.
Segundo nivel: interacción de los bucles de retroalimentación
La tecnología de evaluación “objetiva” ejerce agencias múltiples y diversas
(en formas concretas: como matriz material de afirmaciones y sanciones)
sobre un sistema heterogéneo y abierto de actores, actividades y relaciones
de construcción de sentido, valorización y poder.
Los seis bucles de retroalimentación antes enumerados son:
1. Agenda de + + publicaciones.
2. Construcción de indicadores bibliométricos + escala de evaluación.
3. Estrategia de los investigadores + construcción de prestigio vía “exce-
lencia cuantitativa”.
4. Construcción de otredad + resiliencia.
5. Subordinación de la política pública + proceso de evaluación.
6. Tecnología de evaluación “objetiva”+ ideologemas de la alianza.
Estos no operan de manera aislada. Se articulan todos en relación con los
puntos de pasaje obligatorio de la alianza. De este modo, los bucles de
retroalimentación refuerzan –como lazos redundantes– las capacidades rela-
ciones de la alianza en términos dinámicos.
La articulación de los bucles de retroalimentación explica la existencia
y evolución de la alianza socio-técnica de la tecnología de evaluación “obje-
tiva”, su capacidad de subsumir todo nuevo elemento a su lógica constitu-
tiva, de subordinar toda trayectoria disciplinaria a su racionalidad, de
abroquelarse defensivamente ante toda objeción y, aun, de construir un área
negociable de protección que preserve los puntos de pasaje obligatorio y sus
interrelaciones mutuas.
Las capacidades relacionales y los bucles de retroalimentación no funcio-
nan en forma aislada, interjuegan solidariamente entre sí, a punto tal que la
alianza de la tecnología de evaluación “objetiva” –en sí misma– se comporta
como un bucle integrador, generando un tercer nivel de estabilización.
324 HERNÁN THOMAS / LUCAS BECERRA / FLORENCIA TRENTINI
Tercer nivel: movimiento inercial o path-dependece
La integración de los procesos contenidos en los bucles de retroalimenta-
ción constituye una forma de funcionamiento de la alianza en términos de
path-dependece (la curva celeste translúcida de la figura 5).
La estabilización de un artefacto, norma o práctica material constituye
una forma de funcionamiento consensuada por los diferentes actores y gru-
pos sociales relevantes y que logra imponer su agencia sobre un conjunto
antagónico de artefactos, normas o prácticas. Los bucles de retroalimenta-
ción se potencian entre sí, generando irreversibilidad en el funcionamiento
estabilizado de la tecnología de evaluación “objetiva”.
En realidad, para el análisis socio-técnico el consenso que permite esta-
bilizar una tecnología tiene dos significados complementarios: en primer
lugar, el consenso que implica el reconocimiento de una forma de funcio-
namiento estabilizada constituye algo más que la construcción de un signi-
ficado compartido. La estabilización es un proceso performativo: al
reconocerse que una tecnología funciona de determinada manera, los acto-
res pueden adecuar conductas, formas de uso y prácticas alrededor del nue-
vo estándar (de hecho, el estándar impulsa un proceso de coconstrucción
entre tecnologías y usuarios). Este proceso de convergencia alrededor de
determinada tecnología o práctica permite establecer patrones de repetición
y aprendizajes comunes en torno a este.
En segundo lugar, al tiempo que la alianza socio-técnica construye
funcionamientos estables, también genera formas sociales estables. Así,
Bruno Latour (1998) afirma que la “tecnología es la sociedad hecha para
que dure”, y Trevor Pinch (2008) considera que la estandarización tecno-
lógica implica al mismo tiempo un proceso de institucionalización social.
Cuanto más estables sean las alianzas socio-técnicas articuladas alrededor
de una práctica o tecnología, mayores pueden llegar a ser los costos de
reemplazo o modificación de esta. La estabilización como proceso de irre-
versibilización socio-técnica implica determinar el funcionamiento de
estructuras y conductas socio-técnicas. Aquello que para los weberianos
constituiría un proceso de construcción de “jaulas de hierro” (Weber,
2003 [1904-1905]) puede implicar también la aparición de ganancias
incrementales a partir del uso (Callon, 1992). Debido a la facilidad con
que este punto puede llevar a debates sobre qué es el determinismo tec-
nológico es preciso ser cuidadosos: el grado de irreversibilización de una
tecnología no es intrínseco a esta sino que debe relacionarse con la varie-
dad de opciones con que cuentan los actores en caso de considerar un
reemplazo.
325
REDES
, VOL. 25, Nº 49, BERNAL, DICIEMBRE DE 2019, PP. 253-337
Finalmente, los procesos de escalamiento también son relevantes para
considerar de qué manera se construyen los procesos de irreversibilización.
Si se observa este proceso a través del lente de la teoría económica, la cons-
trucción de tecnologías estabilizadas que devienen estandarizadas puede
resultar fundamental para ampliar la escala de producción y distribución
de productos y permitir así la construcción de un mercado masivo de con-
sumo (Chandler, 1990). El reverso del aumento de la escala de producción
(y uso) de una tecnología o artefacto es la construcción de procesos de irre-
versibilización que llegan a limitar o desalentar la construcción de alterna-
tivas tecnológicas.
La virtud de la alianza socio-técnica de la tecnología de evaluación
“objetiva” es que logra desplazar e invisibilizar alternativas. El “malestar de
la cultura” contenido en los manifiestos parece la explicitación de posicio-
nes que aún no logran construir una alianza socio-técnica capaz de trans-
formar el actual sistema de evaluación académica.
Problemas y soluciones
Desde esta perspectiva analítica es posible observar que detrás de las dife-
rentes críticas y propuestas de los diversos manifiestos hay diferentes cons-
trucciones de problema, diferentes asignaciones sentido, diferentes
consideraciones de escala y alcance, y se desprenden, por lo tanto, diversas
y divergentes soluciones a los problemas así identificados. En el cuadro 3
se presenta una síntesis de estas diferencias.
¿Es viable implementar estos cambios? Y, en caso afirmativo, ¿cuál es su
capacidad de revertir la alianza socio-técnica de la tecnología de la evalua-
ción “objetiva”?
No todos los caminos conducen a Roma. En tanto las soluciones pun-
tuales y parciales son de implementación relativamente más simple (de
hecho algunas ya están implementándose) y suponen menores niveles de
resistencia y dificultad operativa, cuanto más sistémicas son las soluciones,
más requieren el alineamiento y coordinación con otras políticas públicas,
con planificaciones y regulaciones institucionales, con estrategias de las
empresas (públicas y privadas) productoras de bienes y servicios, con las
capacidades, demandas y necesidades de la sociedad civil. Nuevas interac-
ciones, nuevas dinámicas socio-técnicas colaborativas, nuevos bucles de
retroalimentación.
Al mismo tiempo, es de notar que las soluciones puntuales presentan
una escasa capacidad de agencia para transformar la incidencia sistémica de
326 HERNÁN THOMAS / LUCAS BECERRA / FLORENCIA TRENTINI
Cuadro 3. Síntesis de diferencias entre relaciones problemas-solución
Relaciones problema / solución
Alcance Caracterización del problema Soluciones derivadas
Puntual
(restringido a
mejoras en el
funcionamiento
de la
tecnología de
evaluación
cuantitativa)
Metodología sesgada de producción
de los indicadores bibliométricos
Revisión metodológica de producción
de indicadores bibliométricos
Criterios acotados de selección de
publicaciones
Ampliación de los criterios de
selección de publicaciones –
valorización de revistas locales
Algoritmos acotados Revisión de algoritmos
Repositorios acotados Ampliación de los repositorios
Jerarquizaciones arbitrarias de
categorías
Rejerarquización de categorías
Una institución responsable Pluralización de instituciones
responsables
Sesgo territorial Producción de indicadores regionales
Sesgo disciplinario Producción de indicadores
transdisciplinarios
Sesgo temático Pluralización temática
Sesgo lingüístico Compensación / igualación
lingüística
Invisibilización de papers de países
de países sub y en vías de desarrollo
Diversificación de la producción de
indicadores y rankings en la
evaluación
Parcial
(a escala de la
comunidades
científicas y
los criterios
de evaluación)
Uso central e intensivo de
indicadores bibliométricos estándar
Uso suplementario de indicadores
bibliométricos ad hoc
Excelencia cuantitativa Calidad cualitativa y relevancia
Métricas restringidas de los
evaluadores
Diversificación de formas de
ponderación de calidad
Evaluación monovariable Evaluación multivariable
Restricción a papers Ampliación a diversidad de
productos de i+d y otras actividades
cyt
Foco en la productividad cuantitativa
y eficiencia
Foco en la calidad cualitativa y la
relevancia
Ritmo acelerado-productivismo Desaceleración –cuidado de la
calidad y confiabilidad unitaria
Escasa calidad del conocimiento
producido por aceleración
productivista
Mejora de la calidad por
desaceleración
327
REDES
, VOL. 25, Nº 49, BERNAL, DICIEMBRE DE 2019, PP. 253-337
Cuadro 3 (continúa)
Relaciones problema / solución
Alcance Caracterización del problema Soluciones derivadas
Parcial
(continuación)
Ciencia contestable y sin uso Recuperación del prestigio y la
utilidad
Dinámica competitiva Dinámica colaborativa
intracomunitaria
Escasa confiabilidad Aumento de la confiabilidad
Restricción de criterios de
evaluación
Evaluación multicriterio
Prácticas comunitarias (tiempos,
capacidades de los evaluadores)
Capacitación de evaluadores +
menor intensidad
Sustitución del peer review Reformulación del peer review
Prioridad de uso de indicadores
cuantitativos
Uso complementario de
indicadores cuantitativos
Propiedad intelectual Utilización del conocimiento por
usuarios y adoptantes
Sistémico
(relaciones
investigación,
innovación
desarrollo
ambiente)
Modelización lineal Adopción de modelos sistémicos
Planificación lineal Planificación estratégica
sistémica – no-lineal
Evaluación intracomunitaria Incorporación de actores
extracomunitarios en el ejercicio
de la evaluación
Inhibición de aprendizajes por
interacción
Promoción y valorización de
aprendizajes por interacción
Perfil monolítico del investigador Pluralidad de perfiles de i+d
Agendas de investigación
exogeneradas
Agendas de investigación
intrarregionales
Agendas de investigación
desconectadas de agendas
políticas, de producción, sociales
locales
Coordinación de agendas de
investigación con políticas de
ciencia, tecnología, innovación y
desarrollo locales
Alineamiento y coordinación en
alianzas extrarregionales
Alineamiento y coordinación en
alianzas locales (y complementa-
riamente internacionales)
Construcción ideal de usuarios
potenciales
Vinculación con usuarios y
adoptantes reales
Fuente: Elaboración propia.
328 HERNÁN THOMAS / LUCAS BECERRA / FLORENCIA TRENTINI
la tecnología de evaluación cuantitativa “objetiva”. En rigor, las puntuales
solo alteran incrementalmente las unidades de medición, reproduciendo la
lógica general de la calidad cuantitativa y sus restricciones. En tanto las par-
ciales, focalizadas en el plano de las instituciones de +, dependen de las
formas comunitarias de concepción e implementación de los cambios en
las tecnologías y prácticas.
Dado que la tecnología de evaluación “objetiva” está internalizada en
el sentido común de las comunidades de +, la introducción de cam-
bios incrementales puede derivar en alteraciones poco significativas res-
pecto de la morigeración o eliminación de los efectos negativos de su
funcionamiento.
Esto supone un riesgo para los procesos de cambio orientados a resol-
ver los efectos negativos de la tecnología de evaluación “objetiva”, a
“mejorar la evaluación académica” sobre la base de una estrategia de tran-
sición “mixta”, que combine los indicadores cuantitativos con nuevas
variables cualitativas. La resiliencia de las propias comunidades científicas
puede generar “efectos de autoorganización secundaria”
[39]
que esterilicen
el potencial de cambio, traduciendo las nuevas variables “cualitativas” en
términos “objetivo cuantitativos”, subsumiendo los nuevos criterios en la
racionalidad anterior.
En las soluciones sistémicas –que incorporan críticamente los niveles
puntuales y parciales– en cambio, el foco del análisis y la planificación de
la cuestión deja de ser la pregunta cómo funcionaría mejor el sistema de
evaluación cuantitativa vigente, de respuesta incremental, para pasar a
generar soluciones radicales a la pregunta: ¿cuáles son las señales que debe
emitir el sistema de evaluación para alinearse y coordinarse con las estrate-
gias de desarrollo nacional y regional?, o bien ¿cuáles tecnologías de evalua-
ción son socio-técnicamente adecuadas para promover procesos de
generación de conocimientos, artefactos y sistemas orientados a viabilizar
procesos de desarrollo inclusivo sustentable, a generar espacios de libertad
y justicia, a consolidar la democracia y la igualdad?
Porque a escala sistémica, el problema no se resuelve simplemente con
un cambio de los criterios de evaluación, con el agregado de nuevas unida-
des de cuantificación, o la adición de algunas variables cualitativas comple-
[39] Hay autoorganización secundaria cuando un nuevo elemento es introducido en una
dinámica ya constituida (Debrun, Gonzales y Pessoa, 1996). Toda introducción de un
nuevo artefacto en un sistema preexistente será inexorablemente objeto de las dinámicas
endocausales del sistema o alianza en la que se incluya. Esto nunca es lineal, ni proporcio-
nal, ni racional.
329
REDES
, VOL. 25, Nº 49, BERNAL, DICIEMBRE DE 2019, PP. 253-337
mentarias. Cada uno de estos cambios –per se– carece de la agencia suficiente
para construir el no-funcionamiento de la tecnología de evaluación “obje-
tiva”, de alterar sus derivaciones sistémicas en términos de: procesos de con-
centración de poder, conformación de prácticas hegemónicas, invisibilización
de problemáticas locales, conformación de perfiles monolíticos, desterrito-
rialización del conocimiento, inhibición de procesos de desarrollo tecno-
productivo local. Obviamente hay problemas globales que resolver, pero
aún estos requieren diagnósticos, análisis, conocimientos, capacidades,
diseño de soluciones tecnológicas y regulaciones, socio-técnicamente ade-
cuadas las condiciones y situaciones locales, nacionales y regionales: siste-
mas socioeconómicos, regímenes políticos, escenarios ambientales,
disponibilidad de recursos, necesidades y deseos de la población, configu-
raciones ideológicas de la ciudadanía.
“Poner la ciencia al servicio de la sociedad” implica un cambio en los
modos de producción de conocimientos científicos y tecnológicos y, con-
secuentemente de la función, base cognitiva y prácticas de la evaluación
académica. Cambios ideológicos y de racionalidad, que orienten nuevos
procesos de policy making, nuevas estrategias que alineen y coordinen nue-
vos y diversos perfiles de investigador, nuevas agendas de investigación y
desarrollo, nuevos criterios y nuevas tecnologías de evaluación. En rigor,
que devuelvan la evaluación académica a su nivel táctico-instrumental, en
una nueva alianza socio-técnica.
Ahora bien: los problemas de la evaluación académica vigente pueden
ser identificados de diferente manera, desde objeciones puntuales hasta crí-
ticas sistémicas, desde distintas posiciones, desde diferentes perspectivas
ideológicas. Pero más allá de todas esas diferencias, es posible derivar de esta
extensa revisión una afirmación poco contrastable: si alguien cree que no
hay problema alguno con la tecnología de la evaluación “objetiva” y el cri-
terio cuantitativo de “excelencia” es porque… forma parte del problema.
REFERENCIAS BIBLIOGRÁFICAS
Aguado-López, E. (2019), “Editorial: La evaluación basada en el Factor de
Impacto de la revista pone en jaque los objetivos de la investigación”, CIen-
CIa ergo-sum, vol. 26, Nº 2. Disponible en <https://cienciaergosum.uae-
mex.mx/article/view/12692/9951>.
Arocena, R. y J. Sutz (2010), “Weak knowledge demand in the South: learning
divides and innovation policies”, Science and Public Policy, vol. 37, Nº 8,
pp. 571-582.
330 HERNÁN THOMAS / LUCAS BECERRA / FLORENCIA TRENTINI
Bijker, W. (1995), Of Bicycles, Bakelites, and Bulbs. Toward a Theory of
Sociotechnical Change, Cambridge y Londres, The Press.
Bortz, G. y H. Thomas (2019), “Parasites, bugs and banks. Problems and cons-
traints of designing policies and technologies that transform into
healthcare solutions. The case of Chagas disease in Argentina (2007-
2017)”, Innovation and Development, vol. 9, Nº 2, pp. 225-243.
Bortz, G., L. Becerra y H. Thomas (2018), “De la ‘transferencia tecnológica’
al desarrollo local. Dinámicas socio-tecno-cognitivas en el caso del Yogurito
Escolar (Argentina, 1984-2015)”, Apuntes: Revista de Ciencias Sociales, vol.
45, Nº 82, pp. 33-69.
Bush, V. (1945), Science The Endless Frontier. A Report to the President,
Washington .., United States Government Printing Office (en castellano:
“Ciencia, la frontera sin fin. Un informe al presidente, julio de 1945”, Redes.
Revista de Estudios Sociales de la Ciencia, vol. 7, Nº 14, 1999, pp. 91-137).
Callon, M. (1992), “The dynamics of Techno-economic Networks”, en
Coombs, R., P. Saviotti y V. Walsh, Technological Changes and Company
Strategies: Economical and Sociological Perspectives, Londres, Harcourt Brace
Jovanovich Publishers (en castellano: “La dinámica de las redes tecno-eco-
nómicas”, en Thomas, H. y A. Buch, comps., Actos, actores y artefactos.
Sociología de la tecnología, Bernal, Editorial de la Universidad Nacional de
Quilmes, 2008, pp. 147-184).
—— (1994), “Is Science a Public Good?”, Science, Technology and Human
Values, vol. 19, Nº 4, pp. 395-424.
——, J. Law y A. Rip (1986), Mapping the Dynamics of Science and Technology,
Londres, MacMillan Press.
Cassiolato, J. y H. Lastres (2000), “Local Systems of Innovation in Mercosur
Countries”, Industry and Innovation, vol. 7, Nº 1, pp. 33-53.
—— y M. Maciel (eds.) (2003), Systems of Innovation and Development,
Londres, Edward Elgar Publishing.
cOAlition S (2019), Accelerating the transition to full and immediate Open Access
to scientific publications, Bruselas, Science Europe. Disponible en <https://
www.coalition-s.org/wp-content/uploads/PlanS_Principles_and_
Implementation_310519.pdf>.
Codner, D., P. Becerra y A. Díaz (2012), “La transferencia tecnológica ciega:
desafíos para la apropiación del conocimiento desde la universidad”, Redes.
Revista de Estudios Sociales de la Ciencia y la Tecnología, vol. 18, Nº 35, pp.
161-171.
Comisión Europea (2019), Future of Scholarly Publishing and Scholarly
Communication: Report of the Expert Group to the European Commission,
Luxemburgo, European Union Publications Office.
331
REDES
, VOL. 25, Nº 49, BERNAL, DICIEMBRE DE 2019, PP. 253-337
Dagnino, R. (2008), Neutralidade da ciencia e determinismo tecnológico,
Campinas, Editora da Unicamp.
—— y A. Davyt (1996), “Siete equívocos sobre la orientación de la investiga-
ción universitaria”, en Albornoz, M., P. Kreimer y E. Glavich (eds.), Ciencia
y sociedad en América Latina, Bernal, Editorial de la Universidad Nacional
de Quilmes, pp. 232-249.
Dagnino, R., H. Thomas y A. Davyt (1996), “El pensamiento latinoamerica-
no en ciencia, tecnología y sociedad”, Redes. Revista de estudios sociales de la
ciencia y la tecnología, vol. 3, Nº 7, pp. 13-52.
Dagnino, R. y H. Thomas (1997), “Science and Technology Policy and
Indicators: trends in Latin America”, Research Evaluation, vol. 6, Nº 3, pp.
179-186.
Debrun, M., E. Gonzales. y O. Pessoa Jr. (orgs.) (1996), Auto-Organização -
Estudos interdisciplinares, Campinas, Centro de lógica, epistemología e his-
tória da ciência - Unicamp.
Delgado López-Cózar, E. y A. Martín-Martín (2018), Índice H de las revistas
científicas españolas según Google Scholar Metrics (2013-2017), Informe téc-
nico, Universidad de Granada. Disponible en <https://www.um.es/docu-
ments/793464/4343909/Indice+H+revistas+2013-2017/
fb66c9e0-e4b5-4035-9269-7a45476ab8c7>.
Dutrénit, G. y J. Sutz (eds.) (2013), Sistemas de innovación para un desarrollo
inclusivo. La experiencia latinoamericana, México, Foro Consultivo
Científico y Tecnológico / .
European University Association - y Science Europe (2019), Joint Statement
for Research Assessment. Disponible en <https://www.scienceeurope.org/
media/xybdxw0e/joint-statement-eua-se-on-research-assessment-1.pdf>.
Freeman, Ch. (1987), Technology Policy and Economic Performance: Lessons from
Japan, Londres, Pinter.
—— (1988), “Introduction”, en Freeman, Ch. y B-Å. Lundvall (eds.), Small
Countries Facing Technological Revolution, Londres, Pinter, pp. 1-8.
Gallison, P. y B. Hevly (1992), Big Science: The Growth of Large Scale Research,
Stanford, Stanford University Press.
Garfield, E. y I. Sher (1963), “New Factors in the Evaluation of Scientific
Literature Through Citation Indexing”, American Documentation, vol. 14,
Nº 3, pp. 195-201.
Godin, B. (2006), “On the Origins of Bibliometrics”, Scientometrics, vol. 68,
Nº 1, pp. 109-133.
Hagstrom, W. (1965), The Scientific Community, Nueva York, Basic Books.
Herrera, A. (1995 [1971]), “Los determinantes sociales de la política científica
en América Latina. Política científica explícita y política científica implíci-
332 HERNÁN THOMAS / LUCAS BECERRA / FLORENCIA TRENTINI
ta”, Redes. Revista de Estudios Sociales de la Ciencia y la Tecnología, vol. 2, Nº
5, pp. 117-131.
Houssay, B. (1960), “Importancia del adelanto científico para el desarrollo y
prosperidad de las Américas”, Ciencia Interamericana, enero-febrero, p. 11.
Hughes, T. P. (1983), Networks of Power: Electrification in Western Society, 1880-
1930, Baltimore, Johns Hopkins University Press.
—— (1986), “The Seamless Web: Technology, Science, etcetera, etcetera”,
Social Studies of Science, vol. 16, Nº 2, pp. 281-292.
Hurtado de Mendoza, D. (2010), La ciencia argentina. Un proyecto inconcluso:
1930-2000, Buenos Aires, Edhasa.
Información Tecnológica (2013), “ . Ya no hay Revistas , solo
revista WoS ”, Información Tecnológica, vol. 24, Nº 5, p. 1. Disponible en
<https://scielo.conicyt.cl/pdf/infotec/v24n5/art01.pdf>.
International Development Research Centre – (2017), Evaluation at
IdRC, Ottawa, .
Kern, A. y H. Thomas (2014), “Politics and socio-technical construction of
technology in the process of international cooperation”, en Mayer, M., M.
Carpes y R. Knoblich (eds.), The Global Politics of Science and Technology.
Vol. 2. Perspectives, cases and Method, Berlín, Springer, pp. 101-116.
Klein, D. y E. Chiang (2004), “The Social Science Citation Index: A Black
Box-with an Ideological Bias?”, Econ Journal Watch, vol. 1, Nº 1, pp.
134-165.
Kline, S. y N. Rosenberg (1986), “An overview of innovation”, en Landau, R.
y N. Rosenberg (eds.), The positive sum strategy: Harnessing technology for
economic growth, Washington .., National Academy Press, pp.
275-305.
Knorr-Cetina, K. (1996), “¿Comunidades científicas o arenas transepistémicas
de investigación? Una crítica de los modelos cuasi-económicos de la cien-
cia”, Redes. Revista de Estudios Sociales de la Ciencia y la Tecnología, vol. 3,
Nº 7, pp. 129-160.
Kreimer, P. (1998), “Publicar y castigar. El paper como problema y la dinámica
de los campos científicos”, Redes. Revista de Estudios Sociales de la Ciencia y
la Tecnología, vol. 5, Nº 12, pp. 57-73.
—— (2006), “¿Dependientes o integrados? La ciencia latinoamericana y la
división internacional del trabajo”, Nómadas, Nº 24, pp. 199-212.
—— (2011), “La evaluación de la actividad científica: desde la indagación
sociológica a la burocratización. Dilemas actuales”, Propuesta Educativa,
vol. 36, Nº 2, pp. 59-77.
—— y L. Levin (2011), “Mapping trends and patterns in Cooperation
between the European Union and Latin American countries based on 6
333
REDES
, VOL. 25, Nº 49, BERNAL, DICIEMBRE DE 2019, PP. 253-337
and 7 projects”, en Gaillard, J. y R. Arvanitis (eds.), Mapping and unders-
tanding Science and technology collaboration between Europe and Latin
America, París, Editions des Archives Contemporaines, pp. 79-104.
Kreimer, P. y H. Thomas (2006), “Production des connaissances dans la scien-
ce périphérique: une explication du phénomène (connaissance appli-
cable non appliquée)”, en Carton, M. y J. B. Meyer (orgs.), La société des
savoirs. Trompe-l’oeil ou perspectives? The Knowledge Society: Trompe-l’oeil or
Accurate Perspective?, París, Editions l’Harmattan, pp. 143-167.
Latour, B. (1992), La ciencia en acción, Barcelona, Labor.
—— (1998), “La tecnología es la sociedad hecha para que dure”, en Domènech,
M. y F. J. Tirado (comps.), Sociología simétrica. Ensayos sobre ciencia, tecno-
logía y sociedad, Barcelona, Gedisa, pp. 109-142.
López, A. (2002), “Industrialización sustitutiva de importaciones y sistema
nacional de innovación: un análisis del caso argentino”, Redes. Revista de
Estudios Sociales de la Ciencia y la Tecnología, vol. 9, Nº 19, pp. 43-85.
Lundvall, B-Å. (1985), Product innovation and user-producer interaction,
Aalborg, Aalborg University Press.
—— (1988), “Innovation as an interactive process: from user-producer inte-
raction to the national system of innovation”, en Dosi, G. et al. (eds.),
Technical Change and Economic Theory, Londres, Pinter, pp. 349-369.
—— (ed.) (1992), National Systems of Innovation: Towards a Theory of
Innovation and Interactive Learning, Londres, Pinter (en castellano: Sistemas
Nacionales de Innovación. Hacia una teoría de la innovación y el aprendizaje
por interacción, San Martín, Edita, 2009).
Maclaine Pont, P. y H. Thomas (2007), “How the Vineyard Came to Matter:
Grape Quality, The Meaning of Grapevines and Technological Change in
Mendoza’s Wine Production”, Universum, vol. 22, Nº 1, pp. 218-234.
Makaryk, I. (ed.) (1993), Encyclopedia of contemporary literary theory, Toronto,
University of Toronto Press.
Mazzucato, M. (2014), El Estado emprendedor, Barcelona, Libros.
Merton, R. (1968), “The Mathew Effect in Science”, Science, vol. 159, Nº
3.810, pp. 56-63.
Moed, H. F. et al. (1987), “On the measurement of research performance: the
use of bibliometric indicators”, Leiden: Science Studies Unit, -Insti-
tute, University of Leiden.
Mulkay, M. (1972), The Social process of Innovation. A study in the sociology of
science, Londres, Macmillan.
Narin, F. y K. Hamilton (1996), “Bibliometric performance measures”,
Scientometrics, vol. 36, Nº 3, pp. 293-310.
334 HERNÁN THOMAS / LUCAS BECERRA / FLORENCIA TRENTINI
Nelson, R. (1979), Innovation and economic development: Theoretical retrospect
and prospect, Buenos Aires, .
—— (1988), “Institutions supporting technical change in the United States”,
en Dosi, G. et al. (eds.), Technical Change and Economic Theory, Londres,
Pinter, pp. 312-329.
—— (1990), “Capitalism as an Engine of Progress”, Research Policy, vol. 19,
Nº 3, pp 193-214.
—— (1993), National Innovation System. A Comparative Analysis, Nueva York,
Oxford University Press.
—— y S. Winter (1977), “In Search of a Useful Theory of Innovation”, en
Stroetmann, K. A. (ed.), Innovation, Economic Change and Technology
Policies. Interdisciplinary Systems Research, Basilea, Birkhäuser, pp.
215-245.
—— (1982), An Evolutionary Theory of Economic Change, Cambridge, Harvard
University Press.
Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura
- Unesco (2010), Informe de la Unesco Sobre la Ciencia, París, Ediciones
Unesco.
Organización para la Cooperación y el Desarrollo Económico - (1992),
Technology and the Economy, París, .
Ortiz, R. (2009), La supremacía del inglés en las ciencias sociales, Buenos Aires,
Siglo XXI.
Oteiza, E. (comp.), (1992), La política de investigación científica y tecnológica
argentina. Historia y perspectivas, Buenos Aires, Bibliotecas Universitarias /
.
Pavitt, K. (1984), “Patterns of Technological Change: Towards a Taxonomy
and a Theory”, Research Policy, vol. 13, Nº 6, pp. 343-373.
Persson, O., W. Glänzel y R. Danell (2004), “Inflationary bibliometric values:
The role of scientific collaboration and the need for relative indicators in
evaluative studies”, Scientometrics, vol. 60, Nº 3, pp. 421-432.
Pinch, T. (2008), “La tecnología como institución: ¿qué nos pueden enseñar
los estudios sociales de la tecnología?”, Redes. Revista de Estudios Sociales de
la Ciencia y la Tecnología, vol. 14, Nº 27, pp. 77-96.
—— y W. Bijker (1987), “The social construction of facts and artifacts: or how
the sociology of science and the sociology of technology might benefit each
other”, en Bijker, W., T. P. Hughes y T. Pinch (eds.), The social construction
of technological systems: New directions in the sociology and history of techno-
logy, Cambridge, The Press, pp. 17-50 (en castellano: “La construcción
social de hechos y artefactos: o acerca de cómo la sociología de la ciencia y
la tecnología pueden beneficiarse mutuamente”, en Thomas, H. y A. Buch,
335
REDES
, VOL. 25, Nº 49, BERNAL, DICIEMBRE DE 2019, PP. 253-337
comps., Actos, actores y artefactos. Sociología de la tecnología, Bernal, Editorial
de la Universidad Nacional de Quilmes, pp. 19-62, 2008).
Porter, M. (1990), The Competitive Advantage of Nations, Nueva York, The Free
Press.
Prego, C. y O. Vallejos (comps.) (2010), La construcción de la ciencia argentina:
instituciones, procesos y actores en la universidad argentina del siglo xx, Buenos
Aires, Biblos.
Price, D. J. de S. (1963), Little Science, Big Science, Nueva York, Columbia
University Press.
—— (1986 [1963]), Little Science, Big Science… and Beyond, Nueva York,
Columbia University Press, “The citation cycle”, pp. 254-270.
Puchet Anyul, M. y P. Ruiz Nápoles (2008), “Aspectos económico institucio-
nales del marco regulatorio mexicano del Sistema Nacional de Innovación”,
Redes. Revista de Estudios Sociales de la Ciencia y la Tecnología, vol. 14, Nº
27, pp. 17-56.
Radder, H. (ed.) (2010), The commodification of academic research. Science and
the modern university, Pittsburgh, University of Pittsburgh Press.
Red Iberoamericana de Indicadores de Ciencia y Tecnología - (2019), El
Estado De La Ciencia. Principales Indicadores de Ciencia y Tecnología
Iberoamericanos / Interamericanos, Buenos Aires, .
Rip, A. y B.J.R. Van der Meulen (1996), “El sistema de investigación posmo-
derno”, Redes. Revista de estudios sociales de la ciencia y la tecnología, vol. 3,
Nº 6, pp. 7-31.
Sábato, J. (1971), Ciencia, tecnología, desarrollo y dependencia, San Miguel del
Tucumán, Universidad Nacional de Tucumán.
—— y N. Botana, (1968), “La ciencia y la tecnología en el desarrollo futuro
de América Latina”, Revista de la Integración, año 1, Nº 3, pp. 21-44.
Schmookler, J. (1966), Invention and Economic Growth, Oxford, Clarendon
Press.
Seglen, P. O. (1997), “Why the impact factor of journals should not be used
for evaluating research”, British Medical Journal, vol. 314, Nº 7.079, pp.
498-502.
Shinn, T. (2000), “Formes de divisions du travail scientifique et convergences
cognitives. La recherche technico-instrumentale contre la ‘nouvelle
orthodoxie’ en Sociologie des Sciences”, xvI
ème
Colloque International de la
aIslf, Quebec.
Thomas, H. (1999), “Dinâmicas de inovação na Argentina (1970-1995).
Abertura comercial, crise sistêmica e rearticulação”, tesis doctoral en Política
Científica y Tecnológica, Campinas, Unicamp.
336 HERNÁN THOMAS / LUCAS BECERRA / FLORENCIA TRENTINI
—— (2007), “Dinámicas de innovación y cambio tecnológico en el Mercosur.
Procesos socio-técnicos de construcción de condición periférica”, ponencia
presentada en el Congreso , Guadalajara.
—— (2008), “Estructuras cerradas vs. procesos dinámicos: trayectorias y esti-
los de innovación y cambio tecnológico”, en Thomas, H. y A. Buch
(comps.), Actos, actores y artefactos. Sociología de la tecnología, Bernal,
Editorial de la Universidad Nacional de Quilmes, pp. 217-262.
—— (2012), “Tecnologías para la inclusión social en América Latina: de las
tecnologías apropiadas a los sistemas tecnológicos sociales. Problemas con-
ceptuales y soluciones estratégicas”, en Thomas, H., G. Santos y M. Fressoli
(eds.), Tecnología, desarrollo y democracia. Nueve estudios sobre dinámicas
socio-técnicas de exclusión/inclusión social, Buenos Aires, , pp. 25-78.
—— et al. (2013), “Estrategias de desarrollo inclusivo sustentable y cambio
tecnológico. Críticas y propuestas”, en Suarez Maciel, A. y E. Bomfim
Bordina (orgs.), Múltiplos Olhares sobre Tecnologias Sociais. Pesquisas e prá-
ticas sociais, Brasilia, .
Thomas, H., D. Aguiar y M. Fressoli (2004), “Desarrollando tecnologías cono-
cimiento-intensivas. Análisis de la trayectoria socio-técnica de una empresa
productora y exportadora de biotecnología”, ponencia presentada en las IV
Jornadas de Sociología de la Universidad Nacional de La Plata, La Plata, 23
al 25 de noviembre de 2005.
—— (2006), “Procesos de construcción de funcionamiento de organismos
genéticamente modificados: el caso de la vaca transgénica clonada
(Argentina 1996-2006)”, Convergencia, vol. 13, Nº 42, pp. 154-180.
Thomas, H., L. Becerra y A. Bidinost (2019), “¿Cómo funcionan las tecnolo-
gías? Alianzas socio-técnicas y procesos de construcción de funcionamiento
en el análisis histórico”, Pasado Abierto, Nº 10, pp. 127-158.
Thomas, H. y R. Dagnino (2005), “Efectos de transducción: una nueva crítica
a la transferencia acrítica de conceptos y modelos institucionales”, Ciencia,
Docencia y Tecnología, vol. 16, Nº 31, pp. 9-46.
Thomas, H., M. Versino y A. Lalouf (2007), “Trayectoria socio-técnica y esti-
los de innovación en países subdesarrollados: resignificación de tecnologías
en una empresa nuclear y espacial argentina”, en Dutrénit, G., J. Jasso y D.
Villavicencio (eds.), Globalización, acumulación de capacidades e Innovación:
los desafíos para las empresas, localidades y países, México, Fondo de Cultura
Económica, pp. 384-414.
Thomas, H., M. Fressoli y L. Becerra (2012), “Science and Technology Policy
and Social Ex/Inclusion. Analysing opportunities and constraints in Brazil
and Argentina”, Science and Public Policy, vol. 39, Nº 5, pp. 579-591.
337
REDES
, VOL. 25, Nº 49, BERNAL, DICIEMBRE DE 2019, PP. 253-337
Vaccarezza, S. y J. P. Zabala (2003), La construcción de la utilidad social de la
ciencia. Investigadores en biotecnología frente al mercado, Bernal, Editorial de
la Universidad Nacional de Quilmes.
Van den Besselaar, P. y L. Leydesdorff (2009), “Past performance, peer review
and project selection in the social sciences”, Research Evaluation, vol. 18,
Nº 4, pp. 273-288.
Vanclay, J. K. (2012), “Impact factor. Outdated artefact or stepping-stone to
journal certification?”, Scientometrics, vol. 92, Nº 2, pp. 211-238.
Varsavsky, O. (1974a), Proyectos nacionales - planteo y estudios de viabilidad,
Buenos Aires, Periferia.
—— (1974b), Estilos tecnológicos - propuestas para la selección de tecnologías bajo
racionalidad socialista, Buenos Aires, Periferia.
—— (1975), Ciencia, política y cientificismo, Buenos Aires, Centro Editor de
América Latina.
Velho, L. (1986), “The ‘meaning’ of citation in the context of a scientifically
peripheral country”, Scientometrics, vol. 9, Nº 1, pp. 71-89.
Vercelli, A. y H. Thomas (2007), “La co-construcción de tecnologías y regu-
laciones: análisis socio-técnico de un artefacto anti-copia de Sony-”,
Espacios, vol. 28, Nº 3, pp. 5-30.
Vessuri, H. (1994), “La ciencia académica en América Latina en el siglo xx”,
Redes. Revista de Estudios Sociales de La Ciencia, vol. 1, Nº 2, pp. 41-76.
Weber, M. (2003 [1904-1905]), La ética protestante y el espíritu del capitalismo,
Buenos Aires, Fondo de Cultura Económica.
Weingart, P. (2005), “Impact of bibliometrics upon the science system.
Inadvertent consequences?”, Scientometrics, vol. 62, Nº 1, pp. 117-131.
Wouters, P. (2014), “The Citation: From Culture to Infrastructure”, en
Cronin, B. y C. Sugimoto (eds.), Beyond Bibliometrics: Harnessing
Multidimensional Indicators of Scholarly Impact, Cambridge, The Press,
pp. 47-66.
