De que forma se mede o impacto na academia? Uma avaliação a partir do “h-index”

Por Felipe Schwarzer Paz*

No artigo “What Maximizes Productivity and Impact in Political Science Research”, escrito por Pippa Norris (palestrante McGuire em Política Comparada na Kennedy School of Government, Universidade de Harvard), é discutido o que maximiza a produtividade (número de artigos produzidos) e o impacto (quantidade de citações) de acordo com o “h-index”.

O índice é muito usado para avaliar pesquisadores de diferentes áreas, baseado em ambos os aspectos citados, constituído de um número discreto que vai de 0 ao infinito, que é determinado por quantas citações tem um autor em relação ao seu número de artigos. Por exemplo, se o pesquisador possui 5 artigos, com quantidade de citações igual a 5, 9, 20, 6, 5, seu índice será de 5; porém, se o número de citações para esse mesmo número de artigos for 5, 9, 0, 6, 5, seu índice será de 4, pois um artigo não atingiu o número mínimo de impacto para ser considerado. Um pesquisador é considerado de renome quando seu índice é de 100 ou mais.

Tendo isso em vista, a autora visa verificar o valor desse índice em cientistas políticos ao redor do mundo, utilizando os dados de um survey global, o ESCP-IPSA –  que objetivou construir o perfil do cientista político pelo mundo, com um total de 2446 respondentes, classificando o h-index de acordo com escalas, estas sendo muito baixo (menor que 10), relativamente baixo (entre 10 e 20), relativamente alto (entre 20 e 30), e muito alto (maior que 30), respeitando um recorte do tempo de carreira de 5 a 10 anos para efeitos de comparação, e utilizando como base de dados a plataforma Google Scholar, que é mais abrangente em suas considerações.

A avaliação do rendimento de um profissional da academia não é algo novo, já foi feito por outros métodos que consideravam apenas o número de artigos, por exemplo, ou mesmo utilizando de validação social a partir dos próprios profissionais e revistas científicas, porém, com o intuito de diminuir os vieses nessa classificação, e com o surgimento de bases online de artigos, Jorge Hirsch (2005), desenvolve o ‘h-index’ como forma de melhorar essa avaliação.

Ao considerar mais do que o número de artigos (que pode levar a uma superprodução de obras pobres em conteúdo de fato ou mesmo mal escritas e conduzidas) e ao considerar mais do que o mero número de citações (que pode ser influenciado por auto citações ou bolhas acadêmicas de teóricos que trocam citações), gera um método de validação mais robusto. A autora pondera que ainda podem ocorrer erros, como, por exemplo, atribuir um valor alto a um artigo que não é bom ou, na verdade, é tão questionável que se torna muito citado para ser rebatido por diferentes fontes e métodos. Outra circunstância seria não considerar corretamente publicações sobre a área específica – a ciência política neste caso -, mas também os escritos sobre outras esferas do conhecimento. O que, como demonstra a pesquisa, se torna especialmente problemático na área em questão pois, como averiguou o survey, apenas 47% dos profissionais se encontravam de fato num setor dedicado à ciência política. Mais um ponto que merece menção é a de que é possível que sejam ignoradas aquelas publicações com alta relevância social, mas que são marginais na academia. A depender da base de artigos considerada, pode ser mais abrangente sobre qual tipo de obra considerar no índice (artigos, livros, resenhas, etc.).

A avaliação de pesquisadores e docentes é importante por uma série de questões ligadas à estrutura da ciência na sociedade contemporânea, dentre elas, a distribuição de verba de acordo com a produtividade de um setor ou pesquisador, o filtro em revistas de alto prestígio e mesmo o ingresso em espaços universitários e de pesquisa sendo esse índice um dos quesitos para avaliação do cientista – até mesmo premiações como o Nobel tem isso como um ponto, até mesmo para garantir visibilidade ao pesquisador e a suas obras.

A pesquisa avalia o índice a partir de três esferas de análise, sendo estas: 1) as características pessoais que os indivíduos levam ao mercado de trabalho, 2) as condições de trabalho específicas e 3) a motivação individual para pesquisa, verificando qual tem um grau de correlação mais elevado com o aumento do índice.

Na primeira classe de análise se colocam fatores tais como: o “gap” posto para minorias e mulheres – com maior foco no caso da segunda, considerando fatores como uma maior carga doméstica e a questão da maternidade -, o tempo de carreira, e a educação formal (pós-graduações, capacitações e semelhantes). Na segunda classe temos questões como o “ranking” acadêmico, isso é, a posição dentro da hierarquia da academia, seguridade do emprego e características de incentivo à dedicação exclusiva, prestígio e estrutura do ambiente de trabalho, além do país de residência. E, por fim, na terceira classe temos a motivação do pesquisador, isto é, preferência por tema ou mesmo por área de atuação (ensino ou pesquisa) como fatores de para onde se direciona a produtividade.

Os resultados mostraram que 59% dos entrevistados estavam na classe muito baixo, enquanto outros ⅕ estavam na categoria relativamente baixo, e analisando as correlações se encontra que, inicialmente o gap entre homens e mulheres existe, mas o fator doméstico é pouco relevante, e, ao compararmos com a longevidade da carreira, se torna estatisticamente desprezível, isso porque a variável com maior relevância é o próprio tempo de carreira – tendo exceções na Europa central e leste, onde há um pico de produtividade em pesquisadores mais novos (diplomados em 1990), o que deve ser atribuído a uma mudança do regime político-econômico na região e uma reestruturação da ciência. Temos ainda que um fator relevante é o “ranking” acadêmico, apesar de com uma direcionalidade ainda incerta, podendo concluir apenas que, em sistemas mais meritocráticos, se torna num processo retroalimentativo, onde maior índice garante melhores posições que garantem mais recursos para produzir mais e aumentar o índice. Também aparece como relevante a seguridade no trabalho, apesar de que se mostrou mais importante uma percepção dessa seguridade do que sua efetiva garantia legal. E, como fator sem relevância significativa, aparece a motivação, o que pode se dever à tentativa dos profissionais de se manterem como especialistas em um tema, levando a uma pesquisa constante, e a uma questão simplesmente estrutural do trabalho que leva a dividir o tempo de maneira mais ou menos igual para todos entre docência e pesquisa.

Com isso conclui-se que, de fato, o que aumenta o “h-index” e, portanto, o que maximiza a produtividade e o impacto na ciência política, são, no geral, fatores estruturais de tempo de carreira e condições de trabalho.

REFERÊNCIA:

Norris, P. What maximizes productivity and impact in political science research?. Eur Polit Sci 20, p. 34–57, 2021.

* Felipe Schwarzer Paz, graduando em Ciências Sociais pela Universidade Federal do Paraná (UFPR). Lattes: http://lattes.cnpq.br/1158432600480938. LinkedIn: https://www.linkedin.com/in/felipe-schwarzer-paz-4b9a01198. E-mail: felipesch.paz02@gmail.com.

As opiniões expressas pela(o)s autora(e)s pertencem a ela(e)s e não refletem necessariamente a opinião do Grupo de Pesquisa e nem de seus integrantes.