Resumen de la Ponencia:
O papel do conhecimento adquirido pela investigação científica na construção de melhores ambientes sociais traz o debate sobre o impacto societal, que engloba todos os elementos de contribuição realizada pela investigação à sociedade (Hill, 2016). Ao buscar um maior entendimento sobre esses impactos da pesquisa, é indispensável interpretar e expor a dinâmica existente na produção e disseminação do conhecimento, além das avaliações e análises que buscam capturá-la. Muitas decisões são tomadas de acordo com os objetivos da avaliação, em especial no tocante aos métodos e técnicas escolhidos (Molas-Gallart, 2015). Antes que isso aconteça, é preciso haver reflexão sobre o papel da investigação e seus impactos, identificando quais premissas regem a avaliação. Para atender a um diferente foco na avaliação, existem as metodologias desenvolvidas a partir da Impact Pathways Analysis, cujo o objetivo é proporcionar a identificação das diferentes etapas da criação de impacto, dos atores e recursos envolvidos e a mudança longa e complexa do conhecimento para resultados e impactos da pesquisa (Douthwaite et al., 2003; Joly et al., 2015; Matt et al., 2017; Walker et al., 2008). Um desses métodos é o ASIRPA, que faz uso de padronização dos estudos de casos para proporcionar uma compreensão extensa ao mesmo tempo que permite comparações. Para que a avaliação de impacto societal gere contribuições, deve ser possível extrair um entendimento do processo de inovação, a título de aprendizagem de atores internos e externos, além de ser possível compor uma distribuição de recursos, que tem sido o principal objetivo das agências nacionais de ciência e tecnologia (Colinet et al., 2014). Para conduzir do ASIRPA, é preciso utilizar três ferramentas analíticas, que são a cronologia; as vias de impacto; e os vetores de impacto. A combinação destas gera uma padronização dos estudos de caso, além da visualização com imagens em cada etapa, facilitando a comunicação dos principais componentes e resultados. A associação das ferramentas permite que sejam identificados mecanismos críticos entre os diferentes estágios do processo de geração de conhecimento, dando destaque para a heterogeneidade do impacto, bem como para a infraestrutura e o tempo necessários para o desenvolvimento das pesquisas e a transferência do conhecimento (Colinet et al., 2014; Joly et al., 2015; Matt et al., 2015, 2017). Nenhum método será adequado para todos os tipos de avaliação, sendo essencial escolhê-lo conforme o objetivo e o propósito a serem alcançados. Os diferentes elementos que compõem a investigação científica demandam um olhar com mais cuidado para o processo de avaliação, buscando não somente um mecanismo abrangente que permita a comprovação do bom uso dos recursos investidos, mas que tenha a capacidade de capturar, da melhor forma possível, o valor e os benefícios gerados pela investigação científica para a sociedade.
Introducción:
A demanda pela comprovação do retorno do investimento realizado em pesquisa gera uma a preocupação, cada vez mais expressiva, em identificar e conhecer os resultados alcançados que são transferidos à sociedade. O entendimento de que uma pesquisa de qualidade naturalmente gera benefícios não engloba o esforço em transformar resultados em impactos societais. Além disso, quando as avaliações de pesquisa são utilizadas para embasar as decisões de alocação de financiamento, há uma indicação dos valores e atores que são reconhecidos pelas instituições de fomento (Martin, 2011; Samuel & Derrick, 2015).
Um novo formato de avaliação que estabeleça parâmetros diferentes dos tradicionais, explorando os impactos que vão além da área científica, pode complementar a abordagem dominante da avaliação científica. Enquanto uma avaliação tradicional se centra na análise do impacto das publicações e revistas correspondentes, que já possuem algoritmos e processos estabelecidos, para realizar uma avaliação complexa de impacto societal, é necessário que haja uma combinação entre metodologia apropriada, acompanhamento sistemático e tempo para a devida condução do processo. Assim, é importante analisar se o contributo da avaliação do impacto societal da investigação é complementar à avaliação científica tradicional, trazendo valor acrescentado a estes processos (Matt et al., 2017; Muhonen et al., 2020).
O propósito de uma abordagem diferente para a avaliação dos contributos da investigação é ir além da mensuração dos resultados e dos aspectos econômicos, encontrando benefícios em outras esferas. Avaliar o impacto societal representa abranger a compreensão de impacto de forma ampla e alargada, reconhecendo que existem diferentes dimensões a considerar. Na literatura, é possível identificar essa mudança pelo uso de termos como valor público, aplicabilidade, transferência de conhecimento, e relevância social (Bornmann, 2013).
Uma reflexão comum sobre a avaliação de impacto societal é que esta pode levar as equipes de pesquisa a priorizar os aspectos de contributo em detrimento da qualidade da investigação. Quando se considera utilizar as avaliações para propósitos relacionados ao financiamento das instituições, um dos critérios principais é a confiança na qualidade da investigação, com base no histórico dos pesquisadores e unidades institucionais (Smit & Hessels, 2021).
Os métodos de avaliação tradicional já estão estabelecidos e foram utilizados em múltiplos cenários e contextos. Por outro lado, as metodologias para avaliação de impacto societal estão em desenvolvimento e demandam mais recursos, devido ao aumento da complexidade do processo. Grupos científicos têm proposto modelos robustos, contudo estes não têm sido amplamente aceitos por terem uma operacionalização complexa e, muitas vezes, sem a confiabilidade dos indicadores científicos já estabelecidos (Benneworth et al., 2016, p. 169).
Assim, busca-se apresentar o Socio-economic Analysis of the Impacts of Public Agricultural Research (ASIRPA) como alternativa, discutindo seus benefícios e as limitações de uma metodologia não-tradicional, bem como refletindo sobre a possibilidade de que esta passe a ser adotadas com mais frequência e de forma mais ampla.
Desarrollo:
Foram geradas diversas contribuições baseadas no conhecimento científico nos períodos de guerra no século passado. Com os Estados Unidos incorporando a estrutura de pesquisa na estratégia governamental, por meio do Relatório ao presidente Roosevelt por Bush (1945), houve a institucionalização do direcionamento de recursos públicos para atores como as universidades e os institutos de pesquisa, com o objetivo de fomentar novas tecnologias e a produção de inovações, mantendo-as à disposição do estado e da sociedade.
Desde então, muitos países desenvolveram uma rede de produção de conhecimento baseada nessa lógica americana, incorporando a compreensão da ciência como um bem essencial para o desenvolvimento. Todavia, Berman (2014) chama atenção para o fato de que a organização da pesquisa científica mudou consideravelmente nas últimas décadas, como visto nos modelos de Modo 1 e Modo 2 (Gibbons et al., 1994), da Hélice Tríplice (Etzkowitz, 2009), dos Sistemas Nacionais de Inovação (Freeman e Soete, 2008), entre outros.
Ao longo dessa construção, ocorreu um processo de ressignificação do conceito de ciência, identificando novas dinâmicas e conexões no tocante à geração de conhecimento e de produção de tecnologias e inovações. Isso vem influenciando a relação do conhecimento com a economia, das instituições científicas com os estados, e destes com a sociedade (Nedeva e Boden, 2006; Santos, 2016).
A ausência dos termos tecnologia e inovação na introdução do problema foram propositais, devido à grande associação que existe com o processo linear de inovação, no qual a ciência resulta em tecnologia e desta são geradas as inovações, em especial para a indústria. Neste trabalho, o foco está nos impactos societais gerados pela produção e disseminação de conhecimento acadêmico, contexto institucional estabelecido e não apenas a aplicação em si. Ademais, compreende-se que a relação entre ciência, tecnologia e inovação é dinâmica, complexa e pode ocorrer em diferentes configurações, a depender do contexto.
Desde o conhecido trabalho de Kline e Rosenberg (1986), a contestação sobre o processo de inovação visto como uma cadeia linear e unidirecional se fortalece, por meio da apresentação de alguns modelos interativos. Nesse sentido, Douthwaite et al. (2003) reforçam que o movimento de mudança derivada do conhecimento não é linear ou mesmo unilateral, sendo insuficiente utilizar abordagens que não considerem a complexidade inerente a esse processo. A introdução das relações e do feedback como partes importantes do processo foi um grande diferencial para as novas abordagens.
O contexto atual tem demonstrado um conjunto de esforços para que a produção científica seja direcionada ao progresso econômico, com uma crescente demanda pela aplicabilidade das pesquisas. Esse movimento leva a uma constante pressão sobre o desempenho da investigação e a capacidade de comprovar benefícios diretos, e muitas vezes imediatos, dos projetos e programas (Gunn & Mintrom, 2017).
A mudança nas relações entre pesquisa, inovação e sociedade incentivou a criação de um novo discurso sobre como devem ser abordados os desafios coletivos, dissociando a ideia de que crescimento econômico é capaz de resultar diretamente em desenvolvimento social. Movimentos internacionais, especialmente na Europa, tem fortalecido essa narrativa, segundo Matt et al. (2017). Essa mesma percepção é válida para os impactos gerados pela produção de tecnologia, que claramente vão além dos aspectos econômicos, de acordo com Briones et al. (2004). Por essa razão, enxerga-se a existência de mecanismos capazes de reconhecer as mudanças que vão além de um produto tangível.
Para se fomentar uma cultura de orientação ao impacto nas pesquisas, espera-se que a abordagem de avaliação seja capaz de incorporar o processo de pesquisa e de produção e disseminação do conhecimento como um todo, considerando sua complexidade e englobando estágios intermediários, de forma que se produzam informações relevantes para a gestão de projetos e programas futuros (Springer-Heinze et al., 2003).
Além disso, é importante reconhecer que existe o pensamento entre os cientistas de que a preocupação com o impacto da investigação para a sociedade pode desvirtuar o exercício da atividade científica. Contudo, a maioria dos países e agências de financiamento se preocupam com esse aspecto e a ponderação nas avaliações tem sido crescente. Em muitas áreas do conhecimento existem significativas contribuições de resultados da pesquisa que geram impacto à sociedade, mas não há a devida mensuração ou mesmo visibilidade (Bornmann, 2013).
As tradicionais avaliações de impacto de pesquisa têm um forte viés contábil, com o emprego de metodologias que demonstrem o retorno e a eficiência econômica dos investimentos realizados. Esse entendimento, argumentam Matt et al. (2017), se baseia em duas hipóteses. A primeira é que a produção de conhecimento resulta em aumento de produtividade, com base numa visão linear do processo de inovação, e justifica o investimento em pesquisa. A segunda é que o progresso econômico automaticamente se transforma em desenvolvimento social.
A avaliação de impacto da pesquisa surge como uma alternativa a sair da mensuração de resultados e mudar o foco para a contribuição da investigação, embora tenha ainda uma grande influência da tecnicidade presente no pensamento econômico moderno. Observam-se exemplos disto em todo o sistema de investigação e financiamento, desde avaliações de desempenho, de alocação de recursos, dos rankingsinstitucionais até em incentivos variáveis de remuneração (Ball, 2015).
Algumas das melhores práticas que devem ser utilizadas em qualquer processo de avaliação da investigação baseado em métricas foram apresentadas por cientistas proeminentes por meio do Leiden Manifesto. Eles defendem que a avaliação seja sensata, considerando contexto, transparência, diferentes tipos de indicadores, além de aceitar que a mensuração deve ser aperfeiçoada e ajustada sempre que necessário. Os aspectos quantitativos devem ser vistos como são, instrumentos que auxiliam a avaliação (Hicks et al., 2015).
As organizações de pesquisa e as agências de financiamento tem buscado continuamente comprovar a legitimidade e o retorno dos investimentos públicos realizados em pesquisa. Mesmo havendo um consenso sobre a importância de se conduzir algum tipo de avaliação sobre a contribuição dos projetos ou programas após o término de cada um deles, ainda não se identifica uma metodologia considerada padrão internacionalmente (Joly et al., 2016).
De toda forma, é necessário que haja uma compreensão mais profunda dos processos relacionados ao impacto e, uma vez que sejam desenvolvidas capacidades para conduzir as avaliações, que seus resultados passem a ser utilizados para aprimorar os projetos e programas futuros, a nível de gestão, complexidade e desempenho (Springer-Heinze et al., 2003).
Uma característica que influencia em como a avaliação de impacto vai ser estruturada é o propósito do exercício, que podem ser uma combinação dos seguintes objetivos: a distribuição e alocação de recursos, o desenvolvimento de melhores práticas para as atividades de pesquisa e o controle do uso de recursos públicos (Molas-Gallart, 2012, 2015). O desafio é planejar a avaliação para utilizar um mecanismo abrangente que possibilite retratar os benefícios da investigação para a sociedade, capturando o valor gerado e o bom uso dos recursos investidos (Gunn & Mintrom, 2017).
Indo além da percepção tradicional sobre os impactos da pesquisa, defende-se aqui a perspectiva ampla de avaliação do impacto societal, cujo conceito se refere a uma mudança causada pela intervenção de um novo conhecimento que atinge alguma ou várias esferas da sociedade, direta ou indiretamente, nas dimensões econômica, social, política, ambiental, cultural ou organizacional (Hill, 2016; Joly et al., 2015; Matt et al., 2017; Terrapon-Pfaff et al., 2018).
Na busca por soluções, foram utilizadas as teorias relacionadas à abordagem das vias de impacto, que tem se estabelecido na área da agricultura, mas tem uma enorme capacidade de proporcionar mais entendimento sobre como as pesquisas acontecem, os atores envolvidos, os acontecimentos-chave, etc. Dentre os principais exemplos de avaliação de impacto societal da investigação estão o Research Excellence Framework (REF) do Reino Unido, inspirado no Research Quality Framework (RQF) da Austrália, bem como o Social Impact Assessment Methods for Research and funding instruments through the study of ‘productive interactions’ between science and society (SIAMPI), que apresentou as interações produtivas e o Socio-economic Analysis of the Impacts of Public Agricultural Research (ASIRPA), com forte influência da Impact Pathways Analysis (Colinet et al., 2014; REF2021, 2021; Roberts et al., 2005; Spaapen et al., 2011; Walker et al., 2008).
Este artigo é parte da produção da tese de doutoramento desta autora, que se propôs a apresentar aqui o ASIRPA como uma opção de modelo que pode ser utilizado na condução de exercícios de avaliação da investigação em diferentes instituições, uma vez que possui um desenvolvimento robusto para atender aos diferentes objetivos de uma avaliação.
A abordagem ASIRPA teve início nos estudos da agricultura a partir de um projeto desenvolvido pelo INRA, o instituto público de pesquisa em agricultura da França, em 2011. A proposta dessa abordagem é utilizar a análise das vias de impacto para conduzir uma análise padronizada dos estudos de caso, combinada tanto com os estudos sobre inovação e sua complexidade como com a teoria do impacto associada às premissas da teoria do Ator-Rede (Callon, 1986). Essa combinação teórica proporciona uma visão ampla do impacto científico na sociedade, permitindo uma atenção cuidadosa ao processo de transformação do conhecimento para os produtos, processos, comportamentos etc. Todavia, um dos maiores desafios para o método ASIRPA é conciliar uma compreensão aprofundada dos mecanismos geradores de impacto com a mensuração do tamanho e do tipo de impacto (Joly et al., 2015).
Um diferencial significativo do ASIRPA é sua capacidade de compreender cada caso que está sendo avaliado de forma aprofundada, enquanto permite comparações entre diferentes análises a partir das ferramentas analíticas, que são a cronologia, as vias do impacto e os vetores de impacto. É a combinação das três que, além reduzir a complexidade dos fenômenos com a visualização de imagens, facilita a comunicação e comparação dos principais componentes (Colinet et al., 2014; Joly et al., 2015; Matt et al., 2015, 2017).
Na cronologia, pretende-se identificar os processos e recursos ao longo do tempo e permitir uma visualização ampla dos esforços com uma dimensão temporal. Esta retrata, numa linha do tempo, o contexto e os fatores determinantes para a construção do conhecimento no caso estudado, além de ilustrar a rede de atores envolvidos e acumulação de investimentos realizados ao longo da pesquisa (Joly et al., 2015; Matt et al., 2015).
Nas vias de impacto, é construído um diagrama que apresenta o contexto global, com dados gerados pelos próprios investigadores, somados a outros que são coletados em entrevistas e em documentos informativos, que também são fonte para a ferramenta da cronologia. São analisadas cinco diferentes fases de atividades realizadas e atores envolvidos, que são (Joly et al., 2015):
1) Input: as características específicas do trabalho de pesquisa;
2) Output: os principais resultados e produtos derivados;
3) Intermediários: dispositivos que contribuem para a circulação dos resultados e produtos da investigação;
4) Impacto 1: impactos que alcançam os beneficiários imediatos;
5) Impacto 2: generalização e ampliação dos impactos primários.
A ferramenta representa graficamente a progressão do fluxo do conhecimento entre o ambiente acadêmico e a sociedade, sua transformação e seu uso. Além disso, o pathway permite a identificação dos mecanismos críticos entre os diferentes estágios, como o movimento de circulação e transferência do conhecimento (Colinet et al., 2014; Matt et al., 2017).
A adoção do modelo do impact pathway é proveniente do movimento de avaliação dentro da academia, como instrumento baseado em teoria e mais robusto do que os encontrados na prática das políticas públicas (Faure et al., 2020). Contudo, sua estrutura é uma adaptação do modelo lógico básico desenvolvido pela W.K. Kellogg Foundation para avaliação de impacto dos seus programas financiados (Kellogg Foundation, 2004, p. iii), que é amplamente utilizado como um modelo de avaliação de impacto para o retorno de investimentos em cenários de complexidade, sejam eles em investigação ou não (Dembe et al., 2014).
Um aspecto interessante da condução de uma análise das vias de impacto é que se torna possível identificar e estimar os indicadores considerando dois cenários distintos: um com e outro sem a intervenção da pesquisa em determinado problema societal. Assim, para que seja possível a identificação incontestável dos valores gerados por uma investigação, é preciso conhecer bem os casos que venham a ser selecionados. A avaliação em retrospectiva deve ser associada com uma compreensão histórica e temporal da pesquisa em foco (Briones et al., 2004; Gunn & Mintrom, 2017).
As abordagens que utilizam a análise de impact pathway são baseadas em estudos de caso e permitem a caracterização dos impactos e das mudanças de forma mais eficaz, embora a dificuldade de quantificação permaneça um desafio. Ainda assim, elas são um excelente instrumento para que as organizações de investigação desenvolvam estratégias de investimento e planejem suas atividades com orientação para o impacto (Faure et al., 2020).
Com a terceira ferramenta, os vetores de impacto, é possível identificar a variedade de impactos gerados pelas atividades que aparecem na análise das vias de impacto, estabelecendo uma mensuração por meio de uma escala ordinária. Após a condução das duas primeiras ferramentas, essa produção deve ser submetida a um grupo de especialistas para que estes possam valorar as cinco dimensões de impacto, que são econômica; política; ambiental; saúde / sanitária; social / territorial. Visualmente, o gráfico em radar ilustra todas as dimensões juntas, permitindo observar a heterogeneidade do impacto e a intensidade de cada uma delas (Colinet et al., 2017; Joly et al., 2015; Matt et al., 2015).
A partir da interação entre as três ferramentas analíticas se conduz uma análise que retrata o tempo entre as atividades da pesquisa e seus impactos, além do papel da infraestrutura de pesquisa, muitas vezes colocado em segundo plano. Ao mesmo tempo que destaca as contribuições geradas em cada etapa das vias de impacto, permite uma redução da complexidade para o entendimento dos fenômenos de tradução do conhecimento para o ambiente externo à academia (Colinet et al., 2014, 2017).
Um outro aspecto interessante que as ferramentas possibilitam é que a criação de ilustrações e gráficos possibilita uma comunicação mais fácil dos principais resultados e impactos da pesquisa, tanto com o propósito de financiamento, como para alcançar os usuários primários e a sociedade em geral (Colinet et al., 2014). A utilização destes já será feita durante o processo de análise, no momento da construção dos vetores de impacto.
Para conduzir uma avaliação institucional robusta utilizando o ASIRPA é preciso que haja uma articulação e empenho para conduzir cada uma das ferramentas, consciente da necessidade de refletir a complexidade do processo de inovação. Somente a partir disso, é possível agregar os casos para generalizar os achados, seja por meio de uma análise transversal ou da tipologia das vias de impacto (Joly et al., 2015).
É importante abordar as limitações da metodologia. Em primeiro lugar, embora o ASIRPA tenha sido desenvolvido considerando a complexidade do processo de inovação, todo o trabalho foi conduzido na agricultura, que possui um certo grupo de regras e regulamentos estáveis (Matt et al., 2017). Isso faz com que seja necessário explorar sua aplicação em outras áreas de pesquisa, algo que os próprios autores sugerem. Um outro aspecto se refere à escolha dos casos, que precisam ser selecionados a partir de critérios bem delineados, especialmente para permitir que seja conduzida uma agregação dos dados para análises robustas. Os instrumentos precisam proporcionar comparabilidade entre os diferentes impactos, casos ou organizações, além de compreender o valor individual de cada impacto (Muhonen et al., 2020).
Conclusiones:
A busca por uma avaliação que seja justa com os diferentes grupos e tipos de investigação gerou uma maior sofisticação dos métodos utilizados, boa parte com a participação e o aval da comunidade científica dedicada ao desenvolvimento e ao aperfeiçoamento de ferramentas. Isso pode ser visto na forma como as ferramentas do ASIRPA foram associadas para fornecer uma análise profunda dos casos, sem perder a comparabilidade necessária a um sistema de avaliação.
A abordagem ASIRPA permite fazer a associação entre alguns aspectos não priorizados na avaliação científica possam ser apresentados além da visão de resultados com uma análise que reduza as limitações do uso de estudos de caso, para não perder a objetividade e a capacidade de mensuração do contexto explorado.
Entretanto, isso faz com que o processo seja mais custoso, tanto a nível financeiro como organizacional. Mesmo com esse cenário de uma maior necessidade de definição sobre os impactos e com artefatos metodológicos cada vez mais refinados, aponta Martin (2011), as agências de financiamento tem buscado executar processos avaliativos de forma rápida e com um amplo alcance. Isso reflete na escolha de métodos simplificados, que não exijam tantas horas de trabalho por parte dessas organizações.
Essa pode ser uma razão pela qual abordagens como o ASIRPA ainda não estejam presentes em avaliações nacionais. Embora a aplicação de um modelo seja inicialmente custosa, qualquer método de avaliação de impacto deve proporcionar um caminho simples para sua compreensão e utilização, facilitando o aprendizado dos envolvidos e permitindo a participação dos atores em geral (Martin, 2011; Springer-Heinze et al., 2003; Stern, 2016). Esta autora investiga, num trabalho em andamento, como a utilização dessa alternativa pode apontar benefícios expressos frente a uma avaliação tradicional.
Bibliografía:
Ball, S. J. (2015). Living the Neo-liberal University. European Journal of Education, 50(3), 258–261. https://doi.org/10.1111/ejed.12132
Benneworth, P., Gulbrandsen, M., & Hazelkorn, E. (2016). The Impact and Future of Arts and Humanities Research. In The Impact and Future of Arts and Humanities Research. Palgrave Macmillan UK. https://doi.org/10.1057/978-1-137-40899-0
Berman, E. P. (2014). Not Just Neoliberalism. Science, Technology, & Human Values, 39(3), 397–431. https://doi.org/10.1177/0162243913509123
Bornmann, L. (2013). What is societal impact of research and how can it be assessed? a literature survey. Journal of the American Society for Information Science and Technology, 64(2), 217–233. https://doi.org/10.1002/asi.22803
Briones, R., Dey, M. M., Ahmed, M., Stobutzki, I., Prein, M., & Acosta, B. O. (2004). Impact pathway analysis for research planning: The case of aquatic resources research in the WorldFish Center. NAGA, WorldFish Center Quarterly, 27(3 & 4), 51–55. http://www.worldfishcenter.org/content/impact-pathway-analysis-research-planning-case-aquatic-resources-research-worldfish-center-0
Bush, V. (1945). Science: The Endless Frontier. Transactions of the Kansas Academy of Science, 48(3), 231. https://doi.org/10.2307/3625196
Callon, M. (1986). The sociology of an actor-network: The case of the electric vehicle. In M. Callon, J. Law, & A. Rip (Eds.), Mapping the dynamics of science and technology (pp. 19–34). The Macmillan Press.
Colinet, L., Gaunand, A., Joly, P.-B., & Matt, M. (2017). Des barèmes génériques pour évaluer les impacts de la recherche sur la société: l’exemple des impacts politiques. Cahiers Agricultures, 26(6). https://doi.org/10.1051/cagri/2017056
Colinet, L., Joly, P.-B., Matt, M., Larédo, P., & Lemarié, S. (2014). ASIRPA – Analyse des Impacts de la Recherche Publique Agronomique. Rapport final. https://hal.archives-ouvertes.fr/hal-01064096/
Dembe, A. E., Lynch, M. S., Gugiu, P. C., & Jackson, R. D. (2014). The Translational Research Impact Scale: Development, Construct Validity, and Reliability Testing. Evaluation and the Health Professions, 37(1), 50–70. https://doi.org/10.1177/0163278713506112
Douthwaite, B., Kuby, T., Van De Fliert, E., & Schulz, S. (2003). Impact pathway evaluation: An approach for achieving and attributing impact in complex systems. Agricultural Systems, 78(2), 243–265. https://doi.org/10.1016/S0308-521X(03)00128-8
Etzkowitz, H. (2009). Hélice tríplice: universidade-indústria-governo inovação em ação. EDIPUCRS.
Faure, G., Blundo-Canto, G., Devaux-Spatarakis, A., Le Guerroué, J. L., Mathé, S., Temple, L., Toillier, A., Triomphe, B., & Hainzelin, E. (2020). A participatory method to assess the contribution of agricultural research to societal changes in developing countries. Research Evaluation, 29(2), 158–170. https://doi.org/10.1093/reseval/rvz036
Freeman, C., & Soete, L. (2008). A Economia da Inovação Industrial. Editora da Unicamp.
Gibbons, M., Limoges, C., Nowotny, H., Schwartzman, S., Scott, P., & Trow, M. (1994). New Production of Knowledge: Dynamics of Science and Research in Contemporary Societies (M. Gibbons (ed.)). SAGE Publications.
Gunn, A., & Mintrom, M. (2017). Evaluating the non-academic impact of academic research: design considerations. Journal of Higher Education Policy and Management, 39(1), 20–30. https://doi.org/10.1080/1360080X.2016.1254429
Hicks, D., Wouters, P., Waltman, L., de Rijcke, S., & Rafols, I. (2015). Bibliometrics: The Leiden Manifesto for research metrics. Nature, 520(7548), 429–431. https://doi.org/10.1038/520429a
Hill, S. (2016). Assessing (For) impact: Future assessment of the societal impact of research. Palgrave Communications, 2(May), 1–7. https://doi.org/10.1057/palcomms.2016.73
Joly, P.-B., Colinet, L., Gaunand, A., Lemarié, S., & Mireille, M. (2016). Agricultural research impact assessment: issues, methods and challenges. OECD Food, Agriculture and Fisheries Papers, 98, 51. https://doi.org/https://doi.org/10.1787/5339e165-en
Joly, P.-B., Gaunand, A., Colinet, L., Larédo, P., Lemarié, S., & Matt, M. (2015). ASIRPA: A comprehensive theory-based approach to assessing the societal impacts of a research organization. Research Evaluation, 24(4), 440–453. https://doi.org/10.1093/reseval/rvv015
Kellogg Foundation, W. K. (2004). Logic Model Development Guide. W.K. Kellogg Foundation. https://wkkf.issuelab.org/resource/logic-model-development-guide.html
Kline, S., & Rosenberg, N. (1986). An overview of Innovation. In R. Landau & N. Rosenberg (Eds.), The Positive Sum Strategy: Harnessing Technology for Economic Growth. National Academies Press. https://doi.org/10.17226/612
Martin, B. R. (2011). The research excellence framework and the “impact agenda”: Are we creating a Frankenstein monster? Research Evaluation, 20(3), 247–254. https://doi.org/10.3152/095820211X13118583635693
Matt, M., Colinet, L., Gaunand, A., & Joly, P.-B. (2015). A typology of impact pathways generated by a public agricultural research organization (No. 03; Issue March).
Matt, M., Gaunand, A., Joly, P.-B., & Colinet, L. (2017). Opening the black box of impact – Ideal-type impact pathways in a public agricultural research organization. Research Policy, 46(1), 207–218. https://doi.org/10.1016/j.respol.2016.09.016
Molas-Gallart, J. (2012). Research Governance and the Role of Evaluation. American Journal of Evaluation, 33(4), 583–598. https://doi.org/10.1177/1098214012450938
Molas-Gallart, J. (2015). Research evaluation and the assessment of public value. Arts and Humanities in Higher Education, 14(1), 111–126. https://doi.org/10.1177/1474022214534381
Muhonen, R., Benneworth, P., & Olmos-Peñuela, J. (2020). From productive interactions to impact pathways: Understanding the key dimensions in developing SSH research societal impact. Research Evaluation, 29, 34–47. https://doi.org/10.1093/reseval/rvz003
Nedeva, M., & Boden, R. (2006). Changing Science: The Advent of Neo-liberalism. Prometheus, 24(3), 269–281.
REF2021. (2021). What is REF? https://www.ref.ac.uk/about/what-is-the-ref/
Roberts, G., Arthur, E., Barber, M., Batterham, R., Callaghan, P., Chubb, I., Clark, P., Edwards, A., Høj, P., Milbourne, R., Pettigrew, A., Sheehan, P., & Smith, I. (2005). Research Quality Framework: Assessing the quality and impact of research in Australia. In The Expert Advisory Group for the RQF. Commonwealth of Australia 2005. https://apo.org.au/sites/default/files/resource-files/2005-09/apo-nid1869.pdf
Samuel, G. N., & Derrick, G. E. (2015). Societal impact evaluation: Exploring evaluator perceptions of the characterization of impact under the REF2014. Research Evaluation, 24(3), 229–241. https://doi.org/10.1093/reseval/rvv007
Santos, F. L. (2016). Avaliação do processo e da política de inovação na Universidade Federal de Pernambuco a partir da percepção de gestores institucionais de Ciência, Tecnologia e Inovação[Universidade Federal de Pernambuco]. https://repositorio.ufpe.br/handle/123456789/17785
Smit, J. P., & Hessels, L. K. (2021). The production of scientific and societal value in research evaluation: a review of societal impact assessment methods. Research Evaluation, 1–13. https://doi.org/10.1093/reseval/rvab002
Spaapen, J., van Drooge, L., Propp, T., van der Meulen, B., Shinn, T., Marcovich, A., van den Besselaar, P., Castro-Martinez, E., D’Ippolito, B., Prins, A., Molas-Gallart, J., Tang, P., Pearson, D., Sveinsdottir, T., Morrison, K., Barker, K., Cox, D., & De Jong, S. (2011). SIAMPI final report: Social Impact Assessment Methods for research and funding instruments through the study of Productive Interactions between science and society. Siampi, 1–36. http://www.siampi.eu/Content/SIAMPI_Final report.pdf
Springer-Heinze, A., Hartwich, F., Henderson, J. S., Horton, D., & Minde, I. (2003). Impact pathway analysis: an approach to strengthening the impact orientation of agricultural research. Agricultural Systems, 78(2), 267–285. https://doi.org/10.1016/S0308-521X(03)00129-X
Stern, L. N. (2016). Building on Success and Learning from Experience.: An Independent Review of the Research Excellence Framework. (Issue July). https://assets.publishing.service.gov.uk/government/uploads/system/uploads/attachment_data/file/541338/ind-16-9-ref-stern-review.pdf
Terrapon-Pfaff, J., Gröne, M. C., Dienst, C., & Ortiz, W. (2018). Impact pathways of small-scale energy projects in the global south – Findings from a systematic evaluation. Renewable and Sustainable Energy Reviews, 95(July), 84–94. https://doi.org/10.1016/j.rser.2018.06.045
Walker, T., Maredia, M., Kelley, T., La Rovere, R., Templeton, D., Thiele, G., & Douthwaite, B. (2008). Strategic Guidance for Ex Post Impact Assessment of Agricultural Research. https://ispc.cgiar.org/sites/default/files/ISPC_SPIA_StrategicGuidance.pdf
Palabras clave:
Análise das vias de impacto; Avaliação de impacto da pesquisa; Impacto societal; Pesquisa científica
