Neutros e objetivos? Uma análise do uso de algoritmos em processos de tomadas de decisão a partir das epistemologias feministas
DOI:
https://doi.org/10.48160/18517072re56.212Keywords:
Estudos Sociais da Ciência e Tecnologia, epistemologias feministas, inteligência artificial, algoritmosAbstract
O objetivo deste trabalho é analisar as controvérsias em torno da neutralidade e da objetividade dos algoritmos utilizados em processos de tomadas de decisão. Apoiamo-nos nos Estudos Sociais da Ciência e Tecnologia, bem como nos insights provenientes das epistemologias feministas, a fim de problematizar a presença de valores e interesses em inovações sociotécnicas relacionadas às tecnologias de informação e comunicação. Demonstramos, assim, que, em contextos de disparidades estruturais e de subrepresentação de minorias em áreas de tecnologia e inovação, análises e decisões automatizadas através de sistemas de inteligência artificial tendem a reproduzir desigualdades em termos de gênero, raça e classe. Do ponto de vista metodológico, valemo-nos das técnicas de análise de conteúdo a fim de investigarmos relatórios, legislações e matérias jornalísticas pertinentes ao tema. Nossos argumentos apontam para a necessidade de levar em consideração a situacionalidade dos sujeitos envolvidos com a programação de sistemas automatizados de tomadas de decisão, o que tensionaria critérios tradicionais de neutralidade e objetividade, tal como defendido pela noção de “objetividade forte”, definida por Sandra Harding. Dessa forma seria possível levar em consideração os valores e interesses que perpassam as práticas de inovação, de modo a reconhecer, e talvez mitigar, os vieses políticos e socioculturais, bem como os efeitos discriminatórios, que caracterizam as decisões com base em algoritmos.
References
Aragão, F. A. A e Benevides, P. S. (2019), “Governamentalidade algorítmica e Big data: o uso da correlação de dados como critério de tomada de decisão”, IV Simpósio internacional lavits: assimetrias e (in)visibilidades: vigilância, gênero e raça, Salvador, 26-28 junho. Disponível em: https://lavits.org/wp-content/uploads/2019/12/Araujo_Benevides-2019-LAVITS.pdf
Arrieta, A. B. et al (2020), “Explainable Artificial Intelligence (XAI): Concepts, taxonomies, opportunities and challenges toward responsible AI”, Information fusion, v. 58, pp. 82-115.
BBC (2020), “Algoritmo roubou meu futuro’: solução para ‘Enem britânico’ na pandemia provoca escândalo”. Disponível em: https://www.bbc.com/portuguese/internacional-53853627
Bauer, M. W. (2008), “Análise de conteúdo clássica: uma revisão”. In: Bauer, M. and Gaskell, G. Pesquisa qualitativa com texto, imagem e som: um manual prático. Petrópolis, Vozes.
Bioni, B. R.; Rielli, M. e Kitayama, M. (2021), O legítimo interesse na LGPD: quadro geral e exemplos de aplicação. São Paulo, Associação Data Privacy Brasil de Pesquisa.
Bruno, F. (2013), Máquinas de ver, modos de ser: vigilância, tecnologia e subjetividade. Porto Alegre, Sulina.
Bruno, F. (2008), “Monitoramento, classificação e controle nos dispositivos de vigilância digital”, Revista FAMECOS, n. 36, pp. 10-16.
Canclini, N. G. (2020), Ciudadanos reemplezados por algoritmos, México, Calas.
Conselho Nacional de Justiça (2020). Resolução nº 332, de 21 de agosto. Disponível em: https://atos.cnj.jus.br/atos/detalhar/3429
Cordellat, A. (2018), “Doença mental materna ainda é associada a ser ‘uma mãe ruim”. El País. Madrid, 11 de maio de 2018. Disponível em: https://brasil.elpais.com/brasil/2018/05/05/ciencia/1525542192_173178.html#?rel=listaapoyo
Dagnino, R. P. (2008), Neutralidade da ciência e determinismo tecnológico: um debate sobre a tecnociência. Campinas, Editora da Unicamp.
Dastin, J. (2018), “Amazon scraps secret AI recruiting tool that showed bias against women”. Reuters. São Francisco - EUA, 10 de outubro de 2018. Disponível em: https://www.reuters.com/article/us-amazon-com-jobs-automation-insight/amazon-scraps-secret-ai-recruiting-tool-that-showed-bias-against-women-idUSKCN1MK08G
Decreto nº 10.332, de 28 de abril de 2020 (2020), Brasília – DF. Disponível em: https://www.in.gov.br/web/dou/-/decreto-n-10.332-de-28-de-abril-de-2020-254430358
Decreto nº 10.609, de 26 de janeiro de 2021 (2021), Brasília – DF. Disponível em: http://www.planalto.gov.br/ccivil_03/_Ato2019-2022/2021/Decreto/D10609.htm#art18
Deleuze, G. (2013), “Post-scriptum sobre as sociedades de controle”. In: Deleuze, G. Conversações. 3. ed. Trad. Peter Pál Pelbart. São Paulo, Editora 34, p. 223-230.
Doneda, D. e Almeida, V. A. F. (2018), “O que é a governança dos algoritmos?”, In Bruno, F., Cardoso, B, Kanashiro, M., Guilhon, L. e Melgaço, L. (Eds.). Tecnopolíticas da vigilância. São Paulo: Boitempo, pp. 141-148.
Echarri, M. (2021), “150 demissões em um segundo: os algoritmos que decidem quem deve ser mandado embora”. El País. Barcelona, 10 de outubro de 2021. Disponível em: https://brasil.elpais.com/tecnologia/2021-10-10/150-demissoes-em-um-segundo-assim-funcionam-os-algoritmos-que-decidem-quem-deve-ser-mandado-embora.html
Feenberg, A. (2010), “Racionalização democrática, poder e tecnologia”, In Needer, R. T. (org.). Ciclo de conferências Andrew Feenberg.
Ferreira, F. (2020), “Inteligência Artificial atua como juiz, muda estratégia de advogado e ‘promove’ estagiário”. Folha de S. Paulo. São Paulo, 10 de março. Disponível: https://www1.folha.uol.com.br/poder/2020/03/inteligencia-artificial-atua-como-juiz-muda-estrategia-de-advogado-e-promove-estagiario.shtml
Fox Keller, E. (1991), Reflexiones sobre género y ciencia. Valencia, Edicions Alfons el Magnànim.
Gillespie, T. (2018), “A relevância dos algoritmos”, Parágrafo, v. 6, n. 1, pp. 95-121.
Grossman, L. O. (2018), “Big Data do Governo Federal levou ao corte de 5 milhões do Bolsa Família”. Convergência Digital. São Paulo, 16 de abril. Disponível em: https://ciab.convergenciadigital.com.br/cgi/cgilua.exe/sys/start.htm?infoid=47765&sid=11
Haraway, D. (2009), “Saberes localizados: a questão da ciência para o feminismo e o privilégio da perspectiva parcial”, Cadernos Pagu, n. 5, pp. 7–41.
Haraway, D. (2013), “Manifesto ciborgue: ciência, tecnologia e feminismo-socialista no final do século XX”, In Haraway, D.; Kunzru, H. e Tadeu, T. Antropologia do ciborgue: as vertigens do pós-humano. Belo Horizonte, Autêntica.
Harding, S. (1987), “Introduction: is there a feminist method?” In Harding, S. (Ed.). Feminism and Methodology: social science issues. Bloomington, USA, Indiana University.
Harding, S. (2007), “Gênero, democracia e filosofia da ciência'', RECIIS – Revista Eletrônica de Comunicação, Informação & Inovação em Saúde. Rio de Janeiro, v. 1, n. 1, pp. 163-168.
Harding, S. (2008), “Postcolonial science and technology studies. Are there multiple sciences?” In Harding, S. Sciences from Below: Feminisms, Postcolonialities, and Modernities. Durham and London: Duke University Press.
Harding, S. (2019), “Objetividade mais forte para ciências exercidas a partir de baixo”, Construção: arquivos de epistemologia histórica e estudos de ciência, n. 5, pp. 143-162.
Jasanoff, S. (2015), “Future imperfect: Science, technology, and the imaginations of modernity”, In Jasanoff, S.; Kim, S-H. In Dreamscapes of modernity: Sociotechnical imaginaries and the fabrication of power, pp. 1-33. Chicago, University of Chicago.
Kim, J. H. (2004), “Cibernética, ciborgues e ciberespaço: notas sobre as origens da cibernética e sua reinvenção cultural''. Horiz. antropol., Porto Alegre, v. 10, n. 21, pp. 199-219.
Lei nº 13.709, de 14 de agosto de 2018 (2018), Brasília – DF. Disponível em: http://www.planalto.gov.br/ccivil_03/_Ato2015-2018/2018/Lei/L13709compilado.htm
Lima, M. P. (2013), “As mulheres na Ciência da Computação”, Revista Estudos Feministas, Florianópolis, v. 21, n. 3, pp. 793-816.
Lucena, P., A. C. de (2019), “Policiamento preditivo, discriminação algorítmica e racismo: potencialidade e reflexos no Brasil”, VI Simpósio internacional lavits: assimetrias e (in)visibilidades: vigilância, gênero e raça, Salvador, 26-28 junho. Disponível em: https://lavits.org/wp-content/uploads/2019/12/Lucena-2019-LAVITSS.pdf
Maia, M. M. (2016), “Limites de gênero e presença feminina nos cursos superiores brasileiros no campo da computação”, Cadernos Pagu, Campinas, n. 46, pp. 223-224.
Mendes, L. e Mattiuzzo, M. (2019), “Discriminação algorítmica: conceito, fundamento legal e tipologia”, Direito Público, 16(90), pp. 39-64.
Marx, L. e Smith, M. (1994), “Introduction”, In Marx, L and Smith, M. (Eds.). Does Technology Drive History? The Dilemma of Technological Determinism. Cambridge (Massachusetts), MIT Press.
O’neil, C. (2016), Weapons of math destruction: how big data increases inequality and threatens democracy. New York, Crown Publishers.
Pascual, M. G. (2019), “Quem vigia os algoritmos para que não sejam racistas ou sexistas?” El País. Madrid, 17 de março de 2019. Disponível em: https://brasil.elpais.com/brasil/2019/03/18/tecnologia/1552863873_720561.html
Pasquinelli, M. (2017), “Machines that Morph Logic: Neural Networks and the Distorted Automation of Intelligence as Statistical Inference”, Logic Gate: the Politics of the Artifactual Mind [Online]. Disponível em: https://www.glass-bead.org/article/machines-that-morph-logic/?lang=enview
Pasquinelli, M. e Joler, V. (2020), “O manifesto Nooscópio: Inteligência Artificial como Instrumento de Extrativismo do Conhecimento”. Lavits, Rio de Janeiro, 30 de julho. Disponível em: https://lavits.org/o-manifesto-nooscopio-inteligencia-artificial-como-instrumento-de-extrativismo-do-conhecimento/?lang=pt
Plamadeala, C. (2021), “Vigilância de dossiê e a produção de arquivos como ferramentas de controle''. [Entrevista concedida a] Paulo Faltay. Lavits, Rio de Janeiro, 23 de abril. Disponível em: https://lavits.org/entrevista-cristina-plamadeala/?lang=pt
Rouvroy, A. (2012), “The end(s) of critique: data-behaviourism vs. due-process”, In Rouvroy, A. Privacy Due Process and the Computational Turn. Philosophers of Law Meet Philosophers of Technology, Routledge.
Sakai, J.; Galdino, M. e Burg, T. (2021), “Governance recommendations: Use of Artificial Intelligence by public authorities'', Transparência Brasil. São Paulo. Disponível em: https://www.transparencia.org.br/downloads/publicacoes/Governance_Recommendations.pdf
Salas, J. (2017), “Se está na cozinha é uma mulher: como os algoritmos reforçam preconceitos”. El País. Madrid, 23 de setembro. Disponível em: https://brasil.elpais.com/brasil/2017/09/19/ciencia/1505818015_847097.html
Sayuri, J. (2019), “Os algoritmos tentam identificar seu gênero, mas muitas vezes reforçam representações sexistas”, Revista Trip. São Paulo, 26 de abril. Disponível em: https://revistatrip.uol.com.br/tpm/os-algoritmos-tentam-identificar-seu-genero-mas-muitas-vezes-reforcam-representacoes-sexistas
Subramanian, B.; Foster, L.; Harding, S.; Roy, D. e Tallbear, K. (2017), “Feminism, Postcolonialism, Technoscience”, In Felt, Ulrike et al. (Eds.) Handbook of Science and Technology Studies - Fourth edition. Cambridge, MA e Londres: The MIT Press, pp. 407-434.
UNESCO (2021), UNESCO Science Report: the Race Against Time for Smarter Development, Unesco Institute for Statistics and animated by Values Associates. Disponível em: https://unesdoc.unesco.org/ark:/48223/pf0000375429
Vicentin, D. (2022), “Esboço para o aprofundamento da Inteligência Artificial”, Ideias. Campinas - SP, v. 13, p. 1-28.
Winner, L. (1986), Artefatos têm política? (Traduzido por Fernando Manso). Chicago: The University of Chicago Press, pp. 19-39.
Zuboff, S. (2019), “The age of surveillance capitalismo: The fight for a human future at the new frontier of power”. New York: Public Affairs, 2018. Resenha de: Evangelista, R. Surveilance & Society, New York, v. 17, n. 1/2, pp. 246-251.
Published
How to Cite
Issue
Section
License
Copyright (c) 2023 Redes. Journal of Social Studies of Science and TechnologyThe documents published here are governed by the licensing criteria
Creative Commons Argentina.Atribución - No Comercial - Sin Obra Derivada 2.5 https://creativecommons.org/licenses/by-nc-nd/2.5/ar/