Inteligencia artificial, sesgos algorítmicos y racismo: el lado desconocido de la justicia algorítmica

dc.audienceComunidad Universidad de Medellínspa
dc.contributor.authorMorais da Rosa, Alexandre
dc.contributor.authorGuasque, Bárbara
dc.coverage.spatialLat: 06 15 00 N degrees minutes Lat: 6.2500 decimal degreesLong: 075 36 00 W degrees minutes Long: -75.6000 decimal degrees
dc.date.accessioned2025-08-26T16:30:25Z
dc.date.available2025-08-26T16:30:25Z
dc.date.issued2024-12-10
dc.descriptionThis article aims to identify some negative externalities arising from the failure to comply with specific ethical standards in Artificial Intelligence (AI) models. This study highlights the importance of paying rigorous attention to the data used in building AI models, such as listing potential solutions to reduce the incidence of skewed algorithms and mitigate their harmful consequences. This article followed an exploratory descriptive methodology, addressing practical cases, and turned to bibliographic review as a technical procedure. The main finding is that skewed algorithms cause disastrous social consequences, violating fundamental rights and actings as catalyzers, increasing and perpetuating prejudice and segregation inherent to their society, thus contributing to the structural racismo that permeates society and the criminal justice system.eng
dc.descriptionEl presente artículo se propone identificar algunas externalidades negativas originadas por la inobservancia de determinados patrones éticos en modelos de Inteligencia Artificial (IA). El estudio pretende aclarar la importancia de prestar una atención rigurosa a los datos utilizados en la construcción de modelos de IA, así como enumerar posibles soluciones para reducir la incidencia de algoritmos sesgados y mitigar sus consecuencias perjudiciales. La metodología empleada es de naturaleza exploratoria y descriptiva, abordando casos prácticos, y también se utilizó la investigación bibliográfica como procedimiento técnico. La principal conclusión obtenida es que los algoritmos sesgados producen nefastas consecuencias sociales, vulnerando derechos fundamentales y operando como catalizadores, que aumentan y perpetúan prejuicios y segregaciones inherentes a la sociedad en la que se basan, contribuyendo al mantenimiento e intensificación del racismo estructural que permea a la sociedad y el sistema de justicia penal.spa
dc.description.abstractO presente artigo se propõe a identificar algumas externalidades negativas oriundas da não observância de determinados padrões éticos em modelos de Inteligência Artificial (IA). O estudo objetiva esclarecer a importância de se voltar uma rigorosa atenção aos dados que são utilizados na construção de modelos de IA, tal como elencar possíveis soluções para reduzir a incidência de algoritmos enviesados e mitigar suas consequências danosas. A metodologia utilizada tem natureza exploratória e descritiva, abordando casos práticos e, também, como procedimento técnico, utilizou-se de pesquisa bibliográfica. A conclusão principal aferida é a de que os algoritmos enviesados produzem nefastas consequências sociais, violando direitos fundamentais e operando como catalisadores, o que aumenta e perpetua preconceitos e segregações inerentes à sociedade na qual se baseiam, contribuindo com a manutenção e intensificação do racismo estrutural que permeia a sociedade e o sistema de justiça criminal.por
dc.format.extentp. 1-23spa
dc.format.mediumElectrónicospa
dc.format.mimetypeapplication/pdf
dc.format.mimetypePDF
dc.identifier.doihttps://doi.org/10.22395/ojum.v23n50a49
dc.identifier.eissn2248-4078
dc.identifier.instnameinstname:Universidad de Medellínspa
dc.identifier.issn1692-2530
dc.identifier.reponamereponame:Repositorio Institucional Universidad de Medellínspa
dc.identifier.repourlrepourl:https://repository.udem.edu.co/
dc.identifier.urihttp://hdl.handle.net/11407/9014
dc.language.isopor
dc.publisherUniversidad de Medellínspa
dc.publisher.facultyFacultad de Derechospa
dc.publisher.placeMedellínspa
dc.relation.citationendpage23
dc.relation.citationissue50
dc.relation.citationstartpage1
dc.relation.citationvolume23
dc.relation.haspartOpinión Jurídica; Vol. 23 Núm. julio-diciembre 2024spa
dc.relation.ispartofseriesOpinión Jurídica; Vol. 23 No. 50 (2024)spa
dc.relation.referencesBiddle S. (2019, 26 de novembro). Amazon’s Ring Planned Neighborhood “Watch Lists” Built on Facial Recognition. The Intercept. https://theintercept.com/2019/11/26/amazon-ring-home-security-facial-recognition/
dc.relation.referencesBreland, A. (2017, 4 de dezembro). How white engineers built racist code – and why it’s dangerous for black people. The Guardian. https://www.theguardian.com/technology/2017/dec/04/racist-facial-recognitionwhite-coders-black-people-police
dc.relation.referencesBuranyi, S. (2017, 8 de agosto). Rise of the racist robots – how AI is learning all our worst impulses. The Guardian. https://www.theguardian.com/inequality/2017/aug/08/rise-of-the-racist-robots-how-ai-is-learningall-our-worst-impulses
dc.relation.referencesConselho Nacional de Justiça [CNJ]. (2020). Justiça em números. 2020. CNJ. https://www.cnj.jus.br/pesquisas-judiciarias/justica-em-numeros/
dc.relation.referencesConselho Nacional de Justiça [CNJ]. (2020, 21 de agosto). Resolução n.º 332 de 21/08/2020. Dispõe sobre a ética, a transparência e a governança na produção e no uso de Inteligência Artificial no Poder Judiciário e dá outras providências. Diário da Justiça eletrônico (DJe) n.º 274. https://atos.cnj.jus.br/atos/detalhar/3429
dc.relation.referencesDamasceno, V. & Fernandes, S. (2021, 9 de julho). Sob críticas por viés racial, reconhecimento facial chega a 20 estados. Folha de S. Paulo. https://www1.folha.uol.com.br/cotidiano/2021/07/sob-criticas-porvies-racial-reconhecimento-facial-chega-a-20-estados.shtml
dc.relation.referencesDanziger, S., Levav, J. & Avnaim-Pesso, L. (2011). Extraneous factors in judicial decisions. Proceedings of the National Academy of Sciences of the United States of America, 108(17), 6889-6892. https://doi.org/10.1073/pnas.1018033108
dc.relation.referencesDa Rosa, A. & Guasque, B. (2021). O avanço da disrupção nos tribunais brasileiros. In D. Nunes, P. H. Lucon e E. Navarro Wolkart (Orgs.), Inteligência artificial e direito processual. Os impactos da virada tecnológica no Direito Processual (pp. 93-121). JusPODVIM.
dc.relation.referencesDastin, J. (2018, 10 de outubro). Amazon scraps secret AI recruiting tool that showed bias against women. Reuters. https://www.reuters.com/article/us-amazon-com-jobs-automation-insight-idUSKCN1MK08G
dc.relation.referencesFreitas, C. O. A. (2020, 4 de agosto). A obscuridade dos algoritmos e a LGPD. Estadão/Blog do Fausto Macedo. https://politica.estadao.com.br/blogs/fausto-macedo/a-obscuridade-dos-algoritmos-e-a-lgpd/
dc.relation.referencesFundação Getulio Vargas [FGV]. (2020). Introdução. In L. F. Salomão (Coord.), Inteligência Artificial: tecnologia aplicada à gestão dos conflitos no âmbito do Poder Judiciário Brasileiro (pp. 10-24). https://ciapj.fgv.br/sites/ciapj.fgv.br/files/estudos_e_pesquisas_ia_1afase.pdf
dc.relation.referencesHaskins, C. (2019, 7 de fevereiro). Amazon’s Home Security Company Is Turning Everyone into Cops. VICE. https://www.vice.com/en/article/qvyvzd/amazons-home-security-company-is-turning-everyoneinto-cops
dc.relation.referencesHill, K. (2020, 29 de dezembro). Another Arrest, and Jail Time, Due to a Bad Facial Recognition Match. The New York Times. https://www.nytimes.com/2020/12/29/technology/facial-recognition-misidentifyjail.html
dc.relation.referencesInstituto Igarapé. (2023). Crime Radar. https://igarape.org.br/tech/crimeradar/
dc.relation.referencesKelley, J. & Guariglia, M. (2020, 10 de junho). Amazon Ring Must End Its Dangerous Partnerships with Police. Electronic Frontier Foundation. https://www.eff.org/deeplinks/2020/06/amazon-ring-must-end-itsdangerous-partnerships-police
dc.relation.referencesLarson, J., Mattu, S., Kirchner, L. & Angwin, J. (2016, 23 de maio). How We Analyzed the COMPAS Recidivism Algorithm. ProPublica. https://www.propublica.org/article/how-we-analyzed-the-compasrecidivism-algorithm
dc.relation.referencesLum, K. & Isaac, W. (2016). To predict and serve? Significance, 13(5), 14-19. https://doi.org/10.1111/j.1740-9713.2016.00960.x
dc.relation.referencesMinistério da Justiça e Segurança Pública. (2019, 24 de outubro). Portaria n.º 793, de 24 de outubro de 2019. Regulamenta o incentivo financeiro das ações do Eixo Enfrentamento à Criminalidade Violenta, no âmbito da Política Nacional de Segurança Pública e Defesa Social e do Sistema Único de Segurança Pública, com os recursos do Fundo Nacional de Segurança Pública, previstos no inciso I do art. 7º da Lei nº 13.756, de 12 de dezembro de 2018. Diário Oficial da União de 25/10/2019. https://www.in.gov.br/en/web/dou/-/portaria-n-793-de-24-de-outubro-de-2019-223853575
dc.relation.referencesNavas Navarro, S. (2017). Derecho e inteligencia artificial desde el diseño. Aproximaciones. In S. N. Navarro (Coord.), Inteligencia artificial: tecnología, derecho (pp. 23-72). Tirant Lo Blanch.
dc.relation.referencesNieva Fenoll, J. N. (2018). Inteligencia Artificial y Proceso Judicial. Marcial Pons.
dc.relation.referencesNational Institute of Standards and Technology [NIST]. (2019, 19 de dezembro). NIST Study Evaluates Effects of Race, Age, Sex on Face Recognition Software. https://www.nist.gov/news-events/news/2019/12/nist-study-evaluates-effects-race-age-sex-face-recognition-software
dc.relation.referencesNunes, D. (2021, 25 de junho). A supervisão humana das decisões de inteligência artificial reduz os riscos? Consultor Jurídico. https://www.conjur.com.br/2021-jun-25/nunes-supervisao-humana-decisoesia-reduz-riscos
dc.relation.referencesO’Neil, C. (2019, 22 de janeiro). CCBLAB. The Authority of the Inscrutable: An Interview with Cathy O’Neil. https://lab.cccb.org/en/the-authority-of-the-inscrutable-an-interview-with-cathy-oneil/
dc.relation.referencesO’Neil, C. (2020). Algoritmos de destruição em massa: como o Big Data aumenta a desigualdade e ameaça a democracia (R. Abraham, Trad.). Editora Rua do Sabão.
dc.relation.referencesOrganização para a Cooperação e Desenvolvimento Econômico [OECD]. (2023, 7 de novembro). Recommendation of the Council on Artificial Intelligence, OECD/LEGAL/0449. https://legalinstruments.oecd.org/en/instruments/oecd-legal-0449
dc.relation.referencesPanch, T., Mattie, H. & Atun, R. (2019). Artificial intelligence and algorithmic bias: implications for health systems. Journal of Global Health, 9(2). https://doi.org/10.7189%2Fjogh.09.020318
dc.relation.referencesPaul, K. (2019, 17 de abril). ‘Disastrous’ lack of diversity in AI industry perpetuates bias, study finds. The Guardian. https://www.theguardian.com/technology/2019/apr/16/artificial-intelligence-lack-diversity-newyork-university-study
dc.relation.referencesPaul, K. (2020, 11 de junho). Amazon to ban police use of facial recognition software for a year. The Guardian. https://www.theguardian.com/technology/2020/jun/10/amazon-rekognition-software-police-blacklives-matter
dc.relation.referencesPospielov, S. (2022, 20 de junho). How To Reduce Bias in Machine Learning. Spiceworks. https://www.spiceworks.com/tech/artificial-intelligence/guest-article/how-to-reduce-bias-in-machine-learning/
dc.relation.referencesPresidência da Câmara dos Deputados – Brasil. (2019, 26 de novembro). Anteprojeto de Lei de Proteção de Dados para segurança pública e persecução penal. https://static.poder360.com.br/2020/11/DADOSAnteprojeto-comissao-protecao-dados-seguranca-persecucao-FINAL.pdf
dc.relation.referencesPresidência da República do Brasil. (2018, 14 de agosto). Lei n.º 13.709 de 14 de agosto de 2018. Lei Geral de Proteção de Dados Pessoais (LGPD). Diário Oficial da União de 15/08/2018. https://www.planalto.gov.br/ccivil_03/_ato2015-2018/2018/lei/l13709.htm
dc.relation.referencesRamos, S. (Coord.). (2019). Retratos da Violência. Cinco meses de monitoramento, análises e descobertas. Junho a outubro – 2019. Rede de Observatórios da Segurança; Centro de Estudos de Segurança e Cidadania. https://cesecseguranca.com.br/textodownload/retratos-da-violencia-cinco-meses-demonitoramento-analises-e-descobertas/
dc.relation.referencesRodríguez, P. (2018). Inteligencia Artificial. Cómo cambiará el mundo (y tu vida). Ediciones Deusto.
dc.relation.referencesSadowski, J. (2020). Too Smart: How Digital Capitalism is Extracting Data, Controlling Our Lives, and Taking Over the World. The MIT Press.
dc.relation.referencesSnow, J. (2018, 26 de julho). Amazon’s Face Recognition Falsely Matched 28 Members of Congress with Mugshots. ACLU. https://www.aclu.org/blog/privacy-technology/surveillance-technologies/amazons-facerecognition-falsely-matched-28
dc.relation.referencesU.S. Equal Employment Opportunity Commission. (2015). Diversity in High Tech. Executive Summary. https://www.eeoc.gov/special-report/diversity-high-tech
dc.relation.referencesVega Iracelay, J. J. (2018). Inteligencia artificial y derecho: principios y propuestas para una gobernanza eficaz. Informática y Derecho: Revista Iberoamericana de Derecho Informático, (5), 13-48. https://dialnet.unirioja.es/servlet/articulo?codigo=6845781
dc.relation.referencesWhittaker, M., Crawford, K., Dobbe, R., Fried, G., Kaziunas, E., Mathur, V., Myers West, S., Richardson, R., Schultz, J., Schwarts, O., Campolo, A. & Krueger, G. (2018, 6 de dezembro). AI Now 2018 Report. AI Now Institute. https://ainowinstitute.org/publication/ai-now-2018-report-2
dc.relation.urihttps://revistas.udem.edu.co/index.php/opinion/article/view/4046
dc.rights.creativecommonsAttribution-NonCommercial-NoDerivatives 4.0 International*
dc.rights.urihttp://creativecommons.org/licenses/by-nc-nd/4.0/*
dc.rights.urihttp://creativecommons.org/licenses/by-nc-nd/4.0*
dc.sourceOpinión Jurídica; Vol. 23 No. 50 (2024): (julio-diciembre); 1-23
dc.subjectArtificial intelligenceeng
dc.subjectAlgorithm skewseng
dc.subjectJustice systemeng
dc.subjectRacismeng
dc.subjectDiscriminationeng
dc.subjectFundamental rightseng
dc.subjectInteligencia artificialspa
dc.subjectSesgos algorítmicosspa
dc.subjectSistema de justiciaspa
dc.subjectRacismospa
dc.subjectDiscriminaciónspa
dc.subjectDerechos fundamentalesspa
dc.subjectInteligência artificialpor
dc.subjectVieses algorítmicospor
dc.subjectSistema de justiçapor
dc.subjectRacismopor
dc.subjectDiscriminaçãopor
dc.subjectDireitos fundamentaispor
dc.titleInteligencia artificial, sesgos algorítmicos y racismo: el lado desconocido de la justicia algorítmicaspa
dc.titleArtificial Intelligence, Algorithm Biases and Racisms: The Dark Side of Algorithm Justiceeng
dc.titleInteligência artificial, vieses algorítmicos e racismo: o lado desconhecido da justiça algorítmicapor
dc.typeArticle
dc.type.coarhttp://purl.org/coar/resource_type/c_6501
dc.type.driverinfo:eu-repo/semantics/article
dc.type.localArtículo científicospa
dc.type.versioninfo:eu-repo/semantics/publishedVersion

Archivos

Bloque original

Mostrando 1 - 1 de 1
Cargando...
Miniatura
Nombre:
Opinion_Juridica_628.pdf
Tamaño:
297.17 KB
Formato:
Adobe Portable Document Format