Inteligencia artificial, sesgos algorítmicos y racismo: el lado desconocido de la justicia algorítmica
| dc.audience | Comunidad Universidad de Medellín | spa |
| dc.contributor.author | Morais da Rosa, Alexandre | |
| dc.contributor.author | Guasque, Bárbara | |
| dc.coverage.spatial | Lat: 06 15 00 N degrees minutes Lat: 6.2500 decimal degreesLong: 075 36 00 W degrees minutes Long: -75.6000 decimal degrees | |
| dc.date.accessioned | 2025-08-26T16:30:25Z | |
| dc.date.available | 2025-08-26T16:30:25Z | |
| dc.date.issued | 2024-12-10 | |
| dc.description | This article aims to identify some negative externalities arising from the failure to comply with specific ethical standards in Artificial Intelligence (AI) models. This study highlights the importance of paying rigorous attention to the data used in building AI models, such as listing potential solutions to reduce the incidence of skewed algorithms and mitigate their harmful consequences. This article followed an exploratory descriptive methodology, addressing practical cases, and turned to bibliographic review as a technical procedure. The main finding is that skewed algorithms cause disastrous social consequences, violating fundamental rights and actings as catalyzers, increasing and perpetuating prejudice and segregation inherent to their society, thus contributing to the structural racismo that permeates society and the criminal justice system. | eng |
| dc.description | El presente artículo se propone identificar algunas externalidades negativas originadas por la inobservancia de determinados patrones éticos en modelos de Inteligencia Artificial (IA). El estudio pretende aclarar la importancia de prestar una atención rigurosa a los datos utilizados en la construcción de modelos de IA, así como enumerar posibles soluciones para reducir la incidencia de algoritmos sesgados y mitigar sus consecuencias perjudiciales. La metodología empleada es de naturaleza exploratoria y descriptiva, abordando casos prácticos, y también se utilizó la investigación bibliográfica como procedimiento técnico. La principal conclusión obtenida es que los algoritmos sesgados producen nefastas consecuencias sociales, vulnerando derechos fundamentales y operando como catalizadores, que aumentan y perpetúan prejuicios y segregaciones inherentes a la sociedad en la que se basan, contribuyendo al mantenimiento e intensificación del racismo estructural que permea a la sociedad y el sistema de justicia penal. | spa |
| dc.description.abstract | O presente artigo se propõe a identificar algumas externalidades negativas oriundas da não observância de determinados padrões éticos em modelos de Inteligência Artificial (IA). O estudo objetiva esclarecer a importância de se voltar uma rigorosa atenção aos dados que são utilizados na construção de modelos de IA, tal como elencar possíveis soluções para reduzir a incidência de algoritmos enviesados e mitigar suas consequências danosas. A metodologia utilizada tem natureza exploratória e descritiva, abordando casos práticos e, também, como procedimento técnico, utilizou-se de pesquisa bibliográfica. A conclusão principal aferida é a de que os algoritmos enviesados produzem nefastas consequências sociais, violando direitos fundamentais e operando como catalisadores, o que aumenta e perpetua preconceitos e segregações inerentes à sociedade na qual se baseiam, contribuindo com a manutenção e intensificação do racismo estrutural que permeia a sociedade e o sistema de justiça criminal. | por |
| dc.format.extent | p. 1-23 | spa |
| dc.format.medium | Electrónico | spa |
| dc.format.mimetype | application/pdf | |
| dc.format.mimetype | ||
| dc.identifier.doi | https://doi.org/10.22395/ojum.v23n50a49 | |
| dc.identifier.eissn | 2248-4078 | |
| dc.identifier.instname | instname:Universidad de Medellín | spa |
| dc.identifier.issn | 1692-2530 | |
| dc.identifier.reponame | reponame:Repositorio Institucional Universidad de Medellín | spa |
| dc.identifier.repourl | repourl:https://repository.udem.edu.co/ | |
| dc.identifier.uri | http://hdl.handle.net/11407/9014 | |
| dc.language.iso | por | |
| dc.publisher | Universidad de Medellín | spa |
| dc.publisher.faculty | Facultad de Derecho | spa |
| dc.publisher.place | Medellín | spa |
| dc.relation.citationendpage | 23 | |
| dc.relation.citationissue | 50 | |
| dc.relation.citationstartpage | 1 | |
| dc.relation.citationvolume | 23 | |
| dc.relation.haspart | Opinión Jurídica; Vol. 23 Núm. julio-diciembre 2024 | spa |
| dc.relation.ispartofseries | Opinión Jurídica; Vol. 23 No. 50 (2024) | spa |
| dc.relation.references | Biddle S. (2019, 26 de novembro). Amazon’s Ring Planned Neighborhood “Watch Lists” Built on Facial Recognition. The Intercept. https://theintercept.com/2019/11/26/amazon-ring-home-security-facial-recognition/ | |
| dc.relation.references | Breland, A. (2017, 4 de dezembro). How white engineers built racist code – and why it’s dangerous for black people. The Guardian. https://www.theguardian.com/technology/2017/dec/04/racist-facial-recognitionwhite-coders-black-people-police | |
| dc.relation.references | Buranyi, S. (2017, 8 de agosto). Rise of the racist robots – how AI is learning all our worst impulses. The Guardian. https://www.theguardian.com/inequality/2017/aug/08/rise-of-the-racist-robots-how-ai-is-learningall-our-worst-impulses | |
| dc.relation.references | Conselho Nacional de Justiça [CNJ]. (2020). Justiça em números. 2020. CNJ. https://www.cnj.jus.br/pesquisas-judiciarias/justica-em-numeros/ | |
| dc.relation.references | Conselho Nacional de Justiça [CNJ]. (2020, 21 de agosto). Resolução n.º 332 de 21/08/2020. Dispõe sobre a ética, a transparência e a governança na produção e no uso de Inteligência Artificial no Poder Judiciário e dá outras providências. Diário da Justiça eletrônico (DJe) n.º 274. https://atos.cnj.jus.br/atos/detalhar/3429 | |
| dc.relation.references | Damasceno, V. & Fernandes, S. (2021, 9 de julho). Sob críticas por viés racial, reconhecimento facial chega a 20 estados. Folha de S. Paulo. https://www1.folha.uol.com.br/cotidiano/2021/07/sob-criticas-porvies-racial-reconhecimento-facial-chega-a-20-estados.shtml | |
| dc.relation.references | Danziger, S., Levav, J. & Avnaim-Pesso, L. (2011). Extraneous factors in judicial decisions. Proceedings of the National Academy of Sciences of the United States of America, 108(17), 6889-6892. https://doi.org/10.1073/pnas.1018033108 | |
| dc.relation.references | Da Rosa, A. & Guasque, B. (2021). O avanço da disrupção nos tribunais brasileiros. In D. Nunes, P. H. Lucon e E. Navarro Wolkart (Orgs.), Inteligência artificial e direito processual. Os impactos da virada tecnológica no Direito Processual (pp. 93-121). JusPODVIM. | |
| dc.relation.references | Dastin, J. (2018, 10 de outubro). Amazon scraps secret AI recruiting tool that showed bias against women. Reuters. https://www.reuters.com/article/us-amazon-com-jobs-automation-insight-idUSKCN1MK08G | |
| dc.relation.references | Freitas, C. O. A. (2020, 4 de agosto). A obscuridade dos algoritmos e a LGPD. Estadão/Blog do Fausto Macedo. https://politica.estadao.com.br/blogs/fausto-macedo/a-obscuridade-dos-algoritmos-e-a-lgpd/ | |
| dc.relation.references | Fundação Getulio Vargas [FGV]. (2020). Introdução. In L. F. Salomão (Coord.), Inteligência Artificial: tecnologia aplicada à gestão dos conflitos no âmbito do Poder Judiciário Brasileiro (pp. 10-24). https://ciapj.fgv.br/sites/ciapj.fgv.br/files/estudos_e_pesquisas_ia_1afase.pdf | |
| dc.relation.references | Haskins, C. (2019, 7 de fevereiro). Amazon’s Home Security Company Is Turning Everyone into Cops. VICE. https://www.vice.com/en/article/qvyvzd/amazons-home-security-company-is-turning-everyoneinto-cops | |
| dc.relation.references | Hill, K. (2020, 29 de dezembro). Another Arrest, and Jail Time, Due to a Bad Facial Recognition Match. The New York Times. https://www.nytimes.com/2020/12/29/technology/facial-recognition-misidentifyjail.html | |
| dc.relation.references | Instituto Igarapé. (2023). Crime Radar. https://igarape.org.br/tech/crimeradar/ | |
| dc.relation.references | Kelley, J. & Guariglia, M. (2020, 10 de junho). Amazon Ring Must End Its Dangerous Partnerships with Police. Electronic Frontier Foundation. https://www.eff.org/deeplinks/2020/06/amazon-ring-must-end-itsdangerous-partnerships-police | |
| dc.relation.references | Larson, J., Mattu, S., Kirchner, L. & Angwin, J. (2016, 23 de maio). How We Analyzed the COMPAS Recidivism Algorithm. ProPublica. https://www.propublica.org/article/how-we-analyzed-the-compasrecidivism-algorithm | |
| dc.relation.references | Lum, K. & Isaac, W. (2016). To predict and serve? Significance, 13(5), 14-19. https://doi.org/10.1111/j.1740-9713.2016.00960.x | |
| dc.relation.references | Ministério da Justiça e Segurança Pública. (2019, 24 de outubro). Portaria n.º 793, de 24 de outubro de 2019. Regulamenta o incentivo financeiro das ações do Eixo Enfrentamento à Criminalidade Violenta, no âmbito da Política Nacional de Segurança Pública e Defesa Social e do Sistema Único de Segurança Pública, com os recursos do Fundo Nacional de Segurança Pública, previstos no inciso I do art. 7º da Lei nº 13.756, de 12 de dezembro de 2018. Diário Oficial da União de 25/10/2019. https://www.in.gov.br/en/web/dou/-/portaria-n-793-de-24-de-outubro-de-2019-223853575 | |
| dc.relation.references | Navas Navarro, S. (2017). Derecho e inteligencia artificial desde el diseño. Aproximaciones. In S. N. Navarro (Coord.), Inteligencia artificial: tecnología, derecho (pp. 23-72). Tirant Lo Blanch. | |
| dc.relation.references | Nieva Fenoll, J. N. (2018). Inteligencia Artificial y Proceso Judicial. Marcial Pons. | |
| dc.relation.references | National Institute of Standards and Technology [NIST]. (2019, 19 de dezembro). NIST Study Evaluates Effects of Race, Age, Sex on Face Recognition Software. https://www.nist.gov/news-events/news/2019/12/nist-study-evaluates-effects-race-age-sex-face-recognition-software | |
| dc.relation.references | Nunes, D. (2021, 25 de junho). A supervisão humana das decisões de inteligência artificial reduz os riscos? Consultor Jurídico. https://www.conjur.com.br/2021-jun-25/nunes-supervisao-humana-decisoesia-reduz-riscos | |
| dc.relation.references | O’Neil, C. (2019, 22 de janeiro). CCBLAB. The Authority of the Inscrutable: An Interview with Cathy O’Neil. https://lab.cccb.org/en/the-authority-of-the-inscrutable-an-interview-with-cathy-oneil/ | |
| dc.relation.references | O’Neil, C. (2020). Algoritmos de destruição em massa: como o Big Data aumenta a desigualdade e ameaça a democracia (R. Abraham, Trad.). Editora Rua do Sabão. | |
| dc.relation.references | Organização para a Cooperação e Desenvolvimento Econômico [OECD]. (2023, 7 de novembro). Recommendation of the Council on Artificial Intelligence, OECD/LEGAL/0449. https://legalinstruments.oecd.org/en/instruments/oecd-legal-0449 | |
| dc.relation.references | Panch, T., Mattie, H. & Atun, R. (2019). Artificial intelligence and algorithmic bias: implications for health systems. Journal of Global Health, 9(2). https://doi.org/10.7189%2Fjogh.09.020318 | |
| dc.relation.references | Paul, K. (2019, 17 de abril). ‘Disastrous’ lack of diversity in AI industry perpetuates bias, study finds. The Guardian. https://www.theguardian.com/technology/2019/apr/16/artificial-intelligence-lack-diversity-newyork-university-study | |
| dc.relation.references | Paul, K. (2020, 11 de junho). Amazon to ban police use of facial recognition software for a year. The Guardian. https://www.theguardian.com/technology/2020/jun/10/amazon-rekognition-software-police-blacklives-matter | |
| dc.relation.references | Pospielov, S. (2022, 20 de junho). How To Reduce Bias in Machine Learning. Spiceworks. https://www.spiceworks.com/tech/artificial-intelligence/guest-article/how-to-reduce-bias-in-machine-learning/ | |
| dc.relation.references | Presidência da Câmara dos Deputados – Brasil. (2019, 26 de novembro). Anteprojeto de Lei de Proteção de Dados para segurança pública e persecução penal. https://static.poder360.com.br/2020/11/DADOSAnteprojeto-comissao-protecao-dados-seguranca-persecucao-FINAL.pdf | |
| dc.relation.references | Presidência da República do Brasil. (2018, 14 de agosto). Lei n.º 13.709 de 14 de agosto de 2018. Lei Geral de Proteção de Dados Pessoais (LGPD). Diário Oficial da União de 15/08/2018. https://www.planalto.gov.br/ccivil_03/_ato2015-2018/2018/lei/l13709.htm | |
| dc.relation.references | Ramos, S. (Coord.). (2019). Retratos da Violência. Cinco meses de monitoramento, análises e descobertas. Junho a outubro – 2019. Rede de Observatórios da Segurança; Centro de Estudos de Segurança e Cidadania. https://cesecseguranca.com.br/textodownload/retratos-da-violencia-cinco-meses-demonitoramento-analises-e-descobertas/ | |
| dc.relation.references | Rodríguez, P. (2018). Inteligencia Artificial. Cómo cambiará el mundo (y tu vida). Ediciones Deusto. | |
| dc.relation.references | Sadowski, J. (2020). Too Smart: How Digital Capitalism is Extracting Data, Controlling Our Lives, and Taking Over the World. The MIT Press. | |
| dc.relation.references | Snow, J. (2018, 26 de julho). Amazon’s Face Recognition Falsely Matched 28 Members of Congress with Mugshots. ACLU. https://www.aclu.org/blog/privacy-technology/surveillance-technologies/amazons-facerecognition-falsely-matched-28 | |
| dc.relation.references | U.S. Equal Employment Opportunity Commission. (2015). Diversity in High Tech. Executive Summary. https://www.eeoc.gov/special-report/diversity-high-tech | |
| dc.relation.references | Vega Iracelay, J. J. (2018). Inteligencia artificial y derecho: principios y propuestas para una gobernanza eficaz. Informática y Derecho: Revista Iberoamericana de Derecho Informático, (5), 13-48. https://dialnet.unirioja.es/servlet/articulo?codigo=6845781 | |
| dc.relation.references | Whittaker, M., Crawford, K., Dobbe, R., Fried, G., Kaziunas, E., Mathur, V., Myers West, S., Richardson, R., Schultz, J., Schwarts, O., Campolo, A. & Krueger, G. (2018, 6 de dezembro). AI Now 2018 Report. AI Now Institute. https://ainowinstitute.org/publication/ai-now-2018-report-2 | |
| dc.relation.uri | https://revistas.udem.edu.co/index.php/opinion/article/view/4046 | |
| dc.rights.creativecommons | Attribution-NonCommercial-NoDerivatives 4.0 International | * |
| dc.rights.uri | http://creativecommons.org/licenses/by-nc-nd/4.0/ | * |
| dc.rights.uri | http://creativecommons.org/licenses/by-nc-nd/4.0 | * |
| dc.source | Opinión Jurídica; Vol. 23 No. 50 (2024): (julio-diciembre); 1-23 | |
| dc.subject | Artificial intelligence | eng |
| dc.subject | Algorithm skews | eng |
| dc.subject | Justice system | eng |
| dc.subject | Racism | eng |
| dc.subject | Discrimination | eng |
| dc.subject | Fundamental rights | eng |
| dc.subject | Inteligencia artificial | spa |
| dc.subject | Sesgos algorítmicos | spa |
| dc.subject | Sistema de justicia | spa |
| dc.subject | Racismo | spa |
| dc.subject | Discriminación | spa |
| dc.subject | Derechos fundamentales | spa |
| dc.subject | Inteligência artificial | por |
| dc.subject | Vieses algorítmicos | por |
| dc.subject | Sistema de justiça | por |
| dc.subject | Racismo | por |
| dc.subject | Discriminação | por |
| dc.subject | Direitos fundamentais | por |
| dc.title | Inteligencia artificial, sesgos algorítmicos y racismo: el lado desconocido de la justicia algorítmica | spa |
| dc.title | Artificial Intelligence, Algorithm Biases and Racisms: The Dark Side of Algorithm Justice | eng |
| dc.title | Inteligência artificial, vieses algorítmicos e racismo: o lado desconhecido da justiça algorítmica | por |
| dc.type | Article | |
| dc.type.coar | http://purl.org/coar/resource_type/c_6501 | |
| dc.type.driver | info:eu-repo/semantics/article | |
| dc.type.local | Artículo científico | spa |
| dc.type.version | info:eu-repo/semantics/publishedVersion |
Archivos
Bloque original
1 - 1 de 1
Cargando...
- Nombre:
- Opinion_Juridica_628.pdf
- Tamaño:
- 297.17 KB
- Formato:
- Adobe Portable Document Format
