Цифровой ориентализм в машинном зрении: кроссплатформенный анализ репрезентаций индийской культуры, сгенерированных искусственным интеллектом
Аннотация
Данное исследование рассматривает интерпретацию и воспроизводство элементов индийской культуры современными системами формирования изображений, основанными на искусственном интеллекте, на примере сравнительного анализа трех крупных ИИ-платформ: Stable Diffusion, Flux и Midjourney. Несмотря на примечательные технические возможности, продемонстрированные данными системами, их обращение с элементами незападных культур остается недостаточно изученным. Мы представляем новую методологическую рамку из визуальной социальной семиотики и цифровой антропологии для анализа сгенерированных искусственным интеллектом изображений по множеству параметров, таких как точность репрезентации, учет культурных особенностей и динамика отношений власти. Проведенный нами систематический анализ изображений, генерируемых в ходе постоянно усложняющихся запросов, выявляет наличие значительных шаблонов, возникающих при репрезентации культуры данными системами. Результаты исследования говорят о том, что, несмотря на различающееся техническое совершенство, показываемое этими платформами, они всякий раз демонстрируют предвзятость в производстве человеческих образов, особенно в части их гендерной, классовой и этнической идентичности. Анализ раскрывает систематическое упрощение сложных культурных элементов и неизменно сохраняющуюся ориенталистскую перспективу, несмотря на развитие технических возможностей. Предлагаемые выводы свидетельствуют о том, что для настоящего воспроизводства культуры недостаточно одного лишь технического совершенства; необходимо скорее фундаментальное переосмысление того, как данные системы обрабатывают и понимают культурную информацию. Данное исследование предлагает как теоретический вклад в вопросы цифровой репрезентации культур, так и практические выводы для разработки более внимательных к культурным особенностям систем искусственного интеллекта, а также показывает важные области для совершенствования технической архитектуры моделей генерации изображений.Скачивания
Литература
Aiello G. (2020) Visual semiotics: key concepts and new directions. The SAGE Handbook of Visual Research Methods (Second Edition), London: SAGE Publications, pp. 367-380. https://doi.org/10.4135/9781529721485.n23
Appadurai A. (1996) Modernity at Large: Cultural Dimensions of Globalization, Minneapolis: University of Minnesota Press.
Barthes R. (1977) Image-Music-Text, London: Macmillan.
Bateman J. A., Wildfeuer J., Hiippala T. (2017) Multimodality: Foundations, Research and Analysis – A Problem-Oriented Introduction, Berlin: De Gruyter Mouton. https://doi.org/10.1515/9783110479898
Baum J., Villasenor J. (2024) Rendering Misrepresentation: Diversity Failures in AI Image Generation. Brookings. Available at: www.brookings.edu/articles/rendering-misrepresentation-diversity-failures-in-ai-image-generation (accessed 30 November 2024).
Bender E. M., Gebru T., McMillan-Major A., Shmitchell S. (2021) On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, pp. 610–623. https://doi.org/10.1145/3442188.3445922
Benjamin R. (2019) Race After Technology: Abolitionist Tools for the New Jim Code, Medford: Polity Press. https://doi.org/10.3917/res.229.0255
Bhabha H. K. (1994) The Location of Culture (2nd ed.), London: Routledge.
Bourdieu P. (2018) Distinction: A Social Critique of the Judgement of Taste. Food and Culture, pp. 287-318. https://doi.org/10.4324/9781315680347-10
Butler J. (2006) Gender Trouble: Feminism and the Subversion of Identity (1st ed.), London: Routledge.
Chakrabarty D. (2000) Provincializing Europe: Postcolonial Thought and Historical Difference, Princeton: Princeton University Press. https://doi.org/10.1086/ahr/106.4.1322
Chatterjee P. (1993) The Nation and Its Fragments: Colonial and Postcolonial Histories, Princeton: Princeton University Press. https://doi.org/10.1086/ahr/100.4.1281
Crawford K., Paglen T. (2021) Excavating AI: The Politics of Images in Machine Learning Training Sets. AI & Society. https://doi.org/10.1007/s00146-021-01162-8
Dehejia V. (1997) Indian Art, London: Phaidon.
Doshi S. (2022) The Influence of Culture, Evolving Symbolisms and Globalization on Defining Colour Forecasting in India. Fashion, Style & Popular Culture, vol. 9, no 1, pp. 9-26. https://doi.org/10.1386/fspc_00107_1
Dourish P. (2022) The Stuff of Bits: An Essay on the Materialities of Information, Cambridge: MIT Press.
Dulhanty C., Wong A. (2019) Auditing ImageNet: Towards a Model-Driven Framework for Annotating Demographic Attributes of Large-Scale Image Datasets. arXiv. https://doi.org/10.48550/ARXIV.1905.01347
Eubanks V. (2018) Automating Inequality: How High-Tech Tools Profile, Police, and Punish the Poor, New York: St. Martin's Press. https://doi.org/10.5204/lthj.v1i0.1386
Ghosh S., Venkit P., Gautam S., Wilson S. (2024) Do Generative AI Models Output Harm while Representing Non-Western Cultures: Evidence from A Community-Centered Approach. 7th AAAI/ACM Conference on AI, Ethics, and Society. Available at: https://arxiv.org/pdf/2407.14779v2. (accessed 30 November 2024). https://doi.org/10.1609/aies.v7i1.31651
Gill R. (2016) Post-postfeminism?: New Feminist Visibilities in Postfeminist Times. Feminist Media Studies, vol. 16, no 4, pp. 610–630. https://doi.org/10.1080/14680777.2016.1193293
Gillespie T. (2019) Custodians of the Internet: Platforms, Content Moderation, and the Hidden Decisions that Shape Social Media, New Haven: Yale University Press. https://doi.org/10.12987/9780300235029
Gray M. L., Suri S. (2019) Ghost Work: How to Stop Silicon Valley from Building a New Global Underclass, Boston: Eamon Dolan Books. https://doi.org/10.1177/0019793919864564
Hall S., Nixon S., Evans J. (eds.) (2024) Representation: Cultural Representations and Signifying Practices, London: SAGE Publications.
Hill Collins P. (2000) Black Feminist Thought: Knowledge, Consciousness, and the Politics of Empowerment (2nd ed.), London: Routledge. https://doi.org/10.4324/9781315831824
Horst H., Miller D. (eds.) (2012) Digital Anthropology, London: Routledge.
Irani L., Vertesi J., Dourish P., Philip K., Grinter R. E. (2010) Postcolonial Computing: A Lens on Design and Development. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, pp. 1311–1320. https://doi.org/10.1145/1753326.1753522
Jewitt C., Oyama R. (2004) Visual Meaning: A Social Semiotic Approach. The Handbook of Visual Analysis, London: SAGE Publications, pp. 134-156. https://doi.org/10.4135/9780857020062.n7
Klein L., D'Ignazio C. (2024) Data Feminism for AI. Proceedings of the 2024 ACM Conference on Fairness, Accountability, and Transparency, New York: Association for Computing Machinery, pp. 100-112. https://doi.org/10.1145/3630106.3658543
Kress G., Leeuwen T. V. (2020) Reading Images: The Grammar of Visual Design (3rd ed.), London: Routledge.
MacKenzie A., Munster A. (2019) Platform Seeing: Image Ensembles and Their Invisualities. Theory, Culture & Society, vol. 36, no 5, pp. 3-22. https://doi.org/10.1177/0263276419847508
Mankekar P. (2015) Unsettling India: Affect, Temporality, Transnationality, Durham: Duke University Press. https://doi.org/10.1111/amet.12655
Mirzoeff N. (2011) The Right to Look. Critical Inquiry, vol. 37, no 3, pp. 473–496. https://doi.org/10.1086/659354
Mirzoeff N. (2015) How to See the World, London: Pelican Books.
Mitchell M. (2019) Artificial Intelligence: A Guide for Thinking Humans, New York: Farrar, Straus and Giroux.
Mohamed S., Png M.-T., Isaac W. (2020) Decolonial AI: Decolonial Theory as Sociotechnical Foresight in Artificial Intelligence. https://doi.org/10.1007/s13347-020-00405-8
Mohanty C. T. (1988) Under Western Eyes: Feminist Scholarship and Colonial Discourses. Feminist Review, no 30, pp. 61–88. https://doi.org/10.2307/1395054
Muldoon J., Wu B. A. (2023) Artificial Intelligence in the Colonial Matrix of Power. Philosophy & Technology, vol. 36, no 80.
Nakamura L. (2002) Cybertypes: Race, Ethnicity, and Identity on the Internet (1st ed.), London: Routledge.
Noble S. U. (2018) Algorithms of Oppression: How Search Engines Reinforce Racism, New York: NYU Press. https://doi.org/10.1126/science.abm5861
O'Halloran K. (2013) Multimodal Analysis and Digital Technology. Readings in Intersemiosis and Multimedia (ed. E. Montagna), Israel: IBIS Editions, pp. 35-53.
Pandit B. (2024) Flux AI Image Generator: A Guide with Examples. DataCamp. Available at: www.datacamp.com/tutorial/flux-ai (accessed 30 November 2024).
Pauwels L. (2012) A Multimodal Framework for Analyzing Websites as Cultural Expressions. Journal of Computer-Mediated Communication, vol. 17, no 3, pp. 247-265. https://doi.org/10.1111/j.1083-6101.2012.01572.x
Prabhu V. U., Birhane A. (2020) Large Image Datasets: A Pyrrhic Win for Computer Vision?. 2021 IEEE Winter Conference on Applications of Computer Vision (WACV), pp. 1536-1546. https://doi.org/10.1109/wacv48630.2021.00158
Qadri R., Shelby R., Bennett C., Denton E. (2023) AI's Regimes of Representation: A Community-centered Study of Text-to-Image Models in South Asia. Proceedings of the 2023 ACM Conference on Fairness, Accountability, and Transparency, New York: Association for Computing Machinery, pp. 506-517. https://doi.org/10.1145/3593013.3594016
Rani G., Singh J., Khanna A. (2023) Comparative Analysis of Generative AI Models. 2023 International Conference on Advances in Computation, Communication and Information Technology, pp. 760–765. https://doi.org/10.1109/icaiccit60255.2023.10465941
Roh D. S., Huang B., Niu G. A. (eds.) (2015) Techno-Orientalism: Imagining Asia in Speculative Fiction, History, and Media, New Brunswick: Rutgers University Press. https://doi.org/10.1017/s0021911817001693
Rose G. (2016) Visual Methodologies: An Introduction to Researching with Visual Materials, London: SAGE Publications.
Said E. W. (1978) Orientalism, New York: Vintage Books.
Shankar S., Halpern Y., Breck E., Atwood J., Wilson J., Sculley D. (2017) No Classification without Representation: Assessing Geodiversity Issues in Open Data Sets for the Developing World. arXiv. Available at: https://arxiv.org/abs/1711.08536
Spivak G. (1988) Can the Subaltern Speak?. Marxism and the Interpretation of Culture (eds. C. Nelson, L. Grossberg), Urbana: University of Illinois Press, pp. 271-313. https://doi.org/10.1007/978-3-658-13213-2_84
Tacheva J., Ramasubramanian S. (2023) AI Empire: Unraveling the Interlocking Systems of Oppression in Generative AI's Global Order. Big Data & Society. https://doi.org/10.1177/20539517231219241
Taylor J. (1996) New Media and Cultural Representation. Information Society. Human-centred Systems (ed. K. Gill), London: Springer, pp. 265-282. https://doi.org/10.1007/978-1-4471-3249-3_16
Ticong L. (2024) Midjourney vs Stable Diffusion: 2024's Creative Clash. eWEEK. Available at: www.eweek.com/artificial-intelligence/midjourney-vs-stable-diffusion (accessed 30 November 2024).
Van Leeuwen T. (2011) The Language of Colour: An Introduction, London: Routledge.
Zhao D., Wang A., Russakovsky O. (2021) Understanding and Evaluating Racial Biases in Image Captioning. arXiv. https://doi.org/10.48550/ARXIV.2106.08503
