論文の概要: TALES: A Taxonomy and Analysis of Cultural Representations in LLM-generated Stories

• arxiv url: http://arxiv.org/abs/2511.21322v1
• Date: Wed, 26 Nov 2025 12:07:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-27 18:37:59.084988
• Title: TALES: A Taxonomy and Analysis of Cultural Representations in LLM-generated Stories
• Title（参考訳）: talES: LLM生成物語における文化表現の分類と分析
• Authors: Kirti Bhagat, Shaily Bhatt, Athul Velagapudi, Aditya Vashistha, Shachi Dave, Danish Pruthi,
• Abstract要約: 本稿では,インドにおける多様な文化アイデンティティのためのLCM生成物語における文化的誤表現の評価手法であるTALESについて述べる。 本研究では,インドにおける生活経験の参加者からの洞察を収集し,文化的誤表現の分類法であるTALES-Taxを開発した。 このアノテーションを,基礎モデルの文化的知識を評価するために,スタンドアローンの質問銀行であるTALES-QAに変換する。
• 参考スコア（独自算出の注目度）: 24.375203423945816
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Millions of users across the globe turn to AI chatbots for their creative needs, inviting widespread interest in understanding how such chatbots represent diverse cultures. At the same time, evaluating cultural representations in open-ended tasks remains challenging and underexplored. In this work, we present TALES, an evaluation of cultural misrepresentations in LLM-generated stories for diverse Indian cultural identities. First, we develop TALES-Tax, a taxonomy of cultural misrepresentations by collating insights from participants with lived experiences in India through focus groups (N=9) and individual surveys (N=15). Using TALES-Tax, we evaluate 6 models through a large-scale annotation study spanning 2,925 annotations from 108 annotators with lived cultural experience from across 71 regions in India and 14 languages. Concerningly, we find that 88\% of the generated stories contain one or more cultural inaccuracies, and such errors are more prevalent in mid- and low-resourced languages and stories based in peri-urban regions in India. Lastly, we transform the annotations into TALES-QA, a standalone question bank to evaluate the cultural knowledge of foundational models. Through this evaluation, we surprisingly discover that models often possess the requisite cultural knowledge despite generating stories rife with cultural misrepresentations.
• Abstract（参考訳）: 世界中の何百万ものユーザーが、創造的なニーズのためにAIチャットボットに目を向けている。 同時に、オープンエンドタスクにおける文化的表現の評価は困難であり、過小評価されている。 本研究は,インド文化の多様なアイデンティティに対するLLM生成物語における文化的誤表現の評価であるTALESについて述べる。 まず,インドにおける生活経験者からの洞察を集中グループ (N=9) と個人調査 (N=15) を通じて収集し,文化的誤表現の分類法であるTALES-Taxを開発した。 TALES-Taxを用いて,インドの71地域から14言語に至るまでの文化経験を持つ108のアノテータからの2,925のアノテーションを対象とした大規模アノテーション調査を行い,6つのモデルを評価した。 また, 生成した記事の88%が1つ以上の文化的不正確さを含んでおり, その誤りは中・低資源の言語やインドの周辺地域を基盤とした物語に多く見られる。 最後に,これらのアノテーションを,基礎モデルの文化的知識を評価するために,スタンドアローンの質問銀行であるTALES-QAに変換する。 この評価により,モデルが文化的誤表現を伴う物語を生んでいるにもかかわらず,必要な文化的知識をしばしば持っていることが判明した。

関連論文リスト

• Do You Know About My Nation? Investigating Multilingual Language Models' Cultural Literacy Through Factual Knowledge [68.6805229085352]
  ほとんどの多言語質問答えベンチマークは、取得した情報の地域的多様性を規定していない。 XNationQAには、9カ国の地理、文化、歴史に関する合計49,280の質問が7つの言語で提示されている。 我々はXNationQA上で8つの標準多言語LLMをベンチマークし、2つの新しい転送指標を用いて評価した。
  論文  参考訳（メタデータ） (2025-11-01T18:41:34Z)
• SANSKRITI: A Comprehensive Benchmark for Evaluating Language Models' Knowledge of Indian Culture [17.414561140897945]
  インドにおける豊かな文化的多様性に関する言語モデルの理解を評価するためのベンチマークであるSANSKRITIを紹介する。 SNSKRITIは、28の州と8の連邦領域にまたがる、精巧にキュレートされた質問応答ペア21,853からなり、インドの文化知識をテストするための最大のデータセットである。 儀式、儀式、歴史、観光、料理、ダンス、音楽、衣装、言語、芸術、祭典、宗教、医学、輸送、スポーツ、ナイトライフ、個性など、インド文化の重要な特徴を網羅している。
  論文  参考訳（メタデータ） (2025-06-18T11:19:25Z)
• MAKIEval: A Multilingual Automatic WiKidata-based Framework for Cultural Awareness Evaluation for LLMs [37.98920430188422]
  MAKIEvalは、大規模言語モデルにおける文化的認識を評価するための自動多言語フレームワークである。 モデル出力における文化的実体を自動的に識別し、構造化された知識にリンクする。 オープンソースのシステムとプロプライエタリシステムの両方を対象とする,世界のさまざまな場所で開発された7つのLLMを評価した。
  論文  参考訳（メタデータ） (2025-05-27T19:29:40Z)
• From Surveys to Narratives: Rethinking Cultural Value Adaptation in LLMs [62.9861554207279]
  LLM(Large Language Models)における文化的価値の適応は大きな課題である。 これまでの作業は主に、World Values Survey (WVS)データを使用して、LLMをさまざまな文化的価値と整合させる。 我々は,文化価値適応のためのWVSベースのトレーニングについて検討し,調査データのみに頼って文化規範を実践し,事実知識に干渉することを発見した。
  論文  参考訳（メタデータ） (2025-05-22T09:00:01Z)
• DaKultur: Evaluating the Cultural Awareness of Language Models for Danish with Native Speakers [17.355452637877402]
  我々はデンマークのミッドリソース言語に対する最初の文化的評価研究を行い、母国語話者は異なるモデルに文化的認識を必要とする課題を解決するよう促す。 人口統計学的に多様性のある63人の1,038人のインタラクションの分析は、文化的適応に対するオープンな課題を浮き彫りにしている。
  論文  参考訳（メタデータ） (2025-04-03T08:52:42Z)
• CULTURE-GEN: Revealing Global Cultural Perception in Language Models through Natural Language Prompting [73.94059188347582]
  110か国・地域での3つのSOTAモデルの文化認識を,文化条件付き世代を通して8つの文化関連トピックについて明らかにした。 文化条件付き世代は、デフォルトの文化と区別される余分な文化を区別する言語的な「マーカー」から成り立っていることが判明した。
  論文  参考訳（メタデータ） (2024-04-16T00:50:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。