論文の概要: Evaluating Cultural Awareness of LLMs for Haitian Creole

• arxiv url: http://arxiv.org/abs/2609.31506v1
• Date: Fri, 25 Sep 2026 16:47:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.493639
• Title: Evaluating Cultural Awareness of LLMs for Haitian Creole
• Title（参考訳）: ハイチクレオールにおけるLCMの文化的認識の評価
• Abstract要約: 本稿では,ハイチ語クレオール語に対する大規模言語モデルにおける文化意識の体系的評価について述べる。 以上の結果から,ハイチ・クレオールにおける文化意識と高資源フランス語との明確なギャップが明らかとなった。 物語生成は、ハードシップとレジリエンスを通じて、ハイチのキャラクターの繰り返しの描写を明らかにする。
• 参考スコア（独自算出の注目度）: 1.8233900721600493
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) exhibit substantial performance disparities between high- and low-resource languages. Beyond lower task performance, they often fail to capture the cultural norms and values of underrepresented communities. In this work, we present the first systematic evaluation of cultural awareness in LLMs for Haitian Creole, a language spoken by millions but severely underrepresented in digital resources. We assess cultural awareness along four complementary dimensions---specificity, bias, diversity, and variation---using a benchmark of culturally salient prompts curated by native speakers in a text infilling setting. Our results reveal a clear gap between cultural awareness in Haitian Creole and higher-resource French, with Haitian performance being more uneven across domains and more affected by French linguistic interference. Story generation further reveals recurring portrayals of Haitian characters through hardship and resilience, showing that even positive characterizations can encode stereotypical narratives. Our code, benchmark, and evaluation framework are publicly available.
• Abstract（参考訳）: 大規模言語モデル (LLM) は、ハイソース言語と低リソース言語の間にかなりの性能格差を示す。 タスクパフォーマンスの低下に加えて、あまり表現されていないコミュニティの文化的規範や価値の獲得に失敗することが多い。 本研究は, 何百万人もの人々が話す言語であるハイチ・クレオールのLLMにおいて, 文化意識を初めて体系的に評価するものである。 本研究は,4つの相補的な側面に沿った文化意識を評価することを目的として,母国語話者がテキスト入力設定でキュレートした文化的に有意なプロンプトのベンチマークを用いて,その特徴,バイアス,多様性,変動について検討する。 以上の結果から,ハイチ・クレオールの文化意識とハイチ・クレオールの高資源フランス語との明確なギャップが明らかとなった。 ストーリー生成はさらに、ハードシップとレジリエンスを通じて、ハイチのキャラクターの繰り返しの描写を明らかにし、ポジティブな特徴でさえ、ステレオタイプな物語をエンコードできることを示した。 コード、ベンチマーク、評価フレームワークが公開されています。

関連論文リスト

• JuICE: A Benchmark for Evaluating LLM-Judge in Identifying Cultural Errors [38.543532383605545]
  長文の言語応答における文化的・言語的誤りに関する,7,470のスパンレベルアノテーションのデータセットであるJuICEを提示する。 最強のLDMジャッジでさえ、誤ったスパン検出タスクにおいてF1の0.52しか達成していない。 文化的評価は, 文化的意味の深さと位置を考慮に入れた枠組みに向けて, 表面レベルの検出を超えて, 頑健な文化的評価を行なわなければならないことが示唆された。
  論文  参考訳（メタデータ） (2026-05-26T12:45:21Z)
• LLMs as Cultural Archives: Cultural Commonsense Knowledge Graph Extraction [57.23766971626989]
  大規模言語モデル(LLM)は、多様なWebスケールデータから学んだ豊富な文化的知識を符号化する。 文化常識知識グラフ(CCKG)構築のための反復的,即時的枠組みを提案する。 対象文化が英語ではない場合でも、文化知識グラフは英語でよりよく認識されている。
  論文  参考訳（メタデータ） (2026-01-25T20:05:04Z)
• Cross-Cultural Transfer of Commonsense Reasoning in LLMs: Evidence from the Arab World [68.19795061447044]
  本稿では,アラブ世界におけるコモンセンス推論の異文化間移動について検討する。 アラブ13カ国を対象とした文化基盤のコモンセンス推論データセットを用いて,軽量アライメント手法の評価を行った。 以上の結果から,他国の文化特有例は12例に過ぎず,他国の文化特有例を平均10%向上させることができた。
  論文  参考訳（メタデータ） (2025-09-23T17:24:14Z)
• MCEval: A Dynamic Framework for Fair Multilingual Cultural Evaluation of LLMs [25.128936333806678]
  大規模な言語モデルは、文化的バイアスと限定的な文化的理解能力を示す。 動的文化的質問構築を用いた多言語評価フレームワークであるMCEvalを提案する。
  論文  参考訳（メタデータ） (2025-07-13T16:24:35Z)
• MAKIEval: A Multilingual Automatic WiKidata-based Framework for Cultural Awareness Evaluation for LLMs [37.98920430188422]
  MAKIEvalは、大規模言語モデルにおける文化的認識を評価するための自動多言語フレームワークである。 モデル出力における文化的実体を自動的に識別し、構造化された知識にリンクする。 オープンソースのシステムとプロプライエタリシステムの両方を対象とする,世界のさまざまな場所で開発された7つのLLMを評価した。
  論文  参考訳（メタデータ） (2025-05-27T19:29:40Z)
• From Surveys to Narratives: Rethinking Cultural Value Adaptation in LLMs [62.9861554207279]
  LLM(Large Language Models)における文化的価値の適応は大きな課題である。 これまでの作業は主に、World Values Survey (WVS)データを使用して、LLMをさまざまな文化的価値と整合させる。 我々は,文化価値適応のためのWVSベースのトレーニングについて検討し,調査データのみに頼って文化規範を実践し,事実知識に干渉することを発見した。
  論文  参考訳（メタデータ） (2025-05-22T09:00:01Z)
• Understanding the Capabilities and Limitations of Large Language Models for Cultural Commonsense [98.09670425244462]
  大規模言語モデル(LLM)は、かなりの常識的理解を示している。 本稿では,文化的コモンセンスタスクの文脈におけるいくつかの最先端LCMの能力と限界について検討する。
  論文  参考訳（メタデータ） (2024-05-07T20:28:34Z)
• Not All Countries Celebrate Thanksgiving: On the Cultural Dominance in Large Language Models [89.94270049334479]
  本稿では,大規模言語モデル(LLM)における文化的優位性について述べる。 LLMは、ユーザーが非英語で尋ねるときに期待する文化とは無関係な、不適切な英語文化関連の回答を提供することが多い。
  論文  参考訳（メタデータ） (2023-10-19T05:38:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。