論文の概要: JuICE: A Benchmark for Evaluating LLM-Judge in Identifying Cultural Errors

• arxiv url: http://arxiv.org/abs/2605.26955v1
• Date: Tue, 26 May 2026 12:45:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-27 17:51:42.095872
• Title: JuICE: A Benchmark for Evaluating LLM-Judge in Identifying Cultural Errors
• Title（参考訳）: JuICE: 文化エラーの特定におけるLCM-Judgeの評価基準
• Authors: Jiho Jin, Junho Myung, Juhyun Oh, Junyeong Park, Rifki Afina Putri, Sunipa Dev, Vinodkumar Prabhakaran, Alice Oh,
• Abstract要約: 長文の言語応答における文化的・言語的誤りに関する,7,470のスパンレベルアノテーションのデータセットであるJuICEを提示する。 最強のLDMジャッジでさえ、誤ったスパン検出タスクにおいてF1の0.52しか達成していない。 文化的評価は, 文化的意味の深さと位置を考慮に入れた枠組みに向けて, 表面レベルの検出を超えて, 頑健な文化的評価を行なわなければならないことが示唆された。
• 参考スコア（独自算出の注目度）: 38.543532383605545
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As large language models (LLMs) are increasingly deployed to users around the world, they are integrated into everyday tasks across diverse cultural contexts, from drafting personal communications to brainstorming creative ideas. These tasks are inherently cultural: they require contextual appropriateness, symbolic resonance, and tacit cultural expectations that native speakers draw on instinctively, meaning that a response can be factually plausible yet unmistakably wrong to a local reader. Existing cultural benchmarks have treated culture as a flat set of facts via fact verification or norm entailment methods, and have adopted LLM-as-a-Judge without examining whether they can capture such thick cultural errors. To address this gap, we present JuICE (Benchmark for LLM-Judge in Identifying Cultural Errors), a multilingual dataset of 7,470 span-level annotations of cultural and linguistic errors in long-form LLM responses. It covers 1,050 query-response pairs from four countries (the United States, South Korea, Indonesia, and Bangladesh), in both English and their countries' main languages. Using JuICE, we find that even the strongest LLM-judge achieves only an F1 of 0.52 in the erroneous span detection task. Furthermore, LLM-judges consistently miss thick cultural errors that local residents readily identify. Our findings suggest that robust cultural evaluation must move beyond surface-level detection toward frameworks that account for the depth and situatedness of cultural meaning.
• Abstract（参考訳）: 大規模言語モデル(LLM)が世界中のユーザにますます普及するにつれて、個人的なコミュニケーションの草案作成から創造的アイデアのブレインストーミングに至るまで、さまざまな文化的コンテキストにわたる日々のタスクに統合されるようになる。 これらのタスクは本質的に文化的であり、それらは文脈的適切性、象徴的共鳴、そして先住民話者が直感的に描く文化的期待を必要とする。 既存の文化ベンチマークでは、事実検証や規範的含意手法を通じて、文化をフラットな事実の集合として扱い、そのような文化的誤りを捉えることができるかどうかを判断することなく、LSM-as-a-Judgeを採用してきた。 このギャップに対処するために,長文LLM応答における文化的・言語的誤りの多言語的アノテーションであるJuICE(LLM-Judge in Identifying Cultural Errors)を提案する。 アメリカ合衆国、韓国、インドネシア、バングラデシュの4カ国から1050のクエリ応答対を英語と主要言語の両方でカバーしている。 JuICEを用いて、最強のLCMジャッジでさえ、誤ったスパン検出タスクにおいて0.52のF1しか達成できないことがわかった。 さらに、LLM-judgesは、地元住民が容易に識別できるような文化的誤りを常に見逃している。 文化的評価は, 文化的意味の深さと位置を考慮に入れた枠組みに向けて, 表面レベルの検出を超えて, 頑健な文化的評価を行なわなければならないことが示唆された。

関連論文リスト

• LLMs as Cultural Archives: Cultural Commonsense Knowledge Graph Extraction [57.23766971626989]
  大規模言語モデル(LLM)は、多様なWebスケールデータから学んだ豊富な文化的知識を符号化する。 文化常識知識グラフ(CCKG)構築のための反復的,即時的枠組みを提案する。 対象文化が英語ではない場合でも、文化知識グラフは英語でよりよく認識されている。
  論文  参考訳（メタデータ） (2026-01-25T20:05:04Z)
• LLMs and Cultural Values: the Impact of Prompt Language and Explicit Cultural Framing [0.21485350418225244]
  大規模言語モデル(LLM)は、世界中のユーザによって急速に採用され、さまざまな言語でそれらと対話している。 言語と文化のフレーミングが、異なる国の人的価値にどのように影響するかを検討する。
  論文  参考訳（メタデータ） (2025-11-06T02:09:29Z)
• CultureScope: A Dimensional Lens for Probing Cultural Understanding in LLMs [57.653830744706305]
  CultureScopeは、大規模な言語モデルにおける文化的理解を評価するための、これまでで最も包括的な評価フレームワークである。 文化的な氷山理論に触発されて、文化知識分類のための新しい次元スキーマを設計する。 実験結果から,文化的理解を効果的に評価できることが示唆された。
  論文  参考訳（メタデータ） (2025-09-19T17:47:48Z)
• Entangled in Representations: Mechanistic Investigation of Cultural Biases in Large Language Models [42.367959511140036]
  本稿では,大規模言語モデルの内部表現を探索する最初の解釈可能性に基づく手法であるCulturescopeを提案する。 本研究は,本質的な文化的偏見の尺度として,文化的平坦化スコアを導入する。 実験の結果,LLMは文化知識空間における西洋支配バイアスと文化的フラット化をエンコードしていることが明らかとなった。
  論文  参考訳（メタデータ） (2025-08-12T12:05:32Z)
• From Surveys to Narratives: Rethinking Cultural Value Adaptation in LLMs [62.9861554207279]
  LLM(Large Language Models)における文化的価値の適応は大きな課題である。 これまでの作業は主に、World Values Survey (WVS)データを使用して、LLMをさまざまな文化的価値と整合させる。 我々は,文化価値適応のためのWVSベースのトレーニングについて検討し,調査データのみに頼って文化規範を実践し,事実知識に干渉することを発見した。
  論文  参考訳（メタデータ） (2025-05-22T09:00:01Z)
• Translating Across Cultures: LLMs for Intralingual Cultural Adaptation [12.5954253354303]
  文化適応の課題を定義し,現代LLMの性能を評価するための評価枠組みを構築した。 我々は、自動適応で起こりうる問題を解析する。 本稿は, LLMの文化的理解と, 異文化のシナリオにおける創造性について, より深い知見を提供していくことを願っている。
  論文  参考訳（メタデータ） (2024-06-20T17:06:58Z)
• Understanding the Capabilities and Limitations of Large Language Models for Cultural Commonsense [98.09670425244462]
  大規模言語モデル(LLM)は、かなりの常識的理解を示している。 本稿では,文化的コモンセンスタスクの文脈におけるいくつかの最先端LCMの能力と限界について検討する。
  論文  参考訳（メタデータ） (2024-05-07T20:28:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。