論文の概要: A Dual-Layered Evaluation of Geopolitical and Cultural Bias in LLMs

• arxiv url: http://arxiv.org/abs/2506.21881v1
• Date: Fri, 27 Jun 2025 03:37:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-30 21:12:23.072028
• Title: A Dual-Layered Evaluation of Geopolitical and Cultural Bias in LLMs
• Title（参考訳）: LLMにおける地政学的・文化的バイアスの2層評価
• Authors: Sean Kim, Hyuhng Joon Kim,
• Abstract要約: 大規模言語モデル(LLM)は、多種多様な言語や文化の文脈にまたがって展開されている。 モデルバイアス(モデルトレーニングに由来するバイアス)と推論バイアス(クエリの言語によって誘導されるバイアス)の2種類を定義した。 我々は、4つの言語と質問タイプにまたがって、事実と疑わしいQAの両方にまたがる手動でキュレートされたデータセットを構築した。
• 参考スコア（独自算出の注目度）: 0.6494933736121663
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As large language models (LLMs) are increasingly deployed across diverse linguistic and cultural contexts, understanding their behavior in both factual and disputable scenarios is essential, especially when their outputs may shape public opinion or reinforce dominant narratives. In this paper, we define two types of bias in LLMs: model bias (bias stemming from model training) and inference bias (bias induced by the language of the query), through a two-phase evaluation. Phase 1 evaluates LLMs on factual questions where a single verifiable answer exists, assessing whether models maintain consistency across different query languages. Phase 2 expands the scope by probing geopolitically sensitive disputes, where responses may reflect culturally embedded or ideologically aligned perspectives. We construct a manually curated dataset spanning both factual and disputable QA, across four languages and question types. The results show that Phase 1 exhibits query language induced alignment, while Phase 2 reflects an interplay between the model's training context and query language. This paper offers a structured framework for evaluating LLM behavior across neutral and sensitive topics, providing insights for future LLM deployment and culturally aware evaluation practices in multilingual contexts.
• Abstract（参考訳）: 大規模言語モデル(LLM)は言語や文化の多様さにまたがって展開されているため、実際のシナリオと議論可能なシナリオの両方において、彼らの行動を理解することが不可欠である。 本稿では,モデルバイアス(モデル学習に由来するバイアス)と推論バイアス(クエリの言語によって誘導されるバイアス)の2段階評価の2種類を定義した。 フェーズ1は、1つの検証可能な回答が存在する事実的な質問に基づいてLCMを評価し、異なるクエリ言語間でモデルが一貫性を維持しているかどうかを評価する。 第2段階は、文化的に埋め込まれた、あるいはイデオロギー的に整合した視点を反映する、地政学的に敏感な論争を提起することによって、範囲を広げる。 我々は、4つの言語と質問タイプにまたがって、事実と疑わしいQAの両方にまたがる手動でキュレートされたデータセットを構築した。 その結果,第1相はクエリ言語によるアライメントを示し,第2相はモデルのトレーニングコンテキストとクエリ言語との相互作用を反映していることがわかった。 本稿では,中性およびセンシティブなトピックにわたるLCMの挙動を評価するための構造化されたフレームワークを提供し,今後のLCMの展開に対する洞察と多言語文脈における文化的に意識された評価実践を提供する。

関連論文リスト

• Disentangling Language and Culture for Evaluating Multilingual Large Language Models [48.06219053598005]
  本稿では,LLMの多言語機能を包括的に評価するデュアル評価フレームワークを提案する。 言語媒体と文化的文脈の次元に沿って評価を分解することにより、LLMが言語間を横断的に処理する能力の微妙な分析を可能にする。
  論文  参考訳（メタデータ） (2025-05-30T14:25:45Z)
• Evaluating Large Language Model with Knowledge Oriented Language Specific Simple Question Answering [73.73820209993515]
  KoLasSimpleQAは,Large Language Models (LLMs) の多言語事実能力を評価する最初のベンチマークである。 既存の研究に触発されて、単一知識点カバレッジ、絶対的客観性、独特な答え、時間的安定性といった特徴を備えた質問セットを作成しました。 その結果,2つの領域間に大きな性能差が認められた。
  論文  参考訳（メタデータ） (2025-05-22T12:27:02Z)
• Comparing LLM Text Annotation Skills: A Study on Human Rights Violations in Social Media Data [2.812898346527047]
  本研究では,ロシア語とウクライナ語におけるソーシャルメディア投稿のゼロショットおよび少数ショットアノテーションに対する大規模言語モデル(LLM)の機能について検討した。 これらのモデルの有効性を評価するため、それらのアノテーションは、人間の二重注釈付きラベルのゴールドスタンダードセットと比較される。 この研究は、各モデルが示すエラーと不一致のユニークなパターンを探求し、その強み、制限、言語間適応性に関する洞察を提供する。
  論文  参考訳（メタデータ） (2025-05-15T13:10:47Z)
• Mapping Geopolitical Bias in 11 Large Language Models: A Bilingual, Dual-Framing Analysis of U.S.-China Tensions [2.8202443616982884]
  本研究は,11大言語モデル(LLM)における地政学的バイアスを系統的に解析する。 モデル出力のイデオロギー的傾きを検出するために,19,712個のプロンプトを作成した。 米国をベースとしたモデルは、主に米国支持の姿勢を好んでおり、一方中国のモデルでは、中国支持の偏見が顕著であった。
  論文  参考訳（メタデータ） (2025-03-31T03:38:17Z)
• Probing LLMs for Multilingual Discourse Generalization Through a Unified Label Set [28.592959007943538]
  本研究では,大規模言語モデル (LLM) が言語やフレームワークにまたがって一般化する談話知識を捉えているかどうかを検討する。 テストベッドとして多言語対話関係分類を用いて, 様々なサイズと多言語機能を持つ23個のLLMの包括的集合について検討した。 以上の結果から,LLM,特に多言語学習コーパスでは,言語やフレームワーク間での会話情報を一般化することが可能であることが示唆された。
  論文  参考訳（メタデータ） (2025-03-13T16:20:25Z)
• ExpliCa: Evaluating Explicit Causal Reasoning in Large Language Models [75.05436691700572]
  明示的な因果推論において,LLM(Large Language Models)を評価するための新しいデータセットであるExpliCaを紹介する。 ExpliCa上で7つの商用およびオープンソース LLM をテストしました。 驚くべきことに、モデルは因果関係と時間的関係を関連付ける傾向にあり、そのパフォーマンスはイベントの言語的順序にも強く影響される。
  論文  参考訳（メタデータ） (2025-02-21T14:23:14Z)
• Large Language Models Reflect the Ideology of their Creators [71.65505524599888]
  大規模言語モデル(LLM)は、自然言語を生成するために大量のデータに基づいて訓練される。 本稿では, LLMのイデオロギー的姿勢が創造者の世界観を反映していることを示す。
  論文  参考訳（メタデータ） (2024-10-24T04:02:30Z)
• AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages with Adversarial Examples [51.048234591165155]
  本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。 言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。 その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
  論文  参考訳（メタデータ） (2021-04-17T20:23:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。