論文の概要: "As Eastern Powers, I will veto." : An Investigation of Nation-level Bias of Large Language Models in International Relations

• arxiv url: http://arxiv.org/abs/2511.10695v1
• Date: Wed, 12 Nov 2025 08:42:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-17 22:42:18.276329
• Title: "As Eastern Powers, I will veto." : An Investigation of Nation-level Bias of Large Language Models in International Relations
• Title（参考訳）: 「東方勢力として、私は拒否する」 : 国際関係における大規模言語モデルの国家レベルのバイアスについて
• Authors: Jonghyeon Choi, Yeonjun Choi, Hyun-chul Kim, Beakcheol Jang,
• Abstract要約: 本稿では国際関係領域(IR)における大規模言語モデル(LLM)による国家レベルの偏見を体系的に検討する。 各国のLLMにおける国家レベルのバイアスを探索する3つの異なるテストからなるバイアス評価フレームワークを開発した。 本稿では,LLMとRetrieval-Augmented GenerationとReflexion-based self-reflex(自己回帰)技術を組み合わせることで,現実的推論を改善する脱バイアスフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 7.585969077788284
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: This paper systematically examines nation-level biases exhibited by Large Language Models (LLMs) within the domain of International Relations (IR). Leveraging historical records from the United Nations Security Council (UNSC), we developed a bias evaluation framework comprising three distinct tests to explore nation-level bias in various LLMs, with a particular focus on the five permanent members of the UNSC. Experimental results show that, even with the general bias patterns across models (e.g., favorable biases toward the western nations, and unfavorable biases toward Russia), these still vary based on the LLM. Notably, even within the same LLM, the direction and magnitude of bias for a nation change depending on the evaluation context. This observation suggests that LLM biases are fundamentally multidimensional, varying across models and tasks. We also observe that models with stronger reasoning abilities show reduced bias and better performance. Building on this finding, we introduce a debiasing framework that improves LLMs' factual reasoning combining Retrieval-Augmented Generation with Reflexion-based self-reflection techniques. Experiments show it effectively reduces nation-level bias, and improves performance, particularly in GPT-4o-mini and LLama-3.3-70B. Our findings emphasize the need to assess nation-level bias alongside performance when applying LLMs in the IR domain.
• Abstract（参考訳）: 本稿では,国際関係領域(IR)における大規模言語モデル(LLM)による国家レベルの偏見を体系的に検討する。 国連安全保障理事会(UNSC)の歴史的記録を参考に,国連安全保障理事会(UNSC)の5つの常任メンバーに焦点をあてて,様々なLLMにおける国家レベルのバイアスを探索する3つの異なる試験を含むバイアス評価フレームワークを開発した。 実験結果から、モデル間の一般的な偏見パターン(例えば、西側諸国に対する好ましくない偏見、ロシアに対する好ましくない偏見)であっても、これらの偏見はLLMに基づいて変化していることが明らかとなった。 特に、同一のLDM内であっても、評価コンテキストに応じて、国家のバイアスの方向と大きさが変化する。 この観察は、LLMバイアスが基本的に多次元であり、モデルやタスクによって異なることを示唆している。 また、より強力な推論能力を持つモデルはバイアスを減らし、性能が向上することを示した。 そこで本研究では,LLMとRetrieval-Augmented GenerationとReflexion-based self-reflex(自己回帰)技術を組み合わせた現実的推論を改善する脱バイアスフレームワークを提案する。 実験の結果、国家レベルの偏見を効果的に減らし、特にGPT-4o-miniやLLama-3.3-70Bの性能を向上させることが示されている。 IR領域にLLMを適用する際には,性能とともに国家レベルの偏見を評価する必要性が指摘された。

関連論文リスト

• No LLM is Free From Bias: A Comprehensive Study of Bias Evaluation in Large Language Models [0.9620910657090186]
  大規模言語モデル(LLM)は、異なる自然言語理解と生成タスクの性能を高めている。 我々は,中小LLMの集合を用いてベンチマークを統一的に評価する。 バイアス検出タスクをバイアスの異なる側面で行うための5つのプロンプト手法を提案する。 その結果, 選択したLLMは, Phi-3.5Bモデルが最も偏りが少ないため, いずれか一方あるいは他方の偏りに悩まされることが示唆された。
  論文  参考訳（メタデータ） (2025-03-15T03:58:14Z)
• Investigating Implicit Bias in Large Language Models: A Large-Scale Study of Over 50 LLMs [0.0]
  大規模言語モデル(LLM)は幅広いタスクで採用されている。 最近の研究では、LLMは明示的な偏見評価をパスしても暗黙の偏見を抑えることができることが示されている。 この研究は、新しい言語モデルやより大きな言語モデルが自動的にバイアスを減らさないことを強調している。
  論文  参考訳（メタデータ） (2024-10-13T03:43:18Z)
• A Multi-LLM Debiasing Framework [85.17156744155915]
  大規模言語モデル(LLM)は、社会に多大な利益をもたらす可能性がある強力なツールであるが、社会的不平等を持続するバイアスを示す。 近年,マルチLLM手法への関心が高まっており,推論の質向上に有効であることが示されている。 LLMのバイアス低減を目的としたマルチLLMデバイアスフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-20T20:24:50Z)
• Unboxing Occupational Bias: Grounded Debiasing of LLMs with U.S. Labor Data [9.90951705988724]
  大規模言語モデル(LLM)は、社会的バイアスを継承し増幅する傾向がある。 LLMバイアスは、不公平な慣行をもたらし、社会的不平等を悪化させる。
  論文  参考訳（メタデータ） (2024-08-20T23:54:26Z)
• CEB: Compositional Evaluation Benchmark for Fairness in Large Language Models [58.57987316300529]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクを処理するために、ますます多くデプロイされている。 LLMが示すバイアスを評価するために、研究者は最近、様々なデータセットを提案している。 我々は,様々な社会的グループやタスクにまたがる様々なバイアスをカバーした構成的評価ベンチマークであるCEBを提案する。
  論文  参考訳（メタデータ） (2024-07-02T16:31:37Z)
• Bias in Language Models: Beyond Trick Tests and Toward RUTEd Evaluation [49.3814117521631]
  大規模言語モデル(LLM)におけるバイアスと公平性の標準ベンチマークは、プロンプトによって記述されたユーザー属性とインプットの関係を測定する。 本研究では, 子どもの就寝時間, ユーザ・ペルソナ, 英語学習演習の3つの文脈から, RUTEdの類似性を評価する。 標準偏差指標は、より現実的な偏差指標と有意な相関関係がないことがわかった。
  論文  参考訳（メタデータ） (2024-02-20T01:49:15Z)
• GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language Models [83.30078426829627]
  大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。 既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。 本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-11T12:02:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。