論文の概要: Multi-Test Nation Bias Benchmarking of LLMs with Explicit Unbiased Baselines

• arxiv url: http://arxiv.org/abs/2610.41486v1
• Date: Fri, 30 Oct 2026 09:41:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.67366
• Title: Multi-Test Nation Bias Benchmarking of LLMs with Explicit Unbiased Baselines
• Title（参考訳）: 明示的アンバイアスベースラインを用いたLLMのマルチテストネーションバイアスベンチマーク
• Abstract要約: 722の国連安全保障理事会(UNSC)の記録を拡大したコーパスを用いて、5つの補完的なテストで国家レベルの偏見を測定する。 基底バイアス評価を可能にするために,各テストのバイアスのない状態を明確に定義する。 テスト毎に定義された基準基準に対して、モデル出力は中国とロシアの反対側に傾いている。
• 参考スコア（独自算出の注目度）: 5.849736173068869
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While prior work has highlighted that systematic nation-level bias in large language models (LLMs) can pose operational risks for international relations (IR) applications, many existing evaluations still lack a clearly specified unbiased reference (ground truth), limiting fully quantitative and cross-setting measurement. Using an expanded corpus of 722 official UN Security Council (UNSC) records, we measure nation-level bias with five complementary tests, thereby extending prior approaches to cover a broader set of bias expression channels: opinion ranking (WOW), association sorting (AK+-), vote simulation (PVS), opposition attribution (F-Oppose), and framing (Headliner). To enable grounded bias evaluation, we explicitly define an unbiased status for each test; in particular, for WOW and AK+- where ground truth is difficult to specify, we propose an action-based pseudo unbiased status derived from observable voting behavior to construct a quantifiable baseline. Benchmarking 4 LLMs (GPT-4o-mini, Llama 3.3-70B, Mistral-22B-Small, and Qwen3-30B) across the five permanent members of the UNSC, we find a test-agnostic macro-pattern: relative to the reference baselines defined for each test, model outputs lean toward the opposition (red) side for China and Russia and toward the supportive (blue) side for the U.K., the U.S., and France. These results underscore the need to audit IR-facing LLM deployments with grounded, multi-test benchmarks tied to explicit reference points.
• Abstract（参考訳）: 以前の研究は、大規模言語モデル(LLM)の体系的な国家レベルの偏見が国際関係(IR)アプリケーションに運用上のリスクをもたらすことを強調してきたが、既存の多くの評価は、まだ明確に特定されていない参照(地上の真実)を欠いているため、完全な量的および横断的な測定が制限されている。 国連安全保障理事会(UNSC)の記録を拡大したコーパスを用いて、我々は国家レベルの偏見を5つの相補的なテストで測定し、その結果、意見ランキング(WOW)、アソシエーションソート(AK+-)、投票シミュレーション(PVS)、野党帰属(F-Oppose)、フレーミング(Headliner)といった、より広範な偏見表現チャネルをカバーするための事前のアプローチを拡張する。 基底バイアス評価を実現するために,各テストの非バイアス状態を明確に定義する。特に,基底真理の特定が困難な WOW と AK+ に対して,観測可能な投票行動から導かれる行動に基づく疑似非バイアス状態を提案し,定量化ベースラインを構築する。 4つのLCM(GPT-4o-mini, Llama 3.3-70B, Mistral-22B-Small, Qwen3-30B)をUNSCの5つの常任メンバー間でベンチマークした結果、各テストで定義された基準ベースラインに対して、モデル出力は、中国とロシアの反対(赤)側に傾き、英国、米国、フランスの支持(青)側に傾いていることが判明した。 これらの結果は、明示的な基準点に結びついた、地上のマルチテストベンチマークでIR対応のLLMデプロイメントを監査する必要性を浮き彫りにしている。

関連論文リスト

• NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
  大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。 既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。 本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
  論文  参考訳（メタデータ） (2026-09-10T08:34:56Z)
• BiasLab: A Multilingual, Dual-Framing Framework for Robust Measurement of Output-Level Bias in Large Language Models [3.643198597030366]
  本稿では,出力レベル(外部)バイアスの定量化を目的とした,オープンソースのモデルに依存しない評価フレームワークであるBiasLabを紹介する。 この枠組みは、人口統計学、文化学、政治学、地政学などの様々なバイアス軸の評価をサポートする。
  論文  参考訳（メタデータ） (2026-01-11T11:07:46Z)
• "As Eastern Powers, I will veto." : An Investigation of Nation-level Bias of Large Language Models in International Relations [7.585969077788284]
  本稿では国際関係領域(IR)における大規模言語モデル(LLM)による国家レベルの偏見を体系的に検討する。 各国のLLMにおける国家レベルのバイアスを探索する3つの異なるテストからなるバイアス評価フレームワークを開発した。 本稿では,LLMとRetrieval-Augmented GenerationとReflexion-based self-reflex(自己回帰)技術を組み合わせることで,現実的推論を改善する脱バイアスフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-12T08:42:54Z)
• BiasFreeBench: a Benchmark for Mitigating Bias in Large Language Model Responses [32.58830706120845]
  大規模言語モデル(LLM)のバイアス緩和手法に関する既存の研究は、様々なベースラインとメトリクスを用いてバイアス低減性能を評価する。 BiasFreeBenchは8つの主流バイアス緩和手法を包括的に比較した経験的ベンチマークである。 我々は、バイアス軽減研究のための統合テストベッドを確立することを目的として、我々のベンチマークを公開します。
  論文  参考訳（メタデータ） (2025-09-30T19:56:54Z)
• The BiGGen Bench: A Principled Benchmark for Fine-grained Evaluation of Language Models with Language Models [94.31327813151208]
  BiGGen Benchは、77のタスクにわたるLMの9つの異なる能力を徹底的に評価するために設計された、原則化された世代ベンチマークである。 BiGGen Benchの重要な特徴は、インスタンス固有の評価基準の使用であり、人間の評価のニュアンスな識別を忠実に反映している。
  論文  参考訳（メタデータ） (2024-06-09T12:30:30Z)
• Bias in Language Models: Beyond Trick Tests and Toward RUTEd Evaluation [49.3814117521631]
  大規模言語モデル(LLM)におけるバイアスと公平性の標準ベンチマークは、プロンプトによって記述されたユーザー属性とインプットの関係を測定する。 本研究では, 子どもの就寝時間, ユーザ・ペルソナ, 英語学習演習の3つの文脈から, RUTEdの類似性を評価する。 標準偏差指標は、より現実的な偏差指標と有意な相関関係がないことがわかった。
  論文  参考訳（メタデータ） (2024-02-20T01:49:15Z)
• AlignBench: Benchmarking Chinese Alignment of Large Language Models [99.24597941555277]
  中国語大言語モデルのアライメントを評価するための総合ベンチマークであるAlignBenchを紹介する。 我々は,8つの主要なカテゴリ,683の実シナリオ根付きクエリ,およびそれに対応する人間の検証基準を含む,ループ内データキュレーションパイプラインを設計する。 自動評価には,Chain-of-Thoughtを用いた多次元LCM-as-Judgecitezheng2023アジュジング手法を用いて説明と最終評価を生成する。
  論文  参考訳（メタデータ） (2023-11-30T17:41:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。