論文の概要: The Nuclear Decision-Making Benchmark: Evaluating Frontier LLMs on Nuclear Tendencies

• arxiv url: http://arxiv.org/abs/2608.05180v1
• Date: Mon, 29 Jun 2026 01:45:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.160008
• Title: The Nuclear Decision-Making Benchmark: Evaluating Frontier LLMs on Nuclear Tendencies
• Title（参考訳）: 核決定の基準:核の緊張に対するフロンティアLDMの評価
• Abstract要約: NDMベンチ(Nuclear Decision-Making Benchmark、NDM Bench)は、PhD-Credentialed scholarsによる国際関係における151のシナリオの評価フレームワークである。 DeepSeek-V3.2, ERNIE 4.5-300B, Gemini 3 Pro, GLM-4.6, GPT-5.2, Llama 4 Maverick-17B Instruct, Qwen3-235B。 DeepSeekとQwenは、核兵器を使ったエスカレーターアクションを推奨する可能性が高い。
• 参考スコア（独自算出の注目度）: 0.31666540219908274
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The integration of large language models into defense and national-security workflows raises urgent questions about whether frontier models exhibit stable, consistent, and policy-appropriate preferences in high-stakes contexts. We introduce the Nuclear Decision-Making Benchmark (NDM Bench), a targeted evaluation framework of 151 scenarios authored by PhD-credentialed scholars in international relations spanning four domains: escalation (76), arms control (25), non-proliferation (25), and proliferation (25). Scenarios are actor-agnostic, enabling multiple country pairs to be exchanged, and we introduce experimental phrasing variants to probe sensitivity to narrative framing. We apply the benchmark to seven frontier AI systems: DeepSeek-V3.2, ERNIE 4.5-300B, Gemini 3 Pro, GLM-4.6, GPT-5.2, Llama 4 Maverick-17B Instruct, and Qwen3-235B. We find significant overall inter-model variation in all four domains, with 91.7% of pairwise inter-model differences significant. DeepSeek and Qwen are the most likely to recommend escalatory action using nuclear weapons; GPT and ERNIE are the least likely. Llama exhibits a distinct bias for action, favoring force, intervention, and cooperation across domains. Inter-rater reliability metrics (Krippendorff's $α$ and quadratically weighted Fleiss' $κ$) reveal Llama and ERNIE are the most consistent across runs, with either DeepSeek or GLM the least depending on the domain. We also present a deeper exploration of our scenario variants: (i)~country-level biases tend to exist and vary by model, with country covariates like adversary trade ties and escalation propensity producing weak correlations; (ii)~existential phrasing effects are significant and heterogeneous; (iii)~these country biases interact with phrasing. Overall, the distributions of responses related to the scenarios in our benchmark vary significantly by model, country, and phrasing.
• Abstract（参考訳）: 大規模言語モデルの防衛および国家安全保障ワークフローへの統合は、フロンティアモデルが高い状況下で安定的で一貫性があり、ポリシーに適合した嗜好を示すかどうかという緊急の疑問を提起する。 NDMベンチ(Nuclear Decision-Making Benchmark)は、エスカレーション(76)、腕制御(25)、非増殖(25)、増殖(25)の4つの領域にまたがる国際関係において、PhD-credentialed scholarsによって書かれた151のシナリオを対象とした評価フレームワークである。 シナリオはアクターに依存しないため,複数の国でペアを交換することができる。 DeepSeek-V3.2, ERNIE 4.5-300B, Gemini 3 Pro, GLM-4.6, GPT-5.2, Llama 4 Maverick-17B Instruct, Qwen3-235B。 モデル間差の91.7%が有意である。 DeepSeekとQwenは、核兵器を使ったエスカレーターアクションを推奨する可能性が高い。 ラマは、行動に対する明確な偏見、力、介入、およびドメイン間の協力を示す。 レータ間の信頼性指標(クリッペンドルフの$α$とフレイスの$κ$)は、Llama と ERNIE が最も一貫性があり、DeepSeek または GLM はドメインに依存しないことを示している。 また、シナリオのバリエーションについてより深く調査する。 (i)-国レベルの偏見はモデルによって存在・変化しがちであり、相手国との貿易関係やエスカレーション確率のような国共変が弱い相関関係を生じさせる傾向がある。 (ii)既存の表現効果は有意かつ不均一である。 (iii)―これらの国の偏見はフレーズ化と相互作用する。 全体として、ベンチマークのシナリオに関連する応答の分布は、モデル、国、フレーズによって大きく異なる。

関連論文リスト

• GYROval: A Robust Benchmark for Cultural Value Orientation in Large Language Models [70.36032466145112]
  GYROvalは、大きな言語モデルにおける文化的価値の向きを測定するためのベンチマークである。 また、20モデルのうち11モデルが同じ項目の対訳と第2のサンプリング温度を施した。
  論文  参考訳（メタデータ） (2026-09-16T09:38:38Z)
• Inference-Time Steering for Cross-Lingual Factual Consistency in LLMs [51.56484100374058]
  大規模言語モデル(LLM)は目覚ましい多言語流布を示すが、その内部知識表現はハイリソース言語に対して不均等に偏っている。 我々は,これらのバイアスを推論時に緩和できるかどうかを考察し,対象言語でクエリされたかのように,英語の確率モデルに答えるように強制する。 Gemma 3 12Bの実験では、最も強い全体的な介入、効率性のバランス、安全性、ドメイン外の一般化を促すペルソナが明らかにされている。
  論文  参考訳（メタデータ） (2026-07-21T16:15:05Z)
• LLMs Contain Multitudes: How Deployment Context Reshapes Model-Level Preferences and Values [3.52299670434098]
  大規模言語モデル(LLM)は、安定的でモデルレベルの嗜好と価値システムを持つものとして、最近の評価作業でますます特徴付けられている。 我々は、国家の選好のランク付けとユーティリティ判断の2つの確立されたペアワイズパラダイムを直接テストする。
  論文  参考訳（メタデータ） (2026-06-11T22:09:16Z)
• The Shibboleth Effect: Auditing the Cross-Lingual Distributional Skew of Large Language Models [0.0]
  本研究では,フロンティア大言語モデル(LLM)における言語間分布スキュー(シボレス効果)の持続的逆境条件について検討した。 我々は、東地中海紛争の構造的ダイナミクスを反映した多年制の地政学的な戦争ゲーム、ケルレアン海危機(Cerrulean Sea Crisis)を開発している。
  論文  参考訳（メタデータ） (2026-06-09T16:42:00Z)
• OccuBench: Evaluating AI Agents on Real-World Professional Tasks via Language Environment Simulation [57.505743202759646]
  OccuBenchは10の業界カテゴリと65の専門ドメインにわたる100の現実のプロフェッショナルタスクシナリオをカバーするベンチマークである。 我々のマルチエージェント合成パイプラインは, 可溶性, 校正困難, 文書基底の多様性を保証した評価インスタンスを自動生成する。
  論文  参考訳（メタデータ） (2026-04-13T00:27:32Z)
• CCD-Bench: Probing Cultural Conflict in Large Language Model Decision-Making [0.9310318514564272]
  大きな言語モデルは、合法的に異なる文化的価値システム間の明示的な衝突をナビゲートすることができる。 CCD-Benchは、文化的価値の対立の下で意思決定を評価するベンチマークである。 CCD-Benchは、孤立バイアス検出以上の評価を多元的意思決定にシフトする。
  論文  参考訳（メタデータ） (2025-10-03T22:55:37Z)
• When Punctuation Matters: A Large-Scale Comparison of Prompt Robustness Methods for LLMs [55.20230501807337]
  本報告では, 統一実験フレームワーク内での迅速なロバスト性向上のための5つの手法の体系的評価を行う。 Llama、Qwen、Gemmaファミリーの8つのモデルに対して、Natural Instructionsデータセットから52のタスクをベンチマークする。
  論文  参考訳（メタデータ） (2025-08-15T10:32:50Z)
• Critical Foreign Policy Decisions (CFPD)-Benchmark: Measuring Diplomatic Preferences in Large Language Models [2.11457423143017]
  本研究では,7つの基礎モデルのバイアスと嗜好を評価するための新しいベンチマークを提案する。 400の専門的なシナリオを使用して、選択したモデルの結果を分析しました。 すべてのモデルは、ある程度の国固有の偏見を示しており、しばしば、中国とロシアに対するエスカレーションや介入の行動を減らすことを推奨している。
  論文  参考訳（メタデータ） (2025-03-08T16:19:13Z)
• STOP! Benchmarking Large Language Models with Sensitivity Testing on Offensive Progressions [6.19084217044276]
  大規模言語モデル(LLM)における明示的バイアスと暗黙的バイアスの緩和は、自然言語処理の分野において重要な焦点となっている。 我々は,2700のユニークな文を含む450の攻撃的進行を含む,攻撃的進行に関する感性テストデータセットを紹介した。 以上の結果から,最も優れたモデルでさえバイアスを不整合に検出し,成功率は19.3%から69.8%であった。
  論文  参考訳（メタデータ） (2024-09-20T18:34:38Z)
• Distortions in Judged Spatial Relations in Large Language Models [45.875801135769585]
  GPT-4は55%の精度で優れた性能を示し、GPT-3.5は47%、Llama-2は45%であった。 モデルは、ほとんどの場合において最も近い基数方向を同定し、その連想学習機構を反映した。
  論文  参考訳（メタデータ） (2024-01-08T20:08:04Z)
• MR-GSM8K: A Meta-Reasoning Benchmark for Large Language Model Evaluation [60.65820977963331]
  大規模言語モデル(LLM)のための新しい評価パラダイムを導入する。 このパラダイムは、しばしば推論プロセスを無視する結果指向の評価から、より包括的な評価へと重点を移す。 GSM8Kデータセットにこのパラダイムを適用し,MR-GSM8Kベンチマークを開発した。
  論文  参考訳（メタデータ） (2023-12-28T15:49:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。