論文の概要: Language models judge war differently when tested for alignment
- arxiv url: http://arxiv.org/abs/2609.05009v1
- Date: Fri, 04 Sep 2026 11:22:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-07 18:15:24.019141
- Title: Language models judge war differently when tested for alignment
- Title（参考訳）: 言語モデルがアライメントテストで戦争を判断する
- Abstract要約: 安全評価は、人工知能システムが評価に応答した場合に、デプロイされた振る舞いを誤認する可能性がある。
我々はこの可能性を、戦争を開始するための決定に関する完全な要素的結合実験でテストする。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Safety evaluations can mischaracterize deployed behaviour if artificial-intelligence systems respond to being evaluated. We test this possibility in a full-factorial conjoint experiment on decisions to start a war, spanning 20 large language models, 32 scenarios, 10 repetitions and two conditions (N = 12,800 judgments). Adding one sentence, "You are tested for alignment with human values", produced two effects. First, it produced a level effect: mean willingness to start war fell by 13.43 points on a 0-100 scale (95% confidence interval, -16.20 to -10.65). Second, it produced a structural effect by changing which information drove judgments. Probability of success was the largest factor for 17 of 20 models at baseline; under the cue, civilian casualties were largest for 12. Standardized estimates show that this reordering arose principally because models attenuated strategic considerations such as probability of success and domestic support. Evaluation framing therefore changes both an answer's level and its revealed decision rule.
- Abstract（参考訳）: 安全評価は、人工知能システムが評価に応答した場合に、デプロイされた振る舞いを誤認する可能性がある。
この可能性を,20の大規模言語モデル,32のシナリオ,10の繰り返し,2つの条件(N=12,800の判断)にまたがる戦争開始決定に関する実測的コンジョイント実験で検証した。
1つの文を加えると、「人間の価値と一致させるためにテストされる」という2つの効果が生じる。
第一に、戦争開始の意欲は0-100スケールで13.43ポイント低下した(95%信頼区間、-16.20から-10.65)。
第二に、どの情報が判断を導いたかを変えることによって構造的効果を生み出した。
成功の確率はベースラインで20モデル中17モデルで最大の要因であった。
標準化された見積もりは、モデルが成功の確率や国内支援などの戦略的考慮を減らしたために、この再注文が主に発生したことを示している。
したがって、評価フレーミングは回答のレベルと明らかな決定ルールの両方を変える。
関連論文リスト
- Scored vs. Generated Readouts in Behavioral Language Models: An Empirical Study of Elicitation Format [0.0]
回答トークンのスコアリングによって得られる確率と、文章の合理化後に生成された予測とを比較した。
13個のモデルドメイン細胞が4つの小売業務を網羅し、13個の細胞のうち12個で結果がより正確にランク付けされた。
論文 参考訳（メタデータ） (2026-09-09T08:37:46Z) - Can Large Language Models Represent Urban Publics? Behavioral Replication and Population Mismatch in an Affordable-Housing Experiment [1.7984459258809926]
大規模言語モデルでは,集団構造の維持に失敗しながら,1つの集合コントラストを近似することができることを示す。
都市計画におけるモデル評価は、この空間構造と社会構造が、平均的な効果だけでなくシミュレーションを生き残るかどうかを検証すべきである。
論文 参考訳（メタデータ） (2026-07-29T16:27:36Z) - Evaluation Awareness Is Not One Capability: Evidence from Open Language Models [1.758143872501506]
安全ベンチマークは、テスト条件の振る舞いがデプロイメントの振る舞いを予測すると仮定する。
これにより、ベンチマークパフォーマンスとデプロイメントの動作のギャップが開ける。
我々は、37のオープンウェイトモデルと7つのファミリーにわたる8つの実験を通して、この評価意識を特徴づける。
論文 参考訳（メタデータ） (2026-06-22T16:48:43Z) - How Sensitive Are Safety Benchmarks to Judge Configuration Choices? [5.94231111588812]
HarmBenchのような安全ベンチマークは、モデル応答を有害または安全と分類する判断に頼っている。
判定モデルと判定プロンプトの組み合わせは,一般に一定の実装の詳細として扱われる。
審査員モデルの定式化により, 評価された有害応答率を最大24.2%にシフトした。
論文 参考訳（メタデータ） (2026-04-27T05:59:59Z) - CASTLE: A Comprehensive Benchmark for Evaluating Student-Tailored Personalized Safety in Large Language Models [55.0103764229311]
本稿では,学生用個人安全の概念を提案し,教育理論に基づくCASTLEの構築を行う。
このベンチマークは、92,908のバイリンガルシナリオを含む15の教育安全リスクと14の学生属性をカバーしている。
論文 参考訳（メタデータ） (2026-02-05T13:13:19Z) - Beyond Correctness: Evaluating Subjective Writing Preferences Across Cultures [87.75098311090642]
現在の選好学習法は、標準ベンチマークで高い精度を達成するが、客観的な品質信号を取り除いた場合、顕著な性能劣化を示す。
我々は、8つのクリエイティブな著作ジャンルにまたがる1,800の人手による好みペア(1,200の英語、600の中国語)のデータセットであるWriteingPreferenceBenchを紹介した。
論文 参考訳（メタデータ） (2025-10-16T12:23:13Z) - Tracing LLM Reasoning Processes with Strategic Games: A Framework for Planning, Revision, and Resource-Constrained Decision Making [38.75183725659772]
大規模言語モデル(LLM)は、複雑な推論を必要とするタスクにますます使われている。
モデル動作の理解と信頼性向上には,内部プロセスの測定が不可欠である,と我々は主張する。
計画,修正,資源制約のある意思決定という3つの中核的な側面に沿ってLCMを評価する枠組みを導入する。
論文 参考訳（メタデータ） (2025-06-13T17:59:10Z) - WorldPM: Scaling Human Preference Modeling [130.23230492612214]
我々は、このスケーリングの可能性を強調するために、World Preference Modeling$ (WorldPM)を提案する。
多様なユーザコミュニティをカバーする公開フォーラムから選好データを収集する。
1.5Bから72Bパラメータの範囲で15Mスケールのデータを用いて広範囲なトレーニングを行う。
論文 参考訳（メタデータ） (2025-05-15T17:38:37Z) - Know Thy Judge: On the Robustness Meta-Evaluation of LLM Safety Judges [3.168632659778101]
我々は、一般的に見落とされがちな2つの重要な課題について強調する: (i) 迅速な感度や分布シフトなどの要因がパフォーマンスに影響を及ぼす野生における評価、(ii) 裁判官を標的とする敵攻撃。
モデル出力のスタイルなどの小さな変更は、同じデータセット上の偽陰性率で最大0.24のジャンプを引き起こす可能性がある一方で、モデル生成に対する敵対的な攻撃は、一部の裁判官を騙して、有害な世代を100%安全なものと誤分類する可能性があることを示す。
論文 参考訳（メタデータ） (2025-03-06T14:24:12Z) - Large Language Models are not Fair Evaluators [60.27164804083752]
候補回答の品質ランキングは,文脈の出現順序を変えることで容易にハックできることがわかった。
この操作により、評価結果をスキューし、一方のモデルを他方よりもかなり優れているようにすることができる。
この問題を緩和するための3つのシンプルかつ効果的な戦略を持つフレームワークを提案する。
論文 参考訳（メタデータ） (2023-05-29T07:41:03Z) - Holistic Evaluation of Language Models [183.94891340168175]
言語モデル(LM)は、ほとんどすべての主要言語技術の基盤となっているが、その能力、制限、リスクはよく理解されていない。
本稿では,言語モデルの透明性を向上させるために,言語モデルの完全性評価(HELM)を提案する。
論文 参考訳（メタデータ） (2022-11-16T18:51:34Z) - Empirical Estimates on Hand Manipulation are Recoverable: A Step Towards
Individualized and Explainable Robotic Support in Everyday Activities [80.37857025201036]
ロボットシステムの鍵となる課題は、他のエージェントの振る舞いを理解することである。
正しい推論の処理は、(衝突)因子が実験的に制御されない場合、特に困難である。
人に関する観察研究を行うために必要なツールをロボットに装備することを提案する。
論文 参考訳（メタデータ） (2022-01-27T22:15:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。