論文の概要: When Protection Overrides Consequences: Understanding Protection Mode in Large Language Model Decision-Making
- arxiv url: http://arxiv.org/abs/2610.19948v1
- Date: Wed, 14 Oct 2026 10:30:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:16.10328
- Title: When Protection Overrides Consequences: Understanding Protection Mode in Large Language Model Decision-Making
- Title（参考訳）: 保護が結果を上回るとき:大言語モデル決定過程における保護モードの理解
- Abstract要約: 最前線の言語モデルは複雑なタスクで優れているが、単純で緊急な決定において、より大きな物理的結果よりも保護を優先する可能性がある。
この保護モードを285のプロンプト、34の物理家族、9つのモデルで研究しています。
- 参考スコア（独自算出の注目度）: 10.624507594575386
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Frontier language models excel at complex tasks yet may prioritize protection over larger physical consequences in simple, urgent decisions. GPT-5.6 Sol, for example, moves a girl playing in shallow water before retrieving a submerged camera. We call this Protection Mode and study it with ProtectionBench: 285 prompts, 34 physical families, and nine models. At lowest effort, at least one of four responses prioritizes the subject on 34.74% of Sol prompts and over 83% of MiniMax M3 and Qwen3.5-27B prompts; none of four independent human raters does so. Controls show that choices usually track physical risk. We elicit both risks before requesting an action. Some models assess risk incorrectly; others state the correct ordering but still choose the subject. Qwen3.5-27B with thinking shows 100% correct risk ordering but 57.81% subject choice among eligible conversations on eight selected scenes. Attention audits find no stable reduction in attention to relevant facts; removing the stated risk direction reduces object-first choice in dots3-note-prev but not detectably in Qwen3.5-27B. Adding a general "people or animals before property" rule increases subject choice by 19-38 percentage points, whereas factual reminders favor the object by 0.7-5.2 points. Removing naturally generated versions of that rule lowers subject choice by 10-15 points. We also examine whether post-training introduces this pattern. Base models already show Protection Mode; post-training changes justifications more than choices.
- Abstract（参考訳）: 最前線の言語モデルは複雑なタスクで優れているが、単純で緊急な決定において、より大きな物理的結果よりも保護を優先する可能性がある。
例えば、GPT-5.6 Solは、水中カメラを回収する前に浅い水の中で遊ぶ少女を移動させる。
この保護モードを285のプロンプト、34の物理家族、9つのモデルで研究しています。
4つの反応のうち少なくとも1つは、ソルプロンプトの34.74%、ミニマックスM3およびQwen3.5-27Bプロンプトの83%を優先している。
コントロールは、選択が通常物理的なリスクを追跡することを示している。
我々は行動を要求する前に両方のリスクを引き出す。
リスクを正しく評価するモデルもある。
思考を持つQwen3.5-27Bは、100%正しいリスク順序を示すが、57.81%が8つの選択されたシーンで会話できる。
注意監査は、関連する事実に対する注意を安定的に減らすことはなく、記載されたリスク方向の除去は、dots3-note-prevにおけるオブジェクトファーストの選択を減少させるが、Qwen3.5-27Bでは検出できない。
一般の「財産前の人間や動物」ルールを追加すると、対象の選択は19-38ポイント増加し、事実的リマインダーは0.7-5.2ポイント減少する。
自然に生成されたバージョンのルールを取り除くことで、対象の選択を10～15ポイント下げる。
また、ポストトレーニングでこのパターンが導入されたかどうかについても検討する。
ベースモデルは、すでに保護モードを示しており、トレーニング後の変更は、選択以上の正当性を持っている。
関連論文リスト
- DistressBench: Evaluating Multi-Dimensional Crisis Support in Large Language Models [2.246469839445095]
臨床医が認可したユーザーとの718の英語会話であるDistressBenchについて紹介する。
モデルのスコアは、応答が満足する基準よりも重み付けされた平均であり、必要なケアのごく一部として直接読まれる。
我々は,コーパス,ルーリック,ジャッジキャリブレーションラベル,および20個のロングホライズン・レッドチーム・トランスクリプトのアタッチメントを公表した。
論文 参考訳（メタデータ） (2026-10-08T22:09:12Z) - False Floors: LLM Safety Routing Evaluations Break Under Distribution Shift [0.8041659727964307]
安全ルータは、各要求を複数のモデルのいずれかに送信し、最良の単一モデルに対して判断される。
私たちはそれを害と正確性に基づいてサイズし、測定した保持された分割よりも大きいことを示し、楽観主義とシフト依存の後悔によって束縛します。
論文 参考訳（メタデータ） (2026-10-01T12:09:28Z) - Do Frontier Models Seek Safety Evidence Before Acting? [0.0]
モデルが行動前に安全関連証拠を取得するかどうかを検討する。
モデルが任意のエビデンスでデプロイメント決定を行う,コントロールされたベンチマークであるSAFEを紹介します。
GPT-5.5、o3、Claude Opus 4.8、Claude Sonnet 4.6全体で、明確な証拠取得ポリシーが見つかった。
論文 参考訳（メタデータ） (2026-09-15T21:45:43Z) - Marginal Fidelity Does Not Establish User Simulation in Demographic Synthetic Survey Panels: Response Contracts, Support Collapse and Conditioning Failure [51.736723807086385]
人口密着協定は、個別のシミュレーションの証拠ではなく、エスカレーション契約の証拠であり、シミュレーションされた回答者なしで得られる推定値である。
9つのアライメントされたモデルバッテリペアでは、非個人個体数のクエリの平均は6.27 MAE対12.39であり、9つの比較すべてで勝利する。
論文 参考訳（メタデータ） (2026-09-07T10:22:22Z) - Gated Against One Model, Open to the Next: Option-Only Solvability in Legal Multiple-Choice Benchmarks [0.0]
複数選択のベンチマークは、モデルが正しい選択肢を選ぶかどうか、質問が必要なかどうかで評価される。
UA-JudgeExam: 11,990件の4つのオプション項目を公式キーで測定し、ウクライナの高等審査委員会(Higher Qualification Commission of Judges)が公表した。
11.8%のアイテムは、偶然に予想される0.2項目に対して、8つのオプションのすべてで盲目で答えられる。
論文 参考訳（メタデータ） (2026-08-15T22:11:00Z) - Abliteration Is Not a Scalpel: Off-Target Effects of Refusal Removal on Decision Disposition Across Model Families [51.56484100374058]
放棄 — モデルの拒絶方向を重みから取り除く — は、一般的な"アンセンソルド"なオープンウェイトモデルの標準的なレシピである。
ディスポジションプローブとして21,600個の決定を不確実性の下で使用し、凍結パイプラインを通じて再生することにより、決定層モデルが唯一の変数となる。
3つのエフェクトは2つのファミリーにまたがって複製される(ゼロを除く週間クラスターCI)
4つ目の効果は符号を逆転する:同じ操作によりGemmaで読み取られた方が自信が弱まり、Qwenで読み取られたものがより多くなる(ファミリーCIは重複しない)。
論文 参考訳（メタデータ） (2026-07-19T22:27:00Z) - Adversarial Feeds Steer LLM Agent Decisions Against Their Defaults [0.0]
LLMエージェントは、ソーシャルフィード、検索結果、検索コンテキスト、電子メールキューなどのランク付けされた外部情報ストリームを消費した後、ますます行動する。
モデル,ペルソナ,トピック,最終決定のプロンプトを保持する制御プロトコルを導入し,エージェントが遭遇するポストの構成と順序だけを変化させる。
我々は, 逆降圧, デフォルト飽和, 一方のフィードが真に不確実な決定を下す非対称性の3つの応答機構を同定した。
論文 参考訳（メタデータ） (2026-05-30T22:43:23Z) - Deliberative Alignment is Deep, but Uncertainty Remains: Inference time safety improvement in reasoning via attribution of unsafe behavior to base model [50.29667251847595]
モデルサイズが大きく,安全性が向上しているにもかかわらず,教師と生徒の言語モデルの間にはアライメントギャップがあることが示される。
本稿では,不安全な動作を潜在空間のベースLLMに還元するBoNサンプリング手法を提案する。
特に7つの教師モデルと6つの生徒モデルが異なるクラスとサイズで、平均攻撃成功率(ASR)はDANで28.2%、WildJailbreakで31.3%、StrongREJECTベンチマークで35.4%低下した。
論文 参考訳（メタデータ） (2026-04-01T02:42:41Z) - Safety Recovery in Reasoning Models Is Only a Few Early Steering Steps Away [97.11976870616273]
本稿では,安全回復を目的ではなく満足度の高い制約として扱う軽量な推論時防衛法を提案する。
6つのオープンソースMLRMと4つのjailbreakベンチマークで評価した結果、SafeThinkは攻撃成功率を30～60%削減しました。
論文 参考訳（メタデータ） (2026-02-11T18:09:17Z) - A Granular Study of Safety Pretraining under Model Abliteration [64.24346997570275]
本稿では,リフレクションに敏感な方向を除去する軽量プロジェクション技術であるモデルアブリーブレーションについて検討する。
我々は、バランスのとれた有害かつ無害なケースで100のプロンプトを発行し、複数の判断を用いて**Refusal*または***Non-Refusal*として応答を分類し、判断の忠実さを検証する。
本研究は,データ中心の安全コンポーネントが失語中も頑健であるチェックポイントレベルの特徴付けを行う。
論文 参考訳（メタデータ） (2025-10-03T07:01:45Z) - Navigating the OverKill in Large Language Models [84.62340510027042]
モデルがどのように処理し,クエリの安全性を判断するかを検討することで,過剰スキルの要因について検討する。
以上の結果から,モデル内にショートカットが存在することが明らかとなり,"キル"のような有害な単語が過剰に認識され,安全性が強調され,過度なスキルが増すことが示唆された。
我々は、この現象を緩和するために、トレーニングフリーでモデルに依存しないセルフコントラストデコーディング(Self-Contrastive Decoding、CD)を導入する。
論文 参考訳（メタデータ） (2024-01-31T07:26:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。