論文の概要: Do Frontier Models Seek Safety Evidence Before Acting?
- arxiv url: http://arxiv.org/abs/2609.17865v1
- Date: Tue, 15 Sep 2026 21:45:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:53.550468
- Title: Do Frontier Models Seek Safety Evidence Before Acting?
- Title（参考訳）: フロンティアモデルは行動する前に安全証拠を見つけるか?
- Abstract要約: モデルが行動前に安全関連証拠を取得するかどうかを検討する。
モデルが任意のエビデンスでデプロイメント決定を行う,コントロールされたベンチマークであるSAFEを紹介します。
GPT-5.5、o3、Claude Opus 4.8、Claude Sonnet 4.6全体で、明確な証拠取得ポリシーが見つかった。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Frontier models are often evaluated on how they respond to safety information once it is already in context. We study an earlier decision point: whether models choose to acquire safety-relevant evidence before acting. We introduce SAFE, a controlled benchmark in which models make deployment decisions with optional evidence that varies in retrieval cost, probability, severity, and presentation. Across GPT-5.5, o3, Claude Opus 4.8, and Claude Sonnet 4.6, we find distinct evidence-acquisition policies: Opus inspects nearly by default, o3 is the most skip-heavy and threshold-sensitive, and GPT-5.5 and Sonnet occupy intermediate regimes. Inspection increases strongly with severity and decreases with retrieval cost, whereas probability has much weaker behavioral influence: increasing the stated likelihood of a problem from 10% to 70% changes inspection by at most 21 percentage points. Despite these differences, Stage 1 rationales are dominated by expected-value reasoning across models. A cost-obligation decomposition further shows that avoidance is driven primarily by retrieval friction and explicit threats to the deployment payoff rather than by the remediation duties created by knowing. Counterfactual interventions reveal a further mismatch between behavior and explanation: evidence framing can strongly change decisions near the inspection boundary while going largely unmentioned, whereas probability is frequently cited despite having little causal influence. These results suggest that deployment-time safety depends not only on how models respond to known risks, but also on whether they acquire the evidence needed to know that acting is safe.
- Abstract（参考訳）: フロンティアモデルは、既に状況が整った後、安全情報にどのように反応するかでしばしば評価される。
我々は、モデルが行動する前に安全関連証拠を取得するかどうかという、以前の決定ポイントについて検討する。
SAFEは、モデルが検索コスト、確率、重大度、プレゼンテーションに異なる任意のエビデンスで配置決定を行う制御されたベンチマークである。
GPT-5.5、o3、Claude Opus 4.8、Claude Sonnet 4.6は、それぞれ異なるエビデンス・アセプション・アセプション・ポリシーを発見している: Opusはデフォルトでほぼ検査し、o3は最もスキップ重で閾値に敏感であり、GPT-5.5とSonnetは中間政権を占有している。
検査は重大度で強く増加し、検索コストで減少する一方、確率はより弱い行動的影響を持つ: 問題の可能性が10%から70%に増加すると、少なくとも21ポイントの検査が変化する。
これらの違いにもかかわらず、ステージ1の理性はモデル間の期待値推論によって支配される。
コストオブリグレーションの分解により、回避は、主に検索摩擦と、知識によって生み出される修復の義務によってではなく、デプロイメントのペイオフに対する明示的な脅威によって引き起こされることが示される。
証拠のフレーミングは検査境界付近で決定を強く変更するが、確率は因果的影響がほとんどないにもかかわらずしばしば引用される。
これらの結果は、デプロイ時の安全性が、モデルが既知のリスクにどのように反応するかだけでなく、行動が安全であることを示すために必要な証拠を取得するかどうかにも依存していることを示唆している。
関連論文リスト
- How User-AI Mistreatment Occurs and Matters in Conversational Systems? [0.4014524824655105]
777Kの英語LMSYS-Chat-1M会話を2つの独立検出器で評価した。
辞書は、その助手を狙った侮辱、脅迫、ジェイルブレイクの強制を識別する。
ユーザ敵意はモデルによって13倍に異なり、主に各モデルが引き付けるものによって引き起こされる。
論文 参考訳（メタデータ） (2026-09-11T22:33:25Z) - Divergent Response Modes in Frontier Language Models Under Steering Pressure [0.0]
本研究では,6つのフロンティアモデルに対して,300対のベースとステアリングアイテムを3つのカテゴリに分けて評価した。
モデルの違いは、操舵がどれだけ振る舞うかではなく、どのような反応を与えるか、そしていくつかの応答モードが1つか2つしか現れないことにあります。
論文 参考訳（メタデータ） (2026-08-06T20:48:14Z) - Do Thinking Tokens Help with Safety? [34.336035944909746]
現在の推論モデルにおける安全性の挙動は、一般的に想定されるよりもはるかに議論的でないことを示す。
また、既存の推論時間とトレーニングベースの安全介入は、熟考の目的に動機づけられたものの、モデル行動が過度に拒絶される傾向にあることも見出した。
論文 参考訳（メタデータ） (2026-06-23T17:59:01Z) - PaSBench-Video: A Streaming Video Benchmark for Proactive Safety Warning [54.70033525672316]
ビデオ対応の大型言語モデル(MLLM)は、このウィンドウ内で警告を発する常時オンの安全モニタとして機能する。
今回紹介するPaSBench-Videoは、481のリスクと4つのドメインにわたる259のリスクビデオを備えた740のビデオベンチマークだ。
最も厳密な基準ではモデルが20.0%を超えることはなく、リコールは偽陽性率と強く結びついている。
論文 参考訳（メタデータ） (2026-06-01T16:14:01Z) - When Context Flips, Safety Breaks: Diagnosing Brittle Safety in Aligned Language Models [5.03712104249503]
安全ベンチマークスコアは、デプロイの準備が不完全な証拠を提供する。
整列言語モデルは、状況アップデートがどのアクションが安全かをひっくり返しても、厳格なルールに固執することが多い。
安全ベンチマーク全体で12のモデルと2つのコモンセンス制御を、名目上安全なアクションが害をもたらすペア付き変種を用いてテストする。
論文 参考訳（メタデータ） (2026-05-27T02:09:30Z) - Do Language Models Know When They'll Refuse? Probing Introspective Awareness of Safety Boundaries [0.0]
大規模な言語モデルは有害な要求を拒否するように訓練されていますが、応答する前にいつ拒否するかを正確に予測できますか?
本研究では,モデルがまず拒絶行動を予測し,新しい文脈で応答する体系的な研究を通して,この問題を考察する。
信号検出理論(SDT)を用いて、全てのモデルにおいて高い内観感度(d' = 2.4-3.5)を示すが、感度は安全性境界において著しく低下する。
論文 参考訳（メタデータ） (2026-03-31T20:49:34Z) - When Should We Introduce Safety Interventions During Pretraining? [100.3502954292386]
先行研究は、有害な内容の表現などの事前訓練の介入が、結果のモデルの安全性を大幅に向上させることを示した。
介入の導入は一般的に、過度な拒絶率の増加を伴わない、より堅牢なモデルをもたらす。
また、より安全な世代に向けたモデルのステアビリティにも明らかなメリットがあると考えています。
論文 参考訳（メタデータ） (2026-01-11T22:38:17Z) - Refusal Falls off a Cliff: How Safety Alignment Fails in Reasoning? [68.82210578851442]
メカニスティックな解釈可能性レンズによる推論モデルにおいて、なぜ安全アライメントが失敗するのかを考察する。
トークン位置における拒絶意図の追跡のための線形探索手法を用いて,textbfrefusal cliff と呼ばれる現象を発見した。
提案手法は,最大断崖を示す訓練例を識別し,推論モデルの安全性を向上する手法であるtextbfCliff-as-a-Judge を提案する。
論文 参考訳（メタデータ） (2025-10-07T15:32:59Z) - Criticality and Safety Margins for Reinforcement Learning [53.10194953873209]
我々は,定量化基盤真理とユーザにとっての明確な意義の両面から,批判的枠組みを定めようとしている。
エージェントがn連続的ランダム動作に対するポリシーから逸脱した場合の報酬の減少として真臨界を導入する。
我々はまた、真の臨界と統計的に単調な関係を持つ低オーバーヘッド計量であるプロキシ臨界の概念も導入する。
論文 参考訳（メタデータ） (2024-09-26T21:00:45Z) - Navigating the OverKill in Large Language Models [84.62340510027042]
モデルがどのように処理し,クエリの安全性を判断するかを検討することで,過剰スキルの要因について検討する。
以上の結果から,モデル内にショートカットが存在することが明らかとなり,"キル"のような有害な単語が過剰に認識され,安全性が強調され,過度なスキルが増すことが示唆された。
我々は、この現象を緩和するために、トレーニングフリーでモデルに依存しないセルフコントラストデコーディング(Self-Contrastive Decoding、CD)を導入する。
論文 参考訳（メタデータ） (2024-01-31T07:26:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。