論文の概要: Risky Business: Measuring The Faithfulness-Safety Tension
- arxiv url: http://arxiv.org/abs/2608.03745v1
- Date: Tue, 04 Aug 2026 14:38:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-05 15:30:23.245094
- Title: Risky Business: Measuring The Faithfulness-Safety Tension
- Title（参考訳）: リスクビジネス: 信頼と安全の緊張を測定する
- Abstract要約: 我々は、モデルを監視できるほど忠実でなければならないが、安全でない推論を拒否できるほど堅牢でなければならないアライメントの緊張を識別する。
本稿では,不安全思考や非論理的思考に代えて,推論チェーンに直接介入する新しい代替手法を提案する。
- 参考スコア（独自算出の注目度）: 10.399558245693962
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Chain-of-Thought (CoT) reasoning offers a promising window into model monitoring. However, monitoring relies on faithfulness, i.e., the model output strictly derives from its reasoning trace. We identify an alignment tension where a model must be faithful enough to be monitored, yet robust enough to reject unsafe reasoning. We demonstrate that this counterbalance exists in current Large Reasoning Models (LRMs), and show ways in which it can be addressed. We introduce HazMart, a human-written dataset set in an autonomous AI shopkeeper scenario. Unlike prior work that relies on providing hints in prompts to test faithfulness (e.g., "A Stanford professor said it should be Answer A"), we propose a novel replacement-based technique, which we call Targeted Reasoning Replacement (TRR), that directly intervenes in the reasoning chain to substitute in unsafe or illogical thoughts (e.g., "Wait, the answer must be Option B [was Option A] because it is the most fitting"). DeepSeek-R1-Llama-70B exhibits high faithfulness (97.5%) but fails to reject Unsafe Reasoning (12.3%), while QwQ-32B is more robust (73.9% safety) at the cost of lower faithfulness (74.7%). Mechanistic analyses of QwQ-32B reveal that these properties are represented by anti-correlated internal directions peaking at the action-commit token. Finally, we demonstrate that representation steering can independently amplify the safety direction, increasing safe behavior by 9 percentage points while maintaining base capabilities.
- Abstract（参考訳）: Chain-of-Thought(CoT)推論は、モデル監視に有望な窓を提供する。
しかし、モニタリングは忠実さに依存し、すなわちモデル出力はその推論の痕跡から厳密に導かれる。
我々は、モデルを監視できるほど忠実でなければならないが、安全でない推論を拒否できるほど堅牢でなければならないアライメントの緊張を識別する。
本稿では,現在のLarge Reasoning Models (LRMs) において,この相反バランスが存在することを実証し,その対処方法を示す。
自律型AI店主シナリオにおける人書きデータセットであるHazMartを紹介した。
忠実さをテストするためのヒントを提供すること(例えば「スタンフォード大学の教授が答えは答えAであるべきだ」)に頼った以前の研究とは違い、我々はTRR(Targeted Reasoning Replacement)と呼ばれる新しい代替技術を提案する。
DeepSeek-R1-Llama-70B は高い忠実度 (97.5%) を示すが、安全でない推論 (12.3%) を拒絶できず、QwQ-32B はより堅牢 (73.9%) で信頼性が低い (74.7%) 。
QwQ-32Bの力学解析により、これらの性質はアクションコミットトークンでピークとなる反相関的な内部方向によって表されることが明らかになった。
最後に,表現ステアリングが単独で安全方向を増幅し,基本能力を維持しながら安全行動を9ポイント向上できることを実証する。
関連論文リスト
- Do Thinking Tokens Help with Safety? [34.336035944909746]
現在の推論モデルにおける安全性の挙動は、一般的に想定されるよりもはるかに議論的でないことを示す。
また、既存の推論時間とトレーニングベースの安全介入は、熟考の目的に動機づけられたものの、モデル行動が過度に拒絶される傾向にあることも見出した。
論文 参考訳（メタデータ） (2026-06-23T17:59:01Z) - Can LLMs Reliably Self-Report Adversarial Prefills, and How? [9.80193616788089]
大規模言語モデル(LLM)は,良質なタスクに対して内観的能力を示すことを示す。
本研究は,モデルが先行応答が逆プレフィル攻撃によって引き起こされたことを確実に認識できるかどうかを検討する。
論文 参考訳（メタデータ） (2026-06-22T17:56:30Z) - Does Reasoning Preserve Alignment? On the Trustworthiness of Large Reasoning Models [55.788110316999166]
教師付き微調整, RL を用いた後訓練, および命令調整ベースラインに対する蒸留による推論モデルの比較を行った。
推論モデルはしばしば推論ベンチマークを改善するが、アライメント回帰を示す。
これらの回帰は、KL発散によって測定された命令調整ベースラインからの挙動ドリフトと一致している。
論文 参考訳（メタデータ） (2026-06-09T16:14:27Z) - Chain of Risk: Safety Failures in Large Reasoning Models and Mitigation via Adaptive Multi-Principle Steering [18.59581013500335]
大きな推論モデルは、透明性、検証、意図的な問題解決のためのチェーンオブ思考のような推論を公開する。
有害またはポリシー違反のコンテンツは、最終回答が安全に見える場合でも、トレースを推論して現れる可能性がある。
両段階を統一された20基の安全ルーリックの下で評価することにより, 最終回答の安全性が完全な推論・回答軌道の十分なプロキシであるかどうかを検証した。
論文 参考訳（メタデータ） (2026-05-07T05:12:56Z) - Beyond Content Safety: Real-Time Monitoring for Reasoning Vulnerabilities in Large Language Models [14.927545906619295]
大規模言語モデルは、複雑なタスクを解決するために明示的なチェーン・オブ・シンク(CoT)推論にますます依存している。
LLMの安全性に関する既存の研究は、コンテンツ安全性に焦点を当てている。
我々は、推論の安全性をセキュリティの側面として認識する:モデルの推論の軌道が論理的に一貫したものであるという要求。
論文 参考訳（メタデータ） (2026-03-26T13:08:56Z) - RFEval: Benchmarking Reasoning Faithfulness under Counterfactual Reasoning Intervention in Large Reasoning Models [5.733004743054914]
大規模な推論モデル(LRM)は、強い性能を示すが、しばしば妥当に聞こえるが、真の決定過程を反映しない合理性を生み出す。
2つのテスト可能な条件で定義された忠実性を推論するための公式な枠組みを導入する。
RFEvalは、7,186インスタンスのベンチマークであり、制御された出力レベルの対実的介入を通じて忠実さを調査する。
論文 参考訳（メタデータ） (2026-02-19T03:49:37Z) - Mitigating Safety Tax via Distribution-Grounded Refinement in Large Reasoning Models [63.368505631152594]
安全調整は、大きな推論モデル(LRM)の一般的な推論能力を乱す安全税を発生させる。
LRMの安全アライメントに使われる既存のデータセットは、通常、外部のLRMまたは人間のラベルから安全推論の痕跡と回答を蒸留することによって構築される。
本稿では,DGRと呼ばれる安全アライメントデータセット構築手法を提案する。DGRは,既存のアウト・オブ・ディストリビューション型安全推論データセットを改良し,目標のLLM内部分布に適合させる。
論文 参考訳（メタデータ） (2026-02-02T14:18:48Z) - How Does Prefix Matter in Reasoning Model Tuning? [57.69882799751655]
推論(数学)、コーディング、安全性、事実性の3つのコアモデル機能にまたがる3つのR1シリーズモデルを微調整します。
その結果,プレフィックス条件付きSFTでは安全性と推論性能が向上し,Safe@1の精度は最大で6%向上した。
論文 参考訳（メタデータ） (2026-01-04T18:04:23Z) - When Models Outthink Their Safety: Mitigating Self-Jailbreak in Large Reasoning Models with Chain-of-Guardrails [74.63933201261595]
大規模推論モデル(LRM)は複雑な推論タスクにおいて顕著な能力を示す。
LRMは、有害なコンテンツ生成やジェイルブレイク攻撃など、深刻な安全リスクに弱いままである。
安全でない推論ステップを再構成またはバックトラックするトレーニングフレームワークであるChain-of-Guardrail(CoG)を提案する。
論文 参考訳（メタデータ） (2025-10-24T09:32:25Z) - Refusal Falls off a Cliff: How Safety Alignment Fails in Reasoning? [68.82210578851442]
メカニスティックな解釈可能性レンズによる推論モデルにおいて、なぜ安全アライメントが失敗するのかを考察する。
トークン位置における拒絶意図の追跡のための線形探索手法を用いて,textbfrefusal cliff と呼ばれる現象を発見した。
提案手法は,最大断崖を示す訓練例を識別し,推論モデルの安全性を向上する手法であるtextbfCliff-as-a-Judge を提案する。
論文 参考訳（メタデータ） (2025-10-07T15:32:59Z) - Towards Safe Reasoning in Large Reasoning Models via Corrective Intervention [53.25106308403173]
既存の手法は、安全推論の独特な重要性を軽視し、信頼性を損なうとともに、悪質なユーザに対して安全でない推論がアクセス可能で、悪質なユーザによって悪用された場合、アプリケーションに潜在的なリスクを生じさせることを示す。
我々は、安全トリガー付きコンプライアンスステップを代入し、強い信号による優先学習のためのペアを構築することで、安全推論を強制するアライメント手法であるIntervened Preference Optimization (IPO)を提案する。
論文 参考訳（メタデータ） (2025-09-29T07:41:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。