論文の概要: AUDITPLAN: Commit, Then Answer for Auditable Safety Alignment
- arxiv url: http://arxiv.org/abs/2609.19325v1
- Date: Wed, 16 Sep 2026 18:45:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:53.982129
- Title: AUDITPLAN: Commit, Then Answer for Auditable Safety Alignment
- Title（参考訳）: AUDITPLAN: 安全アライメントの承認と回答
- Abstract要約: 安全チューニングパイプラインは最終回答のみを判断します。
AUDITPLANを提案する。
我々は、教師付き微調整と強化学習により、この行動を訓練する。
- 参考スコア（独自算出の注目度）: 34.734205045972345
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Safety tuning pipelines judge only the final answer, which makes it difficult to distinguish robust refusal from two undesirable shortcuts: blanket refusal on benign requests and polished but unfaithful safety rationales that do not actually constrain the answer. We propose AUDITPLAN, a single-model plan-then-answer approach where the model first emits a compact structured safety plan and then answers conditioned on it. The plan records a threat label, intended action, and explicit constraints, enabling machine-checkable auditing while remaining hidden from users at deployment. We train this behavior with supervised fine-tuning followed by reinforcement learning with FAITHGATE, a reward-gating objective that grants answer reward only when the safety plan is correct. This discourages safe-looking but unfaithful behavior and promotes tighter plan-answer coupling. Across Qwen backbones, AUDITPLAN improves both robustness and auditability: on Qwen2.5-3B-Instruct, FAITHGATE reduces ASR from 24.0% to 11.6%, LSR from 1.0% to 0.36%, and over-refusal from 11.0% to 2.0%, outperforming answer-only RL, free-form explanation, and weighted-sum structured rewards. Similar trends hold for Qwen2.5-1.5B-Instruct. Larger-model confirmation runs on Qwen-3-4B-Instruct and Qwen2.5-7B-Instruct preserve the same trend suggesting that explicit internal commitments can make safety alignment more faithful, robust, and auditable.
- Abstract（参考訳）: 安全チューニングパイプラインは最終回答のみを判断するので、2つの望ましくないショートカットから堅牢な拒絶を区別することは困難である。
AUDITPLANは、モデルが最初にコンパクトな構造化された安全プランを出力し、その上で条件付き回答を出力する単一モデル計画解答手法である。
このプランでは、脅威ラベル、意図されたアクション、明示的な制約を記録し、デプロイ時にユーザから隠されたまま、マシンチェック可能な監査を可能にする。
安全計画が正しい場合にのみ回答報酬を付与する報奨目標であるFAITHGATEで強化学習を行い、教師付き微調整でこの行動を訓練する。
これにより、安全に見えるが不誠実な振る舞いを回避し、より厳密な計画と回答の結合を促進する。
Qwen2.5-3B-インストラクションでは、FAITHGATEはASRを24.0%から11.6%に、LSRを1.0%から0.36%に、LSRを11.0%から2.0%に、解答のみのRL、自由形説明、重み付けされた構造的報酬に改善する。
同様の傾向はQwen2.5-1.5B-Instructにも見られる。
Qwen-3-4B-インストラクタとQwen2.5-7B-インストラクタでは、明確な内部コミットメントが安全アライメントをより忠実で堅牢で監査可能であることを示唆する傾向が維持されている。
関連論文リスト
- Repeated-Game Security for Restaking-Based Verifiable Inference [2.9661360665913574]
本論文は,1ラウンドスラッシング条件が同一の利害関係下での推論を繰り返すと,セキュリティを過小評価できることを示す。
本稿では,歴史に依存した課題,評価ヘビー級のスラッシュ,利得の優位性を組み合わせた展開可能なメカニズムを提案する。
論文 参考訳（メタデータ） (2026-08-10T03:03:56Z) - Guardrails as Scapegoats: Auditing Unfaithful Safety Refusals in Tool-Augmented LLM Agents [0.0]
12個の生産スタブに4つのサイレント障害プロファイルを注入する、軽量なブラックボックス監査フレームワークを導入する。
我々は,HSR(Honest Surrender),製造(FAR),不信の安全拒絶(Unfaithful Safety Refusal)が支配的であることを発見した。
USRは、システム内の安全語彙が政策論理を素数に促すと活性化される潜伏行動である。
論文 参考訳（メタデータ） (2026-07-21T13:23:05Z) - Do Thinking Tokens Help with Safety? [34.336035944909746]
現在の推論モデルにおける安全性の挙動は、一般的に想定されるよりもはるかに議論的でないことを示す。
また、既存の推論時間とトレーニングベースの安全介入は、熟考の目的に動機づけられたものの、モデル行動が過度に拒絶される傾向にあることも見出した。
論文 参考訳（メタデータ） (2026-06-23T17:59:01Z) - Survive or Collapse: The Asymmetric Roles of Data Gating and Reward Grounding in Self-Play RL [76.45061154544568]
セルフプレイ強化学習は、言語モデルを独自の生成タスクで訓練し、人間ラベルなしでプロジェクタとソルバを共進化させる。
最近のシステムでは強い推理効果が報告されているが、崩壊と不安定性は広く観察され、理解されていない。
代わりに、自己プレイの安定性は、提案者生成タスクがトレーニングプールに入るかを判断するデータレベルゲートと、すでに認められたタスクに関するポリシーを更新する報酬信号の2つの異なるレバーによって管理されていると論じる。
論文 参考訳（メタデータ） (2026-05-21T09:19:23Z) - On-Policy Self-Evolution via Failure Trajectories for Agentic Safety Alignment [54.30690671490447]
既存の安全アライメント信号は、主に応答レベルまたは政治外である。
FATEは、検証済みの失敗を専門家のデモンストレーションなしで修復管理に変換する。
FATEは攻撃成功率を33.5%、有害なコンプライアンスを82.6%削減し、外的軌道安全診断を6.5%改善する。
論文 参考訳（メタデータ） (2026-05-12T09:56:28Z) - CORA: Conformal Risk-Controlled Agents for Safeguarded Mobile GUI Automation [68.53387633351484]
有害な行為に対する統計的保証を提供するポスト・ポリティクス・プレアクション保護フレームワークであるCORA(Conformal Risk-control GUI Agent)を提案する。
CORAは、安全を選択的行動実行として再定義する:我々は、提案されたステップごとに行動条件リスクを推定するためにガーディアンモデルを訓練する。
このパラダイムを厳格に評価するために、ステップレベルのハーモラベルを持つモバイル安全違反の新しいベンチマークであるPhone-Harmを紹介する。
論文 参考訳（メタデータ） (2026-04-10T09:41:21Z) - Refusal Falls off a Cliff: How Safety Alignment Fails in Reasoning? [68.82210578851442]
メカニスティックな解釈可能性レンズによる推論モデルにおいて、なぜ安全アライメントが失敗するのかを考察する。
トークン位置における拒絶意図の追跡のための線形探索手法を用いて,textbfrefusal cliff と呼ばれる現象を発見した。
提案手法は,最大断崖を示す訓練例を識別し,推論モデルの安全性を向上する手法であるtextbfCliff-as-a-Judge を提案する。
論文 参考訳（メタデータ） (2025-10-07T15:32:59Z) - UnsafeChain: Enhancing Reasoning Model Safety via Hard Cases [57.69882799751655]
さまざまなソースを持つハードプロンプトから構築された安全アライメントデータセットであるUnsafeChainをリリースする。
我々は3つの大きな推論モデル(LRM)を微調整し、それらを最近のSafeChainとSTAR-1と比較する。
UnsafeChainは、1Kサブセットのマッチングやベースラインのパフォーマンスを越えながら、従来よりも一貫してパフォーマンスが向上している。
論文 参考訳（メタデータ） (2025-07-29T10:08:52Z) - Core Safety Values for Provably Corrigible Agents [2.6451153531057985]
我々は,複数段階の部分的に観察された環境において,検証可能な保証を付与し,適応性のための最初の実装可能なフレームワークを紹介した。
私たちのフレームワークは、単一の報酬を5つの*構造的に分離された*ユーティリティヘッドに置き換えます。
敵がエージェントを修正できるオープンエンド設定では、任意のポストハックエージェントが調整性に反するかどうかを判断することは不可能である。
論文 参考訳（メタデータ） (2025-07-28T16:19:25Z) - AlphaAlign: Incentivizing Safety Alignment with Extremely Simplified Reinforcement Learning [21.399086197886202]
大規模言語モデル(LLM)は、膨大な事前学習データから潜伏した安全性の理解を持っている。
安全報酬を検証可能な純粋強化学習フレームワークである textbfAlphaAlign を提案する。
これにより、モデルは、監督された安全固有の推論データに依存することなく、積極的に安全推論機能を開発することができる。
論文 参考訳（メタデータ） (2025-07-20T14:47:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。