論文の概要: Beyond Safe Answers: Segment-Aware Listwise Alignment for Reasoning Safety in Large Reasoning Models

• arxiv url: http://arxiv.org/abs/2609.15517v1
• Date: Mon, 14 Sep 2026 13:08:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:06.404029
• Title: Beyond Safe Answers: Segment-Aware Listwise Alignment for Reasoning Safety in Large Reasoning Models
• Title（参考訳）: 安全な答えを超えて:大規模推論モデルにおける安全な推論のためのセグメンション・アウェア・リストワイズメント
• Abstract要約: 大規模推論モデル(LRM)は、中間的推論トレースと最終答の両方が有害な内容を含むという二面的安全性の課題を提起する。 既存のアライメント手法はしばしば全応答レベルで動作し、安全でない推論は安全に見える最終回答によって隠蔽される。 本稿では,このギャップを3つのメカニズムで解決するSegment-aware Listwise Target DPO (SaLT-DPO)を提案する。
• 参考スコア（独自算出の注目度）: 16.06373215266569
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Reasoning Models (LRMs) pose a dual-surface safety challenge: both intermediate reasoning traces and final answers can contain harmful content. Existing alignment methods often operate at the whole-response level, allowing unsafe reasoning to be masked by a safe-looking final answer. We propose Segment-aware Listwise Target DPO (SaLT-DPO), which addresses this gap through three mechanisms: (1) segment-aware listwise alignment that decomposes responses into reasoning and answer segments, independently scores each segment's safety, and aligns length-normalized segment rewards with soft target distributions over multiple candidates; (2) joint safety coherence regularization that applies a weakest-link principle to promote safety consistency across both segments; and (3) utility anchoring on benign prompts to mitigate over-refusal and reasoning degradation. Experiments on three LRMs show that SaLT-DPO consistently reduces unsafe rates for both reasoning and answer segments while mitigating degradation in benign compliance and preserving general reasoning performance. Ablation studies demonstrate the complementary contributions of its components.
• Abstract（参考訳）: 大規模推論モデル(LRM)は、中間的推論トレースと最終答の両方が有害な内容を含むという二面的安全性の課題を提起する。 既存のアライメント手法はしばしば全応答レベルで動作し、安全でない推論は安全に見える最終回答によって隠蔽される。 本研究では,(1)応答を推論と応答セグメントに分解し,各セグメントの安全性を独立にスコアし,各セグメントのソフトターゲット分布と長周期正規化されたセグメント報酬をアライメントするセグメンツ・アウェア・ターゲットDPO (SaLT-DPO) ,(2) 両セグメント間の安全性の整合性を促進するために最も弱いリンク原理を適用した結合安全コヒーレンス正規化,(3) ベニグイン・プロンプトに係留してオーバリファインと推論の低下を緩和する機能を有するセグメンツ・アウェア・アウェア・ターゲットDPO (Segment-aware Listwise Target DPO) を提案する。 3つの LRM 実験により,SaLT-DPO は,良性コンプライアンスの低下を軽減し,一般的な推論性能を保ちながら,推論セグメントと応答セグメントの両方の不安全率を一貫して低下させることが示された。 アブレーション研究は、その成分の相補的な寄与を示している。

関連論文リスト

• TRACE: An Evidence-Grounded Benchmark for Safety Evaluation of Large Reasoning Models [14.234836081847364]
  大規模推論モデル(LRM)は、最終応答が安全に見える場合でも、安全でないコンテンツを含む可能性のある中間的推論トレースを生成する。 TRACEはエビデンスに基づく安全性評価ベンチマークで、プロンプト、推論トレース、最終応答をカバーしています。 各プロンプトに対して、4つのLEMが推論トレースと最終応答を生成し、各コンポーネントの安全性を注釈し、証拠を抽出する。
  論文  参考訳（メタデータ） (2026-08-25T08:35:47Z)
• When Safety Collides: Resolving Multi-Category Harmful Conflicts in Text-to-Image Diffusion via Adaptive Safety Guidance [79.1968671824977]
  テキスト・ツー・イメージ(T2I)拡散モデルは高品質な画像を生成する上で大きな進歩を見せている。 本研究では,適応型安全誘導(CASG)を動的に識別・適用する学習自由フレームワークとして,適応型安全誘導(CASG)を提案する。 T2Iの安全性ベンチマークの実験では、CASGの最先端性能が実証され、既存の方法と比較して有害率が最大15.4%低下した。
  論文  参考訳（メタデータ） (2026-02-24T13:20:31Z)
• Mitigating Safety Tax via Distribution-Grounded Refinement in Large Reasoning Models [63.368505631152594]
  安全調整は、大きな推論モデル(LRM)の一般的な推論能力を乱す安全税を発生させる。 LRMの安全アライメントに使われる既存のデータセットは、通常、外部のLRMまたは人間のラベルから安全推論の痕跡と回答を蒸留することによって構築される。 本稿では,DGRと呼ばれる安全アライメントデータセット構築手法を提案する。DGRは,既存のアウト・オブ・ディストリビューション型安全推論データセットを改良し,目標のLLM内部分布に適合させる。
  論文  参考訳（メタデータ） (2026-02-02T14:18:48Z)
• Attributing and Exploiting Safety Vectors through Global Optimization in Large Language Models [50.91504059485288]
  本報告では,全頭部のグローバルな最適化により,安全クリティカルな注意点を同時に識別するフレームワークを提案する。 我々は,アクティベーション・リマッチによって同定された安全ベクトルを利用する,新しい推論時ホワイトボックス・ジェイルブレイク法を開発した。
  論文  参考訳（メタデータ） (2026-01-22T09:32:43Z)
• SafeRBench: A Comprehensive Benchmark for Safety Assessment in Large Reasoning Models [60.8821834954637]
  LRMの安全性をエンドツーエンドに評価する最初のベンチマークであるSafeRBenchを紹介する。 私たちは、リスクカテゴリとレベルを入力設計に組み込んだ先駆者です。 我々は,長い推論トレースを意味的に一貫性のある単位にセグメント化するためのマイクロシンクのチャンキング機構を導入する。
  論文  参考訳（メタデータ） (2025-11-19T06:46:33Z)
• Towards Safe Reasoning in Large Reasoning Models via Corrective Intervention [53.25106308403173]
  既存の手法は、安全推論の独特な重要性を軽視し、信頼性を損なうとともに、悪質なユーザに対して安全でない推論がアクセス可能で、悪質なユーザによって悪用された場合、アプリケーションに潜在的なリスクを生じさせることを示す。 我々は、安全トリガー付きコンプライアンスステップを代入し、強い信号による優先学習のためのペアを構築することで、安全推論を強制するアライメント手法であるIntervened Preference Optimization (IPO)を提案する。
  論文  参考訳（メタデータ） (2025-09-29T07:41:09Z)
• SaRO: Enhancing LLM Safety through Reasoning-based Alignment [20.754670444745067]
  大規模言語モデル(LLM)の現在の安全アライメント技術は、2つの大きな課題に直面している。 過度な調整は、良心的な指示の過剰な拒絶につながる。 本稿では,安全志向型推論をアライメントプロセスに組み込むための安全指向推論最適化フレームワーク(SaRO)を提案する。
  論文  参考訳（メタデータ） (2025-04-13T03:36:06Z)
• Refuse Whenever You Feel Unsafe: Improving Safety in LLMs via Decoupled Refusal Training [67.30423823744506]
  我々は,LLMに対して,いかなる応答位置においても有害なプロンプトへのコンプライアンスを拒否する権限を付与する,新しいアプローチであるDecoupled Refusal Training(DeRTa)を導入する。 DeRTaは,(1)安全応答の開始に有害な応答のセグメントを付加することにより,安全でないコンテンツの認識と回避をモデルに訓練する,(2)有害応答シーケンスを通して潜在的障害から安全拒絶へ移行する能力をモデルに装備する強化遷移最適化(RTO)という,2つの新しいコンポーネントを組み込んでいる。
  論文  参考訳（メタデータ） (2024-07-12T09:36:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。