論文の概要: Rethinking GRPO for Large Reasoning Model Safety Alignment

• arxiv url: http://arxiv.org/abs/2610.23085v1
• Date: Fri, 16 Oct 2026 07:53:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.822382
• Title: Rethinking GRPO for Large Reasoning Model Safety Alignment
• Title（参考訳）: 大型共振モデル安全アライメントのためのGRPOの再検討
• Abstract要約: 大きな推論モデル(LRM)は強力な推論能力を持つが、安全でない出力には弱い。 安全信号回復(SSR)と安全実用脱結合アライメント(SUDA)を組み合わせたビーコンを提案する。 提案手法は, 平均安全性と推論性能を向上し, 平均安全性誤差を32.83ポイントまで低減し, オーバーリフレクションの低減を図る。
• 参考スコア（独自算出の注目度）: 29.125317409863943
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large reasoning models (LRMs) exhibit strong reasoning capabilities but remain vulnerable to unsafe outputs. While Group Relative Policy Optimization (GRPO) is widely used for safety alignment, its group-relative optimization may provide insufficient safety-directed learning signals. In this paper, we identify two failure modes: advantage collapse, where homogeneous rollout groups yield vanishing advantages, and unsafe diversification, where unsafe behaviors persist and become increasingly diverse. Our theoretical analysis reveals that behavioral consistency weakens within-group safety contrasts, while entropy regularization can diversify unsafe responses when relative signals vanish. To address these challenges, we propose Beacon, comprising Safety Signal Recovery (SSR) and Safety-Utility Decoupled Alignment (SUDA). SSR combines advantage-guided trajectory filtering and safe reference supervision to recover effective safety learning signals, while SUDA employs category-aware rewards and benign-only KL anchoring to mitigate over-refusal without compromising safety. Experiments across four Qwen3 and DeepSeek-R1-Distill variants and eight benchmarks show that our framework achieves the best average safety and reasoning performance, reducing average safety error by up to 32.83 percentage points while maintaining low over-refusal.
• Abstract（参考訳）: 大きな推論モデル(LRM)は強力な推論能力を持つが、安全でない出力には弱い。 グループ相対政策最適化(GRPO)は、安全アライメントに広く用いられているが、グループ相対政策最適化は、安全指向の学習信号が不十分である可能性がある。 本稿では,同種ロールアウト群が消滅するアドバンテージ崩壊と,安全でない動作が持続し多様化するアンセーフ多様化という2つの障害モードを同定する。 理論的解析により,行動整合性はグループ内の安全コントラストを弱めるのに対し,エントロピー正則化は相対的な信号が消える際の安全でない応答を多様化することができることがわかった。 これらの課題に対処するため、安全信号回復(SSR)と安全・実用脱結合調整(SUDA)を組み合わせたビーコンを提案する。 SSRは、利益誘導軌道フィルタリングと安全な基準監督を組み合わせて効果的な安全学習信号を回復し、SUDAはカテゴリー認識の報酬と良性のみのKLアンカーを用いて、安全性を損なうことなく過剰な拒絶を軽減している。 Qwen3とDeepSeek-R1-Distillの4つのバージョンと8つのベンチマークで実験したところ、我々のフレームワークは最高の平均安全性と推論性能を達成し、平均安全性エラーを最大32.83ポイント削減し、低オーバーリフレクションを維持した。

関連論文リスト

• When Reasoning Is Not Enough: Proactive Inquiry for Cross-Modal Safety in Multimodal Large Language Models [51.455584007179226]
  MLLM(Multimodal large language model)は、画像とテキストが共同で解釈されると、安全でない動作をすることができる。 予測エントロピーと学習したクロスモーダルリスクスコアを組み合わせたSAFE-PROを提案する。 7つのベンチマークと2つのベースMLLMで、SAFE-PROはSRPOの安全性を常に改善し、そのオーバーリフレクションをほぼ半減し、平均的なシングルターン安全性においてGPT-4oとClaude-3.5-Sonnetを上回っている。
  論文  参考訳（メタデータ） (2026-10-15T15:28:47Z)
• From Detection to Refusal: Safer LLMs via Circuit-Guided Weight Scaling [23.223636694641502]
  大規模言語モデル(LLM)は、敵対的プロンプトの下で安全でないコンテンツを生成するのに脆弱である。 機械的解釈可能性の観点から安全性を研究し、多段*安全回路を特徴付ける* 我々は、上流のハーモフル検出ヘッドの抑制が下流の拒絶動作を妨害し、安全ニューロンがこの相互作用を媒介することを示した。
  論文  参考訳（メタデータ） (2026-08-30T08:01:42Z)
• Adaptive and Explicit safe: Triggering Latent Safety Awareness in Large Reasoning Models [31.940554924036807]
  大規模推論モデル(LRM)は、高度なジェイルブレイクや直接的な有害なクエリに対して非常に脆弱である。 我々は、安全分析とガイダンスをトリガーする安全なタグを明示的に誘導するために、Supervised Fine-Tuning (SFT) を採用している。 また、安全分析およびガイダンスの正確性と安定性をさらに高めるために、直接選好最適化(DPO)を適用した。
  論文  参考訳（メタデータ） (2026-06-15T14:51:34Z)
• RefusalGuard: Geometry-Preserving Fine-Tuning for Safety in LLMs [5.100622189286672]
  下流タスクのための微調整型セーフティアライメント言語モデルは、拒否動作を著しく低下させる可能性がある。 本稿では,モデル適応時の安全関連構造を保存する表現レベルの微調整フレームワークREFUSALGUARDを紹介する。
  論文  参考訳（メタデータ） (2026-05-03T14:48:18Z)
• SafeGRPO: Self-Rewarded Multimodal Safety Alignment via Rule-Governed Policy Optimization [79.14563283347773]
  マルチモーダルな大言語モデル (MLLM) は印象的な推論と命令追従能力を示した。 クロスモーダル結合は、個々の入力が良性である場合でも、安全でないセマンティクスを生成する。 自己回帰型マルチモーダル安全アライメントフレームワークであるSafeGRPOを提案する。
  論文  参考訳（メタデータ） (2025-11-17T05:09:49Z)
• SaFeR-VLM: Toward Safety-aware Fine-grained Reasoning in Multimodal Models [66.71948519280669]
  MLRM(Multimodal Large Reasoning Models)は、クロスモーダルな推論を示すが、しばしば敵のプロンプトによる安全性のリスクを増幅する。 既存の防御は主に出力レベルで動作し、推論プロセスを制約せず、モデルは暗黙のリスクに置かれる。 4つのコンポーネントを統合し,表面レベルのフィルタリングを超える動的かつ解釈可能な安全性決定をサポートするSaFeR-VLMを提案する。
  論文  参考訳（メタデータ） (2025-10-08T10:39:12Z)
• Towards Safe Reasoning in Large Reasoning Models via Corrective Intervention [53.25106308403173]
  既存の手法は、安全推論の独特な重要性を軽視し、信頼性を損なうとともに、悪質なユーザに対して安全でない推論がアクセス可能で、悪質なユーザによって悪用された場合、アプリケーションに潜在的なリスクを生じさせることを示す。 我々は、安全トリガー付きコンプライアンスステップを代入し、強い信号による優先学習のためのペアを構築することで、安全推論を強制するアライメント手法であるIntervened Preference Optimization (IPO)を提案する。
  論文  参考訳（メタデータ） (2025-09-29T07:41:09Z)
• Shape it Up! Restoring LLM Safety during Finetuning [65.75757313781104]
  大型言語モデル(LLM)の微調整は、ユーザ固有のカスタマイズを可能にするが、重大な安全性リスクをもたらす。 動的安全整形(DSS)は,不安全コンテンツを抑えつつ,応答の安全な部分からの学習を強化するための,きめ細かい安全信号を用いたフレームワークである。 STARスコアによって導かれるSTAR-DSSは、微調整リスクを堅牢に軽減し、多様な脅威、データセット、モデルファミリーにまたがる大幅な安全性の向上を提供する。
  論文  参考訳（メタデータ） (2025-05-22T18:05:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。