論文の概要: Mitigating the Safety-utility Trade-off in LLM Alignment via Adaptive Safe Context Learning

• arxiv url: http://arxiv.org/abs/2602.13562v1
• Date: Sat, 14 Feb 2026 02:37:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-17 14:17:28.147815
• Title: Mitigating the Safety-utility Trade-off in LLM Alignment via Adaptive Safe Context Learning
• Title（参考訳）: 適応型セーフコンテキスト学習によるLLMアライメントにおける安全ユーティリティトレードオフの緩和
• Authors: Yanbo Wang, Minzheng Wang, Jian Liang, Lu Wang, Yongcan Yu, Ran He,
• Abstract要約: 適切なコンテキストの推論を改善するために,適応型セーフコンテキスト学習(ASCL)フレームワークを提案する。 ASCLは、安全アライメントをマルチターンツール使用プロセスとして定式化し、安全ルールをいつ参照するか、進行中の推論をどのように生成するかを自律的に決定する権限をモデルに与える。
• 参考スコア（独自算出の注目度）: 35.52517435286337
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While reasoning models have achieved remarkable success in complex reasoning tasks, their increasing power necessitates stringent safety measures. For safety alignment, the core challenge lies in the inherent trade-off between safety and utility. However, prevailing alignment strategies typically construct CoT training data with explicit safety rules via context distillation. This approach inadvertently limits reasoning capabilities by creating a rigid association between rule memorization and refusal. To mitigate the safety-utility trade-off, we propose the Adaptive Safe Context Learning (ASCL) framework to improve the reasoning given proper context. ASCL formulates safety alignment as a multi-turn tool-use process, empowering the model to autonomously decide when to consult safety rules and how to generate the ongoing reasoning. Furthermore, to counteract the preference for rule consultation during RL, we introduce Inverse Frequency Policy Optimization (IFPO) to rebalance advantage estimates. By decoupling rule retrieval and subsequent reasoning, our method achieves higher overall performance compared to baselines.
• Abstract（参考訳）: 推論モデルは複雑な推論タスクにおいて顕著な成功を収めてきたが、その力の増大は厳密な安全対策を必要としている。 安全性の整合性については、安全性とユーティリティの本質的にのトレードオフが課題である。 しかし、一般的なアライメント戦略は、コンテキスト蒸留を通じて明確な安全ルールでCoTトレーニングデータを構築するのが一般的である。 このアプローチは、規則記憶と拒絶の厳密な結びつきを作ることによって、必然的に推論能力を制限する。 安全ユーティリティのトレードオフを軽減するため,適切なコンテキストの推論を改善するために,適応型セーフコンテキスト学習(ASCL)フレームワークを提案する。 ASCLは、安全アライメントをマルチターンツール使用プロセスとして定式化し、安全ルールをいつ参照するか、進行中の推論をどのように生成するかを自律的に決定する権限をモデルに与える。 さらに、RLにおけるルールコンサルテーションの嗜好に対処するため、逆周波数政策最適化(IFPO)を導入し、有利な見積もりを再バランスさせる。 ルール検索とその後の推論を分離することにより,本手法はベースラインよりも全体的な性能が向上する。

関連論文リスト

• Reasoning over Precedents Alongside Statutes: Case-Augmented Deliberative Alignment for LLM Safety [59.01189713115365]
  本研究は, 広範囲な安全コードを明確に指定することによる影響を, 図示的事例を通して示すことよりも評価する。 明示的なコードを参照することで、無害性が向上し、系統的に有用性が低下することがわかった。 自己生成型安全推論チェーンの強化学習を利用したLLMのケース拡張型検討アライメント手法であるCADAを提案する。
  論文  参考訳（メタデータ） (2026-01-12T21:08:46Z)
• SafeGRPO: Self-Rewarded Multimodal Safety Alignment via Rule-Governed Policy Optimization [79.14563283347773]
  マルチモーダルな大言語モデル (MLLM) は印象的な推論と命令追従能力を示した。 クロスモーダル結合は、個々の入力が良性である場合でも、安全でないセマンティクスを生成する。 自己回帰型マルチモーダル安全アライメントフレームワークであるSafeGRPOを提案する。
  論文  参考訳（メタデータ） (2025-11-17T05:09:49Z)
• Towards Safe Reasoning in Large Reasoning Models via Corrective Intervention [53.25106308403173]
  既存の手法は、安全推論の独特な重要性を軽視し、信頼性を損なうとともに、悪質なユーザに対して安全でない推論がアクセス可能で、悪質なユーザによって悪用された場合、アプリケーションに潜在的なリスクを生じさせることを示す。 我々は、安全トリガー付きコンプライアンスステップを代入し、強い信号による優先学習のためのペアを構築することで、安全推論を強制するアライメント手法であるIntervened Preference Optimization (IPO)を提案する。
  論文  参考訳（メタデータ） (2025-09-29T07:41:09Z)
• RSafe: Incentivizing proactive reasoning to build robust and adaptive LLM safeguards [55.76285458905577]
  大規模言語モデル(LLM)は、意図的な安全確保努力にもかかわらず、脆弱性を示し続けている。 ポリシー違反のリスクから保護するために、外部ガードモデルによるシステムレベルのモデレーションが一般的な緩和戦略として現れている。 我々は、特定の安全ポリシーの範囲内で堅牢な保護を提供するためのガイド付き安全推論を行う適応型推論ベースの安全ガードであるRSafeを提案する。
  論文  参考訳（メタデータ） (2025-06-09T13:20:04Z)
• Shape it Up! Restoring LLM Safety during Finetuning [65.75757313781104]
  大型言語モデル(LLM)の微調整は、ユーザ固有のカスタマイズを可能にするが、重大な安全性リスクをもたらす。 動的安全整形(DSS)は,不安全コンテンツを抑えつつ,応答の安全な部分からの学習を強化するための,きめ細かい安全信号を用いたフレームワークである。 STARスコアによって導かれるSTAR-DSSは、微調整リスクを堅牢に軽減し、多様な脅威、データセット、モデルファミリーにまたがる大幅な安全性の向上を提供する。
  論文  参考訳（メタデータ） (2025-05-22T18:05:16Z)
• Deliberative Alignment: Reasoning Enables Safer Language Models [64.60765108418062]
  モデルセーフティ仕様を教える新しいパラダイムであるDeliberative Alignmentを紹介します。 このアプローチを使ってOpenAIのoシリーズモデルを整列させ、人書きのチェーンや回答を必要とせず、OpenAIの安全ポリシーに極めて正確な順守を実現しました。
  論文  参考訳（メタデータ） (2024-12-20T21:00:11Z)
• Latent Safety-Constrained Policy Approach for Safe Offline Reinforcement Learning [7.888219789657414]
  安全オフライン強化学習(RL)において、安全制約を厳格に遵守しつつ累積報酬を最大化する政策を開発することが目的である。 本稿では, 条件付き変分オートエンコーダを用いて, 保守的に安全な政策を学習することから始まる新しいアプローチを用いて, この問題に対処する。 我々は、これを制約付き逆戻り最大化問題とみなし、この政策は、推定された潜伏安全性の制約に従い、報酬を最適化することを目的としている。
  論文  参考訳（メタデータ） (2024-12-11T22:00:07Z)
• Safe Reinforcement Learning with Learned Non-Markovian Safety Constraints [15.904640266226023]
  我々は、安全に関する部分的状態行動軌跡の貢献を評価するために、信用割当を行う安全モデルの設計を行う。 学習された安全モデルを用いて安全なポリシーを最適化する有効なアルゴリズムを導出する。 安全報酬と安全コンプライアンスのトレードオフ係数を動的に適用する手法を考案する。
  論文  参考訳（メタデータ） (2024-05-05T17:27:22Z)
• SCPO: Safe Reinforcement Learning with Safety Critic Policy Optimization [1.3597551064547502]
  本研究では,新しい安全強化学習アルゴリズム,セーフティ・クリティカル・ポリシー・オプティマイゼーションを導入する。 本研究では,安全制約に違反して得られる報酬を無効化する機構である安全評論家を定義した。 理論的解析により,提案アルゴリズムは安全制約への付着と報酬の最大化との間のトレードオフを自動的にバランスできることが示された。
  論文  参考訳（メタデータ） (2023-11-01T22:12:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。