論文の概要: PREFINE: Preference-Based Implicit Reward and Cost Fine-Tuning for Safety Alignment

• arxiv url: http://arxiv.org/abs/2605.21225v1
• Date: Wed, 20 May 2026 14:19:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-21 19:19:56.718625
• Title: PREFINE: Preference-Based Implicit Reward and Cost Fine-Tuning for Safety Alignment
• Title（参考訳）: PreFINE: 安全アライメントのための規範に基づくインシシットリワードとコスト細調整
• Authors: Richa Verma, Bavish Kulur, Sanjay Chawla, Balaraman Ravindran,
• Abstract要約: PreFINE: Preference-based Implicit Reward and Cost Fine-Tuning for Safety Alignmentを紹介する。 PreFINEは、データと計算効率を大幅に改善し、低コストでハイリワードなパフォーマンスを実現するポリシーを生成する。
• 参考スコア（独自算出の注目度）: 10.476492988819372
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We address the problem of making a pre-trained reinforcement learning (RL) policy safety-aware by incorporating cost constraints without retraining it from scratch. While costs could be numerically encoded, we assume a more general setting is when costs are provided as preferences. Given a reward-optimized policy and a small dataset of preferred (low-cost) and dispreferred (high-cost) trajectories, our goal is to fine-tune the policy to generate low-cost behaviors while retaining high rewards. Unlike standard RLHF in language models, where preferences are defined over responses to the same prompt, our setting involves trajectory-level preferences in continuous control environments. We introduce PREFINE: Preference-based Implicit Reward and Cost Fine-Tuning for Safety Alignment which is a preference-based fine-tuning method that adapts Direct Preference Optimization (DPO), which is now widely used for LLM fine-tuning, to the sequential decision making setting. PREFINE constructs policy-sampled counterfactual trajectories to establish meaningful preference contrasts and jointly optimizes for reward retention and safety alignment. Empirically, PREFINE reduces constraint violations and catastrophic failures by over 60% while maintaining original reward behavior. PREFINE produces policies that achieve low-cost, high-reward performance with significantly improved data and computational efficiency compared to full offline RL or imitation learning, bridging preference alignment and safe policy adaptation in continuous domains.
• Abstract（参考訳）: コスト制約をスクラッチから再訓練することなく組み込むことで、事前訓練強化学習(RL)政策の安全性を意識する問題に対処する。 コストは数値的に符号化できるが、より一般的な設定は、コストが好みとして提供される場合である。 報酬に最適化されたポリシーと、好ましくない(低コスト)かつ好ましくない(高コスト)トラジェクトリの小さなデータセットが与えられた場合、私たちのゴールは、高い報酬を維持しながら低コストな行動を生成するためのポリシーを微調整することである。 言語モデルにおける標準RLHFとは異なり、同じプロンプトに対する応答に対して優先度が定義される。 PreFINE: Preference-based Implicit Reward and Cost Fine-Tuning for Safety Alignmentは、現在LLMファインチューニングに広く使われているDPO(Direct Preference Optimization)に適応する嗜好ベースの微調整手法である。 PreFINEは、ポリシーを組み込んだ対物軌道を構築し、意味のある選好のコントラストを確立し、報酬の維持と安全性の調整を共同で最適化する。 実証的に、PreFINEはオリジナルの報酬行動を維持しながら、制約違反と破滅的な失敗を60%以上削減する。 PreFINEは、完全なオフラインRLや模倣学習、ブリッジ優先アライメント、継続的なドメインでの安全なポリシー適応よりも大幅に改善されたデータと計算効率で、低コストでハイリワードなパフォーマンスを実現するポリシーを生成する。

関連論文リスト

• Robust Policy Optimization to Prevent Catastrophic Forgetting [29.514746370429965]
  大規模言語モデルは、多段階のポストトレーニングを通じて一般的に訓練される。 小さなダウンストリーム更新は、学習済みの振る舞いを損なう可能性がある。 このことは、標準RLHFの目標は将来の適応に対する堅牢性を保証するものではないことを示唆している。
  論文  参考訳（メタデータ） (2026-02-09T15:50:05Z)
• Conditional Sequence Modeling for Safe Reinforcement Learning [8.858563919623082]
  オフライン安全な強化学習は、固定データセットからポリシーを学習し、累積コスト制約下でのパフォーマンスを最大化することを目的としている。 既存のオフラインセーフなRLメソッドの多くは、あらかじめ指定されたしきい値の下で訓練されている。 CSMをベースとしたRCDTは,複数のコストしきい値にまたがるゼロショット展開をサポートする。
  論文  参考訳（メタデータ） (2026-02-09T12:22:57Z)
• Primal-Dual Direct Preference Optimization for Constrained LLM Alignment [16.080857375857697]
  大規模言語モデル(LLM)における制約付きアライメントの問題について検討する。 そこで本研究では,報酬選好データに標準DPOを用いてモデルをトレーニングする,新しい原始双対DPO手法を提案する。 我々は,生産政策の最適度及び制約違反に関する厳密な理論的保証を確立する。
  論文  参考訳（メタデータ） (2025-10-07T09:10:35Z)
• Stabilizing Policy Gradients for Sample-Efficient Reinforcement Learning in LLM Reasoning [77.92320830700797]
  強化学習は、大規模言語モデルの推論機能を実現する上で中心的な役割を果たしてきた。 本稿では,ポリシー更新時の曲率情報を追跡し,活用するトラクタブルな計算フレームワークを提案する。 アルゴリズムであるCurvature-Aware Policy Optimization (CAPO)は、不安定な更新に寄与するサンプルを特定し、それらをマスクアウトする。
  論文  参考訳（メタデータ） (2025-10-01T12:29:32Z)
• AlphaDPO: Adaptive Reward Margin for Direct Preference Optimization [45.46582930202524]
  $alpha$-DPOは、大規模言語モデルの適応的優先最適化アルゴリズムである。 ポリシーモデルと参照モデルのバランスを取り、パーソナライズされた報酬マージンを達成する。 さまざまなモデル設定でDPOとSimPOを一貫して上回ります。
  論文  参考訳（メタデータ） (2024-10-14T04:29:57Z)
• Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
  人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。 過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。 報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
  論文  参考訳（メタデータ） (2024-05-26T05:38:50Z)
• COptiDICE: Offline Constrained Reinforcement Learning via Stationary Distribution Correction Estimation [73.17078343706909]
  オフラインの制約付き強化学習(RL)問題。エージェントは、所定のコスト制約を満たしながら期待されるリターンを最大化するポリシーを計算し、事前に収集されたデータセットからのみ学習する。 定常分布空間におけるポリシーを最適化するオフライン制約付きRLアルゴリズムを提案する。 我々のアルゴリズムであるCOptiDICEは、コスト上限を制約しながら、利益に対する最適政策の定常分布補正を直接見積もる。
  論文  参考訳（メタデータ） (2022-04-19T15:55:47Z)
• First Order Constrained Optimization in Policy Space [19.00289722198614]
  政策空間における一階制約最適化(FOCOPS)という新しい手法を提案する。 FOCOPSは、エージェントの全体的な報酬を最大化し、エージェントが一連のコスト制約を満たすことを保証します。 我々は,ロボット機関車の一連の作業において,簡単なアプローチがより良い性能を達成するという実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2020-02-16T05:07:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。