論文の概要: Enhancing Reinforcement Learning Fine-Tuning with an Online Refiner

• arxiv url: http://arxiv.org/abs/2603.18088v1
• Date: Wed, 18 Mar 2026 08:37:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-20 17:19:05.755173
• Title: Enhancing Reinforcement Learning Fine-Tuning with an Online Refiner
• Title（参考訳）: オンラインリファインダーによる強化学習の微調整の強化
• Authors: Hao Ma, Zhiqiang Pu, Yang Liu, Xiaolin Ai,
• Abstract要約: 強化学習微調整(RFT)の安定化と退化の防止には制約が不可欠である。 微調整モデルの進化能力に適応するテクスチャ力学的制約を提案する。 対話とコード生成の実験は、動的制約がKL正規化と非制約ベースラインの両方より優れていることを示している。
• 参考スコア（独自算出の注目度）: 15.619469979987429
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Constraints are essential for stabilizing reinforcement learning fine-tuning (RFT) and preventing degenerate outputs, yet they inherently conflict with the optimization objective because stronger constraints limit the ability of a fine-tuned model to discover better solutions. We propose \textit{dynamic constraints} that resolve this tension by adapting to the evolving capabilities of the fine-tuned model based on the insight that constraints should only intervene when degenerate outputs occur. We implement this by using a reference model as an \textit{online refiner} that takes the response from the fine-tuned model and generates a minimally corrected version which preserves correct content verbatim while fixing errors. A supervised fine-tuning loss then trains the fine-tuned model to produce the refined output. This mechanism yields a constraint that automatically strengthens or relaxes based on output quality. Experiments on dialogue and code generation show that dynamic constraints outperform both KL regularization and unconstrained baselines, achieving substantially higher task rewards while maintaining training stability.
• Abstract（参考訳）: 強化学習ファインチューニング(RFT)の安定化と退化出力の防止には制約が不可欠であるが、より強い制約はより優れた解を見つけるための微調整モデルの能力を制限するため、本質的に最適化目標と矛盾する。 我々は, 縮退した出力が発生した場合にのみ制約が介入すべきという知見に基づいて, 微調整モデルの進化する能力に適応することで, この緊張を解消する「textit{dynamic constraints}」を提案する。 参照モデルをtextit{online refiner} として使用し、微調整されたモデルから応答を受け取り、誤りを修正しながら正しい内容の冗長性を保った最小限の修正バージョンを生成する。 監督された微調整損失は、精製された出力を生成するために微調整されたモデルを訓練する。 このメカニズムは、出力品質に基づいて自動的に強化または緩和する制約を与える。 対話とコード生成の実験では、動的制約はKL正規化と非制約ベースラインの両方より優れており、トレーニング安定性を維持しながら、かなり高いタスク報酬を達成する。

関連論文リスト

• An Integrated Fusion Framework for Ensemble Learning Leveraging Gradient Boosting and Fuzzy Rule-Based Models [59.13182819190547]
  ファジィ規則に基づくモデルは解釈可能性に優れ、様々な分野に広く応用されている。 複雑な設計仕様や大規模データセットのスケーラビリティといった課題に直面している。 本稿では,モデル性能と解釈可能性を高めるために,両パラダイムの強みを融合した統合統合フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-11T10:28:23Z)
• Adaptive Neighborhood-Constrained Q Learning for Offline Reinforcement Learning [52.03884701766989]
  オフライン強化学習(RL)アルゴリズムは、通常、アクション選択に制約を課す。 本稿では,Bellmanターゲットにおける行動選択を,データセットアクションの近傍の結合に制限する新しい地区制約を提案する。 我々は,この制約を満たす目標動作を用いてQ学習を行うための,単純で効果的なアルゴリズムであるAdaptive Neighborhood-Constrained Q Learning(ANQ)を開発した。
  論文  参考訳（メタデータ） (2025-11-04T13:42:05Z)
• AdvChain: Adversarial Chain-of-Thought Tuning for Robust Safety Alignment of Large Reasoning Models [62.70575022567081]
  本稿では,逆CoTチューニングによる動的自己補正をモデルに教えるアライメントパラダイムであるAdvChainを提案する。 私たちの仕事は、より堅牢で信頼性の高い推論モデルを構築するための新しい方向性を確立します。
  論文  参考訳（メタデータ） (2025-09-29T04:27:23Z)
• Modular Delta Merging with Orthogonal Constraints: A Scalable Framework for Continual and Reversible Model Composition [0.0]
  既存のモデルマージと継続的学習へのアプローチは、しばしばタスクの干渉、破滅的な忘れ込み、あるいは可逆性の欠如に悩まされる。 本稿では, 拡張性, 干渉フリー, 微調整モデルの構成が可能な新しいフレームワークである Orthogonal Constraints (MDM-OC) を用いた Modular Delta Merging を提案する。
  論文  参考訳（メタデータ） (2025-07-28T17:08:49Z)
• Enforcing Hard Linear Constraints in Deep Learning Models with Decision Rules [8.098452803458253]
  本稿では、入力依存線形等式とニューラルネットワーク出力の不等式制約を強制するモデルに依存しないフレームワークを提案する。 このアーキテクチャは、予測精度のために訓練されたタスクネットワークと、実行時の決定ルールと堅牢な最適化を用いてトレーニングされた安全なネットワークを組み合わせることで、入力空間全体の実現可能性を保証する。
  論文  参考訳（メタデータ） (2025-05-20T03:09:44Z)
• Attribute Controlled Fine-tuning for Large Language Models: A Case Study on Detoxification [76.14641982122696]
  本稿では,属性制御付き大規模言語モデル(LLM)の制約学習スキーマを提案する。 提案手法は, ベンチマーク上での競合性能と毒性検出タスクを達成しながら, 不適切な応答を少ないLCMに導出することを示す。
  論文  参考訳（メタデータ） (2024-10-07T23:38:58Z)
• Resilient Constrained Reinforcement Learning [87.4374430686956]
  本稿では,複数の制約仕様を事前に特定しない制約付き強化学習(RL)のクラスについて検討する。 報酬訓練目標と制約満足度との間に不明確なトレードオフがあるため、適切な制約仕様を特定することは困難である。 我々は、ポリシーと制約仕様を一緒に検索する新しい制約付きRLアプローチを提案する。
  論文  参考訳（メタデータ） (2023-12-28T18:28:23Z)
• Outlier-robust neural network training: variation regularization meets trimmed loss to prevent functional breakdown [2.5628953713168685]
  我々は,高度に表現力のあるニューラルネットワークを用いた外乱予測モデリングの課題に取り組む。 提案手法は,(1)変換トリミング損失(TTL)と(2)高次変動正規化(HOVR)の2つの重要な要素を統合し,予測関数に滑らかさの制約を課す。
  論文  参考訳（メタデータ） (2023-08-04T12:57:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。