論文の概要: Toward Plasticity-Preserving KL Regularization for Capability Retention in LLM Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2608.01743v1
• Date: Mon, 03 Aug 2026 06:10:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.347759
• Title: Toward Plasticity-Preserving KL Regularization for Capability Retention in LLM Reinforcement Learning
• Title（参考訳）: LLM強化学習における機能維持のための塑性保存KL正規化に向けて
• Abstract要約: 完全出力分布から正当性条件付き応答分布への保存制約を狭める条件正規化フレームワークを提案する。 CoKLは,既存の正規化手法よりも目標タスク改善と事前能力維持のバランスが良好である。
• 参考スコア（独自算出の注目度）: 43.981833556858135
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning (RL) has become a central paradigm for large language model (LLM) post-training, but optimization toward new objectives can degrade capabilities already present in the base model. KL regularization is widely used to mitigate such forgetting by constraining policy drift toward a reference model. However, standard full-policy KL regularization constrains the entire response distribution and may unnecessarily restrict exploration and target-task learning. This raises a natural question: can a more precise constraint preserve existing capabilities while minimizing interference with learning new tasks? To this end, we propose \underline{Co}rrectness-Conditioned \underline{KL} Regularization (CoKL), a conditional regularization framework that narrows the preservation constraint from the full output distribution to correctness-conditioned response distributions. We instantiate CoKL with forward KL divergence and derive a practical finite-group training objective for RL-based LLM post-training. At the population level, CoKL decouples the total probability assigned to correct responses from their correctness-conditioned distribution, thereby regularizing the relative probability allocation among reference-supported correct responses without directly anchoring incorrect outputs or total correctness mass. We further show that full-policy forward and reverse KL regularization induce a strict optimal correctness gap when the reference policy is imperfect, whereas CoKL avoids this limitation. Experiments in controlled multi-solution environments and continual post-training settings across multiple model scales demonstrate that CoKL achieves a more favorable balance between target-task improvement and prior-capability retention than existing regularization methods. Our code is available at https://github.com/Lumina04/CoKL.
• Abstract（参考訳）: 強化学習(RL)は、大規模言語モデル(LLM)の訓練後の中心的なパラダイムとなっているが、新しい目的への最適化は、ベースモデルにすでに存在する能力を劣化させる可能性がある。 KL正則化は、参照モデルへのポリシードリフトの制約により、そのような忘れを緩和するために広く用いられている。 しかし、標準の完全政治KL正規化は応答分布全体を制限し、探索とターゲットタスク学習を不必要に制限する可能性がある。 新しいタスクの学習に対する干渉を最小限にしながら、既存の機能をより正確な制約で維持できるだろうか? この目的のために,完全出力分布から正当性条件付き応答分布まで保存制約を狭める条件正規化フレームワークである \underline{Co}rrectness-Conditioned \underline{KL} Regularization (CoKL) を提案する。 我々は,前向きKL分岐を伴ってCoKLをインスタンス化し,RLをベースとしたLLM後トレーニングのための実用的な有限群トレーニング目標を導出する。 人口レベルでは、CoKLは正解条件分布から正解に割り当てられた総確率を分離し、不正出力や全正解質量を直接固定することなく、基準支持された正解応答間の相対確率割り当てを規則化する。 さらに、全政期と逆KL正規化は基準方針が不完全である場合に厳密な最適正当性ギャップを生じさせるが、CoKLはこの制限を回避していることを示す。 複数のモデルスケールにわたる制御されたマルチソリューション環境と継続的な後トレーニング環境の実験により、CoKLは既存の正規化手法よりも目標タスク改善と事前能力維持のバランスが良好であることが示された。 私たちのコードはhttps://github.com/Lumina04/CoKLで利用可能です。

関連論文リスト

• Beyond the Stability-Exploration Dilemma: Environmental Regularization for LLM Policy Optimization [27.121081058414376]
  Policy-KLはレスポンスの振る舞いを制限し、アクションサイドの探索予算を消費する。 我々は、正規化を入力側に移すことでジレンマを壊す代替案を議論する。 ERPO は標準の Policy-KL 正規化器を置き換え、クエリ分散のドリフトを効果的に制御する。
  論文  参考訳（メタデータ） (2026-08-24T14:30:59Z)
• Post-Training at the Edge of Detectability: A Game-Theoretic Approach to Fine-Tuning [58.088509347353465]
  強化学習(Reinforcement Learning, RL)は、言語モデルトレーニングにおいて広く使われている。 我々は,このトレードオフに明確な統計的解釈を与えるゲーム理論の枠組みを提案する。
  論文  参考訳（メタデータ） (2026-07-29T00:19:09Z)
• RL Forgets! Towards Continual Policy Optimization [57.4336338996653]
  継続的なポストトレーニングは、進化するタスクに視覚言語モデルを適用するための中心的なパラダイムになりつつある。 最近の研究は、強化学習が本質的に忘れやすいという信念から、教師付き微調整よりも強化学習を好んでいる。 我々は,事前タスク動作KL目標に基づくリプレイフリーフレームワークである継続ポリシー最適化(CPO)を提案する。
  論文  参考訳（メタデータ） (2026-07-05T15:46:11Z)
• Online KL-Regularized Reinforcement Learning with Function Approximation under Misspecification [70.9534986000242]
  KL-regularized contextual bandits and episodic reinforcement learning (RL) under general function approximation with model misspecification。 既存の保証は実現可能性に依存しており、従って古典的後悔境界が失敗する可能性のある不特定モデルにまで拡張しない。 本研究は、文脈的包帯と韻律的RLに対するKLの不特定式を導入し、Gibsポリシー更新を用いて回帰に基づくアルゴリズムを解析する。
  論文  参考訳（メタデータ） (2026-06-04T11:54:23Z)
• Improving Search Agent with One Line of Code [68.58667107354253]
  ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。 textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
  論文  参考訳（メタデータ） (2026-03-10T04:07:39Z)
• A Theoretical Lens for RL-Tuned Language Models via Energy-Based Models [9.324642081509756]
  KL正規化強化学習によって訓練された大規模言語モデル(LLM)は、強い指示、自己補正、推論能力を示す。 我々は、最適KL規則化ポリシの閉形式エネルギーベースモデル(EBM)構造を利用して、LLMの統一的変分解析を行う。
  論文  参考訳（メタデータ） (2025-12-21T13:28:58Z)
• Sharp Analysis for KL-Regularized Contextual Bandits and RLHF [52.519416266840814]
  Reverse-Kullback-Leibler (KL) 正則化は、強化学習におけるポリシー最適化を強化する主要な手法である。 単純な2段階混合サンプリング戦略は, カバー係数に付加的な依存しか持たずに, サンプルの複雑さを達成できることが示される。 この結果は,より効率的なRLHFアルゴリズムの設計に光を当て,KL正規化とRLHFにおけるデータカバレッジの役割を包括的に理解するものである。
  論文  参考訳（メタデータ） (2024-11-07T11:22:46Z)
• Rethinking Kullback-Leibler Divergence in Knowledge Distillation for Large Language Models [18.870276152694245]
  Kullback-Leiber分散は、Large Language Models (LLM) の圧縮に知識蒸留 (KD) で広く使われている。 以前のアサーションとは対照的に、逆クルバック・リブラー(英語版)(RKL)の発散はモード探索であり、したがって平均シーキング前方クルバック・リブラー(英語版)(FKL)の発散よりも好ましい。 本稿では,FKLとRKLを組み合わせるために重みを適応的に割り当てる,単純で効果的な適応型Kulback-Leiber(AKL)分散法を提案する。
  論文  参考訳（メタデータ） (2024-04-03T11:40:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。