論文の概要: On-Policy Parameter Update Direction Underlies Generalization in LLM Post-Training

• arxiv url: http://arxiv.org/abs/2609.36659v1
• Date: Tue, 29 Sep 2026 03:59:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.170637
• Title: On-Policy Parameter Update Direction Underlies Generalization in LLM Post-Training
• Title（参考訳）: LLMポストトライニングにおけるオンポリティパラメータ更新方向の一般化
• Abstract要約: このような改善を達成できる特定のオン・ポリシーの更新動作が存在するかどうかを調査する。 そこで本稿では,SFT更新をオン・ポリティクス・パラダイムによって識別される方向に制約する,オン・ポリティィ方向制約付きスーパーバイザード・ファインタニングを提案する。 この発見は、オンラインパラダイムの強い一般化とSFTの利点を組み合わせることで、2つの実用的な利点を提供する。
• 参考スコア（独自算出の注目度）: 72.15066304822092
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The strong generalization performance of on-policy post-training paradigms has motivated studies of their parameter update behaviors. However, these studies treat the observed behaviors only as byproducts in on-policy training, overlooking their potential to serve as optimization principles for improving the generalization of other paradigms such as supervised fine-tuning (SFT). To address this limitation, we investigate whether there exists a specific on-policy update behavior that can achieve such improvements. First, our analyses reveal that SFT updates parameters along consistent directions, while the on-policy paradigm continuously adjusts the direction during training. This difference inspires us to focus on the cumulative update direction of each parameter as a promising behavior. Then, we evaluate its effectiveness for improving generalization by proposing On-Policy direction-constrained Supervised Fine-Tuning (OPSFT), which constrains SFT updates to the direction identified by on-policy paradigms. The strong performance of OPSFT indicates that the generalization advantage of on-policy paradigms can be transferred to SFT through the parameter update direction. Once such a direction is identified, even SFT can generalize with its updates constrained to this direction. This finding offers two practical benefits by combining the strong generalization of on-policy paradigms with the advantages of SFT, including the high training efficiency and ability to leverage high-quality trajectories. For efficiency, we identify update directions that support strong generalization using a few on-policy training steps, and subsequently apply OPSFT to achieve high training efficiency. For leveraging high-quality trajectories, OPSFT can utilize these trajectories to continue improving a post-trained model along its update direction without disrupting the ability learned from on-policy training.
• Abstract（参考訳）: オンライン学習後パラダイムの強力な一般化性能は,そのパラメータ更新行動の研究を動機付けている。 しかしながら、これらの研究は、監視された微調整(SFT)などの他のパラダイムの一般化を改善するための最適化原則として機能する可能性を見越して、オン政治トレーニングにおける副産物としてのみ観察された行動を扱う。 この制限に対処するために、このような改善を達成できる特定のオン・ポリシーの更新動作が存在するかどうかを検討する。 まず、SFTが一貫した方向に沿ってパラメータを更新するのに対し、オンラインのパラダイムはトレーニング中の方向を継続的に調整する。 この違いは、有望な振る舞いとして各パラメータの累積更新方向に焦点を当てるきっかけになります。 そこで,本研究では,PSFT(On-Policy direction-constrained Supervised Fine-Tuning)を提案した。 OPSFTの強い性能は、パラメータ更新方向を介して、オンポリティパラダイムの一般化の利点をSFTに転送できることを示唆している。 そのような方向が特定されれば、SFTでさえその方向に制限された更新を一般化することができる。 この発見は、オンラインパラダイムの強力な一般化とSFTの利点を組み合わせることで、高い訓練効率と高品質な軌道を利用する能力の2つの実用的な利点を提供する。 効率向上のために,いくつかのオンライントレーニングステップを用いて強力な一般化を支援する更新方向を特定し,高いトレーニング効率を達成するためにOPSFTを適用した。 高品質な軌道を利用するために、OPSFTはこれらの軌道を利用して、政策上の訓練から学んだ能力を損なうことなく、その更新方向に沿って訓練後のモデルの改善を継続することができる。

関連論文リスト

• SEED: Self-Evolving On-Policy Distillation for Agentic Reinforcement Learning [38.54413500261524]
  アウトカムベース強化学習(RL)は、実用的な最適化パラダイムを提供するが、その疎度な軌道レベルの報酬は、中間決定に関する限られたガイダンスを提供する。 筆者らは,自己進化型フレームワークSEED(Self-Evolving On-Policy Distillation)を提案する。
  論文  参考訳（メタデータ） (2026-07-16T09:57:18Z)
• FBOS-RL: Feedback-Driven Bi-Objective Synergistic Reinforcement Learning [16.200486964371713]
  フィードバック駆動型双方向強化学習フレームワークFBOS-RLを提案する。 具体的には、環境からのフィードバックに基づいて、フィードバックガイドによる探索強化を行う。 同じロールアウト数で、FBOS-RLはGRPOやフィードバックベースのベースラインよりもかなり高速に学習する。
  論文  参考訳（メタデータ） (2026-05-18T12:48:36Z)
• dTRPO: Trajectory Reduction in Policy Optimization of Diffusion Large Language Models [71.26391195427878]
  拡散大言語モデル(dLLM)は、言語生成の新しいパラダイムを導入する。 本研究は,軌道確率計算のコストを削減し,dLLMのポリシー最適化を改善することを目的とする。 我々は、7B dLLMのdTRPOを命令追従と推論のベンチマークで評価した。
  論文  参考訳（メタデータ） (2026-03-19T11:55:52Z)
• Soft Sequence Policy Optimization [0.0]
  我々は,非政治強化学習の目的として,ソフトシーケンスポリシー最適化(SSPO)を導入する。 SSPOは、トークンレベルの確率比を超えるソフトゲーティング関数をシーケンスレベルの重要重みに組み込む。 数学推論タスクにおいて,SSPOはトレーニングの安定性と性能を向上させることを示す。
  論文  参考訳（メタデータ） (2026-02-22T20:21:00Z)
• Implicit Reward as the Bridge: A Unified View of SFT and DPO Connections [65.36449542323277]
  本稿では,Large Language Model (LLM) 後の学習において,SFT(Supervised Fine-Tuning) と優先学習を統合した理論フレームワークを提案する。 そこで本研究では,学習率の簡易かつ効果的な削減手法を提案する。
  論文  参考訳（メタデータ） (2025-06-15T05:42:29Z)
• Q-value Regularized Transformer for Offline Reinforcement Learning [70.13643741130899]
  オフライン強化学習(RL)における最先端化のためのQ値正規化変換器(QT)を提案する。 QTはアクション値関数を学習し、条件付きシーケンスモデリング(CSM)のトレーニング損失にアクション値を最大化する用語を統合する D4RLベンチマークデータセットの実証評価は、従来のDP法やCSM法よりもQTの方が優れていることを示す。
  論文  参考訳（メタデータ） (2024-05-27T12:12:39Z)
• A Parametric Class of Approximate Gradient Updates for Policy Optimization [47.69337420768319]
  我々は、勾配形式とスケーリング関数の限定的な選択の観点から、基礎となる更新を再表現する統一的な視点を開発する。 我々は、収束速度と最終的な結果品質の両方の利点をもたらすことができる方法で、既存のアルゴリズムを一般化する、新しいが、動機のよい更新を得る。
  論文  参考訳（メタデータ） (2022-06-17T01:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。