論文の概要: Proximal Supervised Fine-Tuning

• arxiv url: http://arxiv.org/abs/2508.17784v1
• Date: Mon, 25 Aug 2025 08:26:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-26 18:43:45.692112
• Title: Proximal Supervised Fine-Tuning
• Title（参考訳）: 近位監督ファインチューニング
• Authors: Wenhong Zhu, Ruobing Xie, Rui Wang, Xingwu Sun, Di Wang, Pengfei Liu,
• Abstract要約: 基礎モデルの監督された微調整(SFT)は、しばしば一般化に乏しい。 強化学習(RL)における信頼領域政策最適化(TRPO)と近位政策最適化(PPO)にヒントを得て、近位SFT(PSFT)を提案する。 この微調整の目的は、信頼領域の利点を取り入れ、競争的なチューニングを維持しながら政策のドリフトを効果的に制限する。 数学的および人的価値領域にわたる実験により、PSFTはSFT内領域と一致し、ドメイン外一般化において性能を上回り、エントロピー崩壊を引き起こすことなく長期トレーニング中は安定であり、より強力なものを提供することが示された。
• 参考スコア（独自算出の注目度）: 45.549849857818685
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Supervised fine-tuning (SFT) of foundation models often leads to poor generalization, where prior capabilities deteriorate after tuning on new tasks or domains. Inspired by trust-region policy optimization (TRPO) and proximal policy optimization (PPO) in reinforcement learning (RL), we propose Proximal SFT (PSFT). This fine-tuning objective incorporates the benefits of trust-region, effectively constraining policy drift during SFT while maintaining competitive tuning. By viewing SFT as a special case of policy gradient methods with constant positive advantages, we derive PSFT that stabilizes optimization and leads to generalization, while leaving room for further optimization in subsequent post-training stages. Experiments across mathematical and human-value domains show that PSFT matches SFT in-domain, outperforms it in out-of-domain generalization, remains stable under prolonged training without causing entropy collapse, and provides a stronger foundation for the subsequent optimization.
• Abstract（参考訳）: 基礎モデルの監督された微調整(SFT)は、しばしば、新しいタスクやドメインをチューニングした後に前の能力が劣化したような、一般化の貧弱につながる。 強化学習(RL)における信頼領域政策最適化(TRPO)と近位政策最適化(PPO)にヒントを得て,近位SFT(PSFT)を提案する。 この微調整の目的は、信頼領域の利点を取り入れ、競争的チューニングを維持しながら、SFT中の政策ドリフトを効果的に制限する。 SFTを一定の正の利点を持つ政策勾配法の特別な場合と見なすことにより、PSFTを導出し、最適化を安定させ、一般化を導出する一方で、その後の訓練段階においてさらなる最適化を行う余地を残している。 数学的および人的価値領域にわたる実験により、PSFTはSFT内領域と一致し、ドメイン外一般化において性能を上回り、エントロピー崩壊を引き起こすことなく長期間のトレーニングで安定であり、その後の最適化の基盤となることが示されている。

関連論文リスト

• Implicit Reward as the Bridge: A Unified View of SFT and DPO Connections [65.36449542323277]
  本稿では,Large Language Model (LLM) 後の学習において,SFT(Supervised Fine-Tuning) と優先学習を統合した理論フレームワークを提案する。 そこで本研究では,学習率の簡易かつ効果的な削減手法を提案する。
  論文  参考訳（メタデータ） (2025-06-15T05:42:29Z)
• BNPO: Beta Normalization Policy Optimization [9.60676665395923]
  動的に更新されたパラメータを持つベータ分布を用いて報酬を適応的に正規化する新しいポリシー最適化手法を提案する。 本稿では,BNPOの分散還元特性を理論的に証明し,二値報酬設定の下でREINFORCEとGRPOの両方を一般化することを示す。 実験の結果,BNPOは推論タスクにおけるポリシー最適化手法の最先端性能を達成できることを確認した。
  論文  参考訳（メタデータ） (2025-06-03T13:28:57Z)
• Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
  人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。 過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。 報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
  論文  参考訳（メタデータ） (2024-05-26T05:38:50Z)
• A dynamical clipping approach with task feedback for Proximal Policy Optimization [29.855219523565786]
  最適なPPOクリッピング境界がトレーニングプロセス全体を通して一貫していることの理論的証明はない。 過去の研究は、PPOクリッピングバウンドを動的に調整し、PPOの性能を向上させることを目的としている。 我々は、強化学習タスクの嗜好(最大回帰)をよりよく反映するために、Preference based Proximal Policy Optimization (Pb-PPO)を提案する。
  論文  参考訳（メタデータ） (2023-12-12T06:35:56Z)
• Iterative Amortized Policy Optimization [147.63129234446197]
  政策ネットワークは、継続的制御のための深層強化学習(RL)アルゴリズムの中心的な特徴である。 変分推論の観点からは、ポリシーネットワークは、ポリシー分布を直接ではなく、ネットワークパラメータを最適化する、テキスト化最適化の一形態である。 我々は,反復的アモート化ポリシ最適化により,ベンチマーク連続制御タスクの直接アモート化よりも性能が向上することが実証された。
  論文  参考訳（メタデータ） (2020-10-20T23:25:42Z)
• Stable Policy Optimization via Off-Policy Divergence Regularization [50.98542111236381]
  信頼地域政策最適化(TRPO)とPPO(Pximal Policy Optimization)は、深層強化学習(RL)において最も成功した政策勾配アプローチの一つである。 本稿では, 連続的な政策によって引き起こされる割引状態-行動訪問分布を, 近接項で抑制し, 政策改善を安定化させる新しいアルゴリズムを提案する。 提案手法は, ベンチマーク高次元制御タスクの安定性と最終的な性能向上に有効である。
  論文  参考訳（メタデータ） (2020-03-09T13:05:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。