論文の概要: On the Generalization of SFT: A Reinforcement Learning Perspective with Reward Rectification

• arxiv url: http://arxiv.org/abs/2508.05629v1
• Date: Thu, 07 Aug 2025 17:59:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-08 18:59:39.987732
• Title: On the Generalization of SFT: A Reinforcement Learning Perspective with Reward Rectification
• Title（参考訳）: SFTの一般化について:逆整合による強化学習の視点から
• Authors: Yongliang Wu, Yizhou Zhou, Zhou Ziheng, Yingzhe Peng, Xinyu Ye, Xinting Hu, Wenbo Zhu, Lu Qi, Ming-Hsuan Yang, Xu Yang,
• Abstract要約: LLM(Large Language Model)のためのSFT(Supervised Fine-Tuning)の改良法を提案する。 標準SFT勾配は、モデルの一般化能力を著しく制限する問題のある報酬構造を暗黙的に符号化する。 本稿では,このトークンの確率で目的関数を動的に再スケーリングすることにより,各トークンの勾配を安定化する動的微調整(DFT)を提案する。
• 参考スコア（独自算出の注目度）: 50.30835290642069
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a simple yet theoretically motivated improvement to Supervised Fine-Tuning (SFT) for the Large Language Model (LLM), addressing its limited generalization compared to reinforcement learning (RL). Through mathematical analysis, we reveal that standard SFT gradients implicitly encode a problematic reward structure that may severely restrict the generalization capabilities of model. To rectify this, we propose Dynamic Fine-Tuning (DFT), stabilizing gradient updates for each token by dynamically rescaling the objective function with the probability of this token. Remarkably, this single-line code change significantly outperforms standard SFT across multiple challenging benchmarks and base models, demonstrating greatly improved generalization. Additionally, our approach shows competitive results in offline RL settings, offering an effective yet simpler alternative. This work bridges theoretical insight and practical solutions, substantially advancing SFT performance. The code will be available at https://github.com/yongliang-wu/DFT.
• Abstract（参考訳）: 本稿では,Large Language Model (LLM) に対するスーパーバイザード・ファインチューニング (SFT) の改良を,強化学習 (RL) と比較して限定的な一般化に向け,シンプルながら理論的に動機づけた改良を提案する。 数学的解析により、標準SFT勾配は、モデルの一般化能力を著しく制限する問題報酬構造を暗黙的に符号化することを明らかにした。 そこで我々は,このトークンの確率で目的関数を動的に再スケーリングすることにより,各トークンの勾配更新を安定化する動的微調整(DFT)を提案する。 注目すべきは、この単行コードの変更は、複数の挑戦的なベンチマークとベースモデルで標準SFTよりも大幅に優れ、一般化が大幅に改善されたことである。 さらに、オフラインのRL設定において競合する結果が示され、効果的だがより単純な代替手段が提供される。 この研究は理論的な洞察と実践的な解決策を橋渡しし、SFTの性能を大幅に向上させた。 コードはhttps://github.com/yongliang-wu/DFTで入手できる。

関連論文リスト

• Supervised Fine Tuning on Curated Data is Reinforcement Learning (and can be improved) [5.000768714035796]
  我々は、教師付き微調整(SFT)と強化学習(RL)による最適政策の発見理論と実践との関係を描いている。 SFTに小さな修正を加えることで、RLのトレーニングに近く行動する重み付き変異が重要となることを示す。 我々は、この変種を重み付けされた教師付き微調整(iw-SFT)として参照する。
  論文  参考訳（メタデータ） (2025-07-17T07:26:54Z)
• Blending Supervised and Reinforcement Fine-Tuning with Prefix Sampling [35.64557242726578]
  Prefix-RFTは、実証と探索の両方から学習を相乗化するためのハイブリッドアプローチである。 スタンドアロンの SFT と RFT の性能を上回るだけでなく、並列混合型 RFT 法よりも優れる。
  論文  参考訳（メタデータ） (2025-07-02T13:04:09Z)
• Implicit Reward as the Bridge: A Unified View of SFT and DPO Connections [65.36449542323277]
  本稿では,Large Language Model (LLM) 後の学習において,SFT(Supervised Fine-Tuning) と優先学習を統合した理論フレームワークを提案する。 そこで本研究では,学習率の簡易かつ効果的な削減手法を提案する。
  論文  参考訳（メタデータ） (2025-06-15T05:42:29Z)
• UFT: Unifying Supervised and Reinforcement Fine-Tuning [21.195897792629548]
  我々は、SFTとRFTを単一の統合プロセスに統合する新しいポストトレーニングパラダイムであるUnified Fine-Tuning(UFT)を提案する。 UFTは、インフォメーション・インフォメーション・シグナルを取り入れつつ、効果的に解を探索することを可能にする。 理論的には、UFTがRFT固有の指数的サンプル複雑性のボトルネックを破ることを示す。
  論文  参考訳（メタデータ） (2025-05-22T17:53:57Z)
• Compile Scene Graphs with Reinforcement Learning [69.36723767339001]
  次世代予測は大規模言語モデル(LLM)の訓練の基本原理である 本稿では,マルチモーダルLLM(M-LLM)であるR1-SGGを紹介する。 私たちは、Hard Recall、Hard Recall+Relax、Soft Recallの3つのリコールベースのバリエーションを含む、グラフ中心の報酬セットを設計します。
  論文  参考訳（メタデータ） (2025-04-18T10:46:22Z)
• Discriminative Finetuning of Generative Large Language Models without Reward Models and Human Preference Data [73.04828796123581]
  Supervised Fine-tuning (SFT) は、事前訓練された大規模言語モデル (LLM) を整列するための重要なステップとなっている。 本稿では,SFTの改良版であるDFT(Driminative Fine-Tuning)を紹介する。 i) 入力された全ての可能な出力のうち、解答の判別可能性を明示的にモデル化することにより、微調整LDMの判別確率フレームワーク、(ii) この判別可能性を最適化するための効率的なアルゴリズム、(iii) DFTの有効性を実証する広範な実験を含む。
  論文  参考訳（メタデータ） (2025-02-25T22:38:55Z)
• ReFT: Reasoning with Reinforced Fine-Tuning [9.80361828538909]
  本稿では,Reinforced Fine-Tuning (ReFT) というシンプルな手法を提案する。 ReFTはまずSFTを用いてモデルをウォームアップし,さらにオンライン強化学習,特に本論文のPPOアルゴリズムを用いる。 GSM8K、MathQA、SVAMPデータセットの実験では、ReFTがSFTを大幅に上回っている。
  論文  参考訳（メタデータ） (2024-01-17T04:43:21Z)
• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)
• Decouple Graph Neural Networks: Train Multiple Simple GNNs Simultaneously Instead of One [60.5818387068983]
  グラフニューラルネットワーク(GNN)は、深刻な非効率性に悩まされている。 我々は,より効率的なトレーニングを行うために,多層GNNを複数の単純なモジュールとして分離することを提案する。 提案するフレームワークは,合理的な性能で高い効率性を示す。
  論文  参考訳（メタデータ） (2023-04-20T07:21:32Z)
• Functional Regularization for Reinforcement Learning via Learned Fourier Features [98.90474131452588]
  本稿では、入力を学習されたフーリエベースに埋め込むことにより、深層強化学習のための簡単なアーキテクチャを提案する。 その結果、状態ベースと画像ベースの両方のRLのサンプル効率が向上することがわかった。
  論文  参考訳（メタデータ） (2021-12-06T18:59:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。