論文の概要: An Empirical Study of SFT-DPO Interaction and Parameterization in Small Language Models

• arxiv url: http://arxiv.org/abs/2603.20100v1
• Date: Fri, 20 Mar 2026 16:27:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 19:48:39.22951
• Title: An Empirical Study of SFT-DPO Interaction and Parameterization in Small Language Models
• Title（参考訳）: 小言語モデルにおけるSFT-DPO相互作用とパラメータ化に関する実証的研究
• Authors: Yuming Feng, Christy Yang,
• Abstract要約: GPT-2スケールデコーダでは,SFT-only,DPO-only,SFT-to-DPOトレーニングとFFT(Full Fine-tuning)とLoRAを比較した。 DPOは、強いSFTよりも小さく、タスク依存的な利得を得られ、温かいスタートをせずに競合SFTの精度と一致させることができる。
• 参考スコア（独自算出の注目度）: 1.7559669963238091
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Direct Preference Optimization (DPO) is widely used after supervised fine-tuning (SFT) to align language models, yet empirical behavior under small backbones and modest data is under-specified. We systematically compare SFT-only, DPO-only, and staged SFT-to-DPO training alongside full fine-tuning (FFT) versus LoRA on a GPT-2-scale decoder, evaluating paraphrase detection and Shakespearean sonnet continuation. DPO yields small, task-dependent gains over strong SFT and can match competitive SFT accuracy without a warm start when the preference construction closely parallels the supervised objective. In contrast, parameterization dominates: FFT consistently outperforms LoRA at matched training depth, and LoRA does not reduce wall-clock time on our hardware. These findings indicate that, in this small-scale regime, supervised full-parameter adaptation remains the primary performance lever, while preference optimization and low-rank adaptation provide limited marginal returns.
• Abstract（参考訳）: 直接選好最適化(DPO)は、言語モデルを調整するための教師付き微調整(SFT)の後、広く使われているが、小さなバックボーンと控えめなデータの下での経験的振る舞いは未定義である。 SFT-only, DPO-only, and staged SFT-to-DPO training with full fine-tuning (FFT) versus LoRA on a GPT-2-scale decoder, and evaluation paraphrase detection and Shakespearean sonnet continuation。 DPOは、強いSFTよりも小さいタスク依存利得を得られ、選好構造が監督対象と密接に平行な場合、温かい開始をせずに競合SFT精度と一致させることができる。 対照的に、パラメータ化が優位である: FFTはトレーニング深度にマッチするLoRAを一貫して上回り、LoRAはハードウェアのウォールクロック時間を短縮しない。 これらの結果から, この小規模システムでは, 教師付きフルパラメータ適応が主性能レバーでありながら, 優先最適化と低ランク適応は限界リターンを限定していることがわかった。

関連論文リスト

• Trust-Region Adaptive Policy Optimization [82.09255251747818]
  後学習法は,大規模言語モデル(LLM)の複雑な推論能力の向上に重要な役割を果たしている。 トレーニングインスタンス毎に,Fun-Tuning(SFT)とReinforcement Learning(RL)をインターリーブするフレームワークであるTRAPOを紹介する。 5つの数学的推論ベンチマークの実験は、TRAPOが標準SFT、RL、SFT-then-RLパイプラインを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2025-12-19T14:37:07Z)
• Self-Rewarding PPO: Aligning Large Language Models with Demonstrations Only [70.43369087819332]
  Supervised Fine-tuning (SFT) は、大規模な言語モデルと人間のアノテーションによる実演を整合させる重要な方法として登場した。 本稿では, 自己回帰型PPOを提案する。
  論文  参考訳（メタデータ） (2025-10-24T02:02:13Z)
• Implicit Reward as the Bridge: A Unified View of SFT and DPO Connections [65.36449542323277]
  本稿では,Large Language Model (LLM) 後の学習において,SFT(Supervised Fine-Tuning) と優先学習を統合した理論フレームワークを提案する。 そこで本研究では,学習率の簡易かつ効果的な削減手法を提案する。
  論文  参考訳（メタデータ） (2025-06-15T05:42:29Z)
• Discriminative Finetuning of Generative Large Language Models without Reward Models and Human Preference Data [73.04828796123581]
  Supervised Fine-tuning (SFT) は、事前訓練された大規模言語モデル (LLM) を整列するための重要なステップとなっている。 本稿では,SFTの改良版であるDFT(Driminative Fine-Tuning)を紹介する。 i) 入力された全ての可能な出力のうち、解答の判別可能性を明示的にモデル化することにより、微調整LDMの判別確率フレームワーク、(ii) この判別可能性を最適化するための効率的なアルゴリズム、(iii) DFTの有効性を実証する広範な実験を含む。
  論文  参考訳（メタデータ） (2025-02-25T22:38:55Z)
• Bridging SFT and DPO for Diffusion Model Alignment with Self-Sampling Preference Optimization [67.8738082040299]
  自己サンプリング優先最適化(SSPO)は,訓練後強化学習のための新しいアライメント手法である。 SSPOは、SFTのトレーニング安定性を維持しながら、ペアデータと報酬モデルの必要性を排除する。 SSPOは、テキスト・ツー・イメージベンチマークにおける以前のアプローチを全て上回り、テキスト・ツー・ビデオベンチマークにおける優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-10-07T17:56:53Z)
• Intuitive Fine-Tuning: Towards Simplifying Alignment into a Single Process [19.986235452236272]
  Supervised Fine-Tuning (SFT) と Preference Optimization (PO) は、言語モデル(LM)を事前学習後の人間の好みに合わせるための重要なプロセスである。 Intuitive Fine-Tuning (IFT)を導入し,SFTとPOをひとつのプロセスに統合する。 IFT は SFT やいくつかの典型的な PO メソッドと相容れないか、それ以上に優れている。
  論文  参考訳（メタデータ） (2024-05-20T08:23:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。