論文の概要: Self-Privileged Fine-Tuning
- arxiv url: http://arxiv.org/abs/2611.04632v1
- Date: Tue, 03 Nov 2026 10:21:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-09 14:42:38.729022
- Title: Self-Privileged Fine-Tuning
- Title(参考訳): 自走式ファインチューニング
- Abstract要約: Supervised Fine-tuning (SFT) は、言語モデルのトレーニング後の重要なコンポーネントである。
近年,トークンレベルの重み付けをトレーニング対象に導入することで,SFTを改善する方法が提案されている。
特権情報に条件付けされた初期モデルの凍結したコピーを用いて,SPFT(Self-Privileged Fine-Tuning)を提案する。
- 参考スコア(独自算出の注目度): 7.061548884158725
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Supervised fine-tuning (SFT) is a key component of language model post-training, enabling effective task adaptation and serving as an important foundation for subsequent reinforcement learning. Recent methods seek to improve SFT by introducing token-level weights into the training objective, where these weights are typically derived from a model's output distribution at each token position. To better understand how such weighting schemes affect SFT, we analyze their optimization objectives and theoretically characterize the target distributions they induce. Our analysis shows that dynamic weighting methods, such as Dynamic Fine-Tuning (DFT), induce a heavily sharpened distribution, whereas static weighting methods fit a target distribution proportional to the product of the data distribution and a frozen prior. These findings suggest that static weighting provides a more stable training target, while its effectiveness critically depends on the quality of the prior distribution. Building on this observation, we propose Self-Privileged Fine-Tuning (SPFT), which uses a frozen copy of the initial model conditioned on privileged information (such as ground truth for mathematical questions) as a prior to provide guidance for token-level weighting during fine-tuning. Through a Bayesian decomposition, we further show that SPFT reweights the standard static prior according to how informative each target token is for predicting the ground-truth outcome, thereby assigning larger weights to more predictive tokens. Experiments on mathematical reasoning and code generation show that SPFT improves over standard SFT and other baselines across the main settings.
- Abstract(参考訳): Supervised Fine-tuning (SFT) は、言語モデルポストトレーニングの重要なコンポーネントであり、効果的なタスク適応を可能にし、その後の強化学習の重要な基盤となる。
最近の方法では、トークンレベルの重みをトレーニング対象に導入することで、SFTを改善する方法が提案されている。
このような重み付け方式がSFTにどのように影響するかをよりよく理解するために、最適化の目的を分析し、理論的にそれらが引き起こす対象分布を特徴づける。
解析の結果,ダイナミックファインチューニング (DFT) などの動的重み付け法は, より鋭い分布を誘導する一方, 静的重み付け法はデータ分布の積と凍結前の積に比例してターゲット分布に適合することがわかった。
これらの結果から,静的重み付けはトレーニング目標を安定させるが,その有効性は事前分布の品質に大きく依存することがわかった。
そこで本研究では,特権情報(数学的問題に対する基礎的真理など)に規定された初期モデルの凍結コピーを先行として用いて,微調整時のトークンレベルの重み付けを指導する自己更新ファインチューニング(SPFT)を提案する。
さらに、ベイズ分解により、SPFTは、目標トークンがいかに情報的かに応じて標準静的先行を重み付けし、より予測的なトークンにより大きな重みを割り当てるかを示す。
数学的推論とコード生成の実験により、SPFTは標準のSFTや他のベースラインよりも主要な設定で改善されていることが示された。
関連論文リスト
- What Should SFT Learn? Conditional Information Gain for Generalizable Post-Training [41.10940038446798]
Supervised Fine-tuning (SFT) は、大規模言語モデルの訓練後に広く使われるアプローチである。
本稿では,各トークンが持つタスク条件情報を推定する情報理論フレームワークであるCIG-SFTを提案する。
論文 参考訳(メタデータ) (2026-10-09T04:57:55Z) - PriFT: Prior-Support Guided Supervised Fine-Tuning [74.65198014829393]
Supervised Fine-tuning (SFT) は、下流タスク適応のための効率的なアプローチである。
SFTはトークン単位で固定されたデモトークンに適合する。
凍結した事前訓練参照からトークン重みを導出し、微調整の影響を受けない安定した再重み付け信号を得るPriFTを提案する。
論文 参考訳(メタデータ) (2026-06-08T12:14:06Z) - Entropy-KL Divergence-based Token Masking: A Novel Approach for Selective Fine-tuning of Large Language Models [52.11240605311707]
改良された微調整と強化学習は、大規模言語モデルの訓練後の標準パラダイムとなっている。
EKSFT(Entropy-KL Selective Fine-Tuning)は,参照モデルから高いエントロピーまたは高いKLの発散を示すトークンを選択的にマスクする。
数学的推論ベンチマークに関する実証的な評価は、EKSFTが標準SFTを一貫して上回っていることを示している。
論文 参考訳(メタデータ) (2026-05-28T03:36:05Z) - InfoSFT: Learn More and Forget Less with Information-Aware Token Weighting [29.514746370429965]
Supervised Fine-tuning (SFT)は、オフラインの専門家によるデモンストレーションからLLMに新しい振る舞いを教えるための標準的なアプローチを提供する。
標準SFTは、ベースモデルの下で低い可能性のサンプルを含む全てのサンプルに均一に適合する。
本稿では,SFT 目的のための原則重み付け方式であるInfoSFTを提案する。
論文 参考訳(メタデータ) (2026-05-14T15:32:37Z) - Implicit Reward as the Bridge: A Unified View of SFT and DPO Connections [65.36449542323277]
本稿では,Large Language Model (LLM) 後の学習において,SFT(Supervised Fine-Tuning) と優先学習を統合した理論フレームワークを提案する。
そこで本研究では,学習率の簡易かつ効果的な削減手法を提案する。
論文 参考訳(メタデータ) (2025-06-15T05:42:29Z) - BMFT: Achieving Fairness via Bias-based Weight Masking Fine-tuning [17.857930204697983]
Bias-based Weight Masking Fine-Tuning (BMFT) は、訓練されたモデルの公平性を大幅に向上させる新しい後処理手法である。
BMFTはモデルパラメータの上にマスクを生成し、偏りのある予測に最も寄与する重みを効率的に識別する。
4つの皮膚科学データセットと2つの感度特性による実験により、BMFTは診断精度と公正度の両方で既存の最先端(SOTA)技術より優れていることが示された。
論文 参考訳(メタデータ) (2024-08-13T13:36:48Z) - Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。
GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
論文 参考訳(メタデータ) (2023-12-19T06:06:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。