Drift-Constrained Optimization: Only Direction Matters in Fine-Tuning Instruct Models
Abstractの概要
本論文では、参照モデルからの振る舞いのドリフト（乖離）という観点から指示モデルの教師ありファインチューニングを検討し、ドリフトを制御不能な副作用ではなく固定された予算として扱っています。固定されたKLダイバージェンスを用いて参照モデル周辺の局所的なフィッシャー幾何学を導出することで、ドリフトがモデルの移動距離を決定し、更新方向がそのドリフト予算の消費方法を決定することを示しています。これによりファインチューニングが方向選択問題として再定式化され、フルファインチューニング、LoRA、パラメータ選択的チューニングなどの手法は、アクセス可能な更新方向の異なるファミリを提供するものとして位置づけられます。実証実験としてQAのみの難度の高い教師あり設定で検証を行い、適切な層ごとの更新方向を選択することで、推論能力や一般能力をより強固に維持しながらターゲットタスクを改善できることを示しています。
新規性
本論文の主な新規性は、固定された振る舞い予算下での適応を、共有されたフィッシャー幾何学における効率的な更新方向の選択として再構成するドリフト優先の定式化にあります。また、望ましい更新を個別のパラメータ変更として扱うのではなく、効果的な方向のファミリを特定するための実用的なプローブとして層選択的チューニングを導入した点も新規です。
成果
Qwen3-8BおよびQwen3-14Bを用いた実験では、単純なQAのみのフルファインチューニングはドリフトを増大させ推論能力や一般能力を損ないやすいのに対し、分割層選択構成は同等のドリフトレベルで確実なタスク向上を達成することが示されました。100以上の言語を対象とした多言語翻訳において、最適な層選択設定は参照モデルを上回り、評価プロトコル下でいくつかの専用翻訳システムと同等以上の性能を達成しました。さらに、得られたモデルは後続の強化学習に対してより強力な初期値となり、ベースモデルから強化学習を開始するよりも大きな下流性能の向上をもたらしました。
論文の注目点
- 固定されたKLダイバージェンスを用いて明示的な振る舞いドリフト予算を伴うファインチューニングをモデル化し、更新方向が適応効率を左右する局所幾何学的フレームワークを確立した。
- 粗い分割層選択戦略により、QAのみの教師あり学習において、フルファインチューニングや目的正則化単体よりも一般能力を維持しつつ科学的推論および多言語翻訳を改善する近傍の更新構成を複数特定した。
- ドリフト量や予算を揃えた比較検証により、異なる方向ファミリが明確に異なる方向効率を持つこと、そして効果的な方向構造がモデル間で転移し後続の強化学習にも恩恵を与えることが実証された。