論文の概要: SoFT: Soft Targets for Generalizable LLM Fine-Tuning

• arxiv url: http://arxiv.org/abs/2609.32493v1
• Date: Sat, 26 Sep 2026 11:36:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 08:33:26.630413
• Title: SoFT: Soft Targets for Generalizable LLM Fine-Tuning
• Title（参考訳）: SoFT:汎用LLMファインチューニングのためのソフトターゲット
• Abstract要約: 本研究では,教師による実演からの学習と,ベースモデルの既存の能力のバランスをとるために,ソフトターゲットの微調整を提案する。 混合ドメイン推論とエージェントタスクの実験は、SoFTが全体的なパフォーマンスを最高のものにしていることを示している。
• 参考スコア（独自算出の注目度）: 47.94821664518821
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distillation enables student language models to acquire new capabilities from expert teachers. However, integrating knowledge from multi-teacher, multi-domain demonstrations into a single student remains challenging. We study supervised fine-tuning (SFT) in this setting, where students must acquire diverse capabilities while maintaining generalization beyond the training tasks. Our experiments reveal varying trade-offs between in-distribution learning and out-of-distribution generalization across SFT methods, motivating more explicit control over this balance. To this end, we propose soft-target fine-tuning (SoFT) to balance learning from teacher demonstrations with retaining the Base model's existing capabilities. SoFT sets a minimum target probability for each demonstrated token while making the smallest KL change to the Base distribution. The resulting objective couples learning from demonstrations with adaptively weighted regularization toward the Base model. We further use domain-specific gradient budgets to control this balance and determine a probability threshold for each trajectory. Experiments on mixed-domain reasoning and agentic tasks show that SoFT achieves the best overall performance among the compared methods, with improvements in both in-distribution capability acquisition and out-of-distribution generalization.
• Abstract（参考訳）: 蒸留により、学生言語モデルが専門家の教師から新しい能力を取得することができる。 しかし、マルチティーチング・マルチドメイン・デモの知識を1人の学生に組み込むことは依然として困難である。 この環境では教師付き微調整(SFT)を学習し、学生は訓練タスクを超えて一般化を維持しながら多様な能力を得なければならない。 実験により,SFT法における分散学習と分散一般化のトレードオフが明らかとなり,このバランスに対するより明確な制御の動機となった。 そこで本研究では,教師による実演からの学習と,ベースモデルの既存の能力のバランスをとるためのソフトターゲット微調整(SoFT)を提案する。 SoFTは、証明されたトークンごとに最小目標確率を設定し、最小のKLをベース分布に変更する。 結果として得られた目的のカップルは、ベースモデルに対する適応的に重み付けされた正規化によるデモから学ぶ。 さらに、このバランスを制御し、各軌道の確率閾値を決定するために、ドメイン固有の勾配予算を使用します。 混合領域推論およびエージェントタスクの実験により、SoFTは、分配能力獲得と分配外一般化の両方の改善とともに、比較手法の中で最高の全体的な性能を達成することが示された。

関連論文リスト

• Self-Error Adjustment: Theory and Practice of Balancing Individual Performance and Diversity in Ensemble Learning [4.114446284816968]
  アンサンブル学習は、複数のベース学習者からの予測を集約することで、パフォーマンスを高める。 BaggingやBoostingといった従来の手法は、ランダム性を通じて多様性を促進するが、精度と多様性のトレードオフを正確に制御するものではない。 アンサンブルエラーを2つの異なるコンポーネントに分解するSEA(Self-Error Adjustment)という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-07T00:30:26Z)
• Why Reinforcement Fine-Tuning Enables MLLMs Preserve Prior Knowledge Better: A Data Perspective [98.45690529036848]
  Supervised Fine-Tuning (SFT) や Reinforcement Fine-Tuning (RFT) といったポストトレーニングアルゴリズムは、マルチモーダルな大規模言語モデルを下流タスクに適応するために広く使われている。 タスク適応には有効であるが、以前の知識に対する影響はいまだ不明である。
  論文  参考訳（メタデータ） (2025-06-30T04:15:01Z)
• Implicit Reward as the Bridge: A Unified View of SFT and DPO Connections [65.36449542323277]
  本稿では,Large Language Model (LLM) 後の学習において,SFT(Supervised Fine-Tuning) と優先学習を統合した理論フレームワークを提案する。 そこで本研究では,学習率の簡易かつ効果的な削減手法を提案する。
  論文  参考訳（メタデータ） (2025-06-15T05:42:29Z)
• On-the-fly Modulation for Balanced Multimodal Learning [53.616094855778954]
  マルチモーダル学習は、異なるモーダルからの情報を統合することでモデル性能を向上させることが期待されている。 広く使われている共同トレーニング戦略は、不均衡で最適化されていないユニモーダル表現につながる。 そこで本研究では,OGM(On-the-fly Prediction Modulation)とOGM(On-the-fly Gradient Modulation)の戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-15T13:15:50Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• Mitigating the Alignment Tax of RLHF [76.4300447532456]
  強化学習(Reinforcement Learning)とヒューマンフィードバック(Human Feedback)の下のLLMの調整は、事前訓練された能力(アライメント税(アライメント税)としても知られる)を忘れてしまう可能性がある。 最小アライメント税を課しながらアライメント性能を最大化するためのモデル平均化を提案する。 我々は,OpenLLaMA-3B上でのRLHFアルゴリズムによるHMAの性能評価を行い,さらにMistral-7Bまで拡張した。
  論文  参考訳（メタデータ） (2023-09-12T14:16:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。