論文の概要: InfoSFT: Learn More and Forget Less with Information-Aware Token Weighting

• arxiv url: http://arxiv.org/abs/2605.14967v1
• Date: Thu, 14 May 2026 15:32:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-15 21:45:34.914662
• Title: InfoSFT: Learn More and Forget Less with Information-Aware Token Weighting
• Title（参考訳）: InfoSFT: 情報対応のトークンウェイトでより多くを学び、より多くを忘れる
• Authors: Mahdi Sabbaghi, George Pappas, Adel Javanmard, Hamed Hassani,
• Abstract要約: Supervised Fine-tuning (SFT)は、オフラインの専門家によるデモンストレーションからLLMに新しい振る舞いを教えるための標準的なアプローチを提供する。 標準SFTは、ベースモデルの下で低い可能性のサンプルを含む全てのサンプルに均一に適合する。 本稿では,SFT 目的のための原則重み付け方式であるInfoSFTを提案する。
• 参考スコア（独自算出の注目度）: 29.514746370429965
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Supervised fine-tuning (SFT) provides the standard approach for teaching LLMs new behaviors from offline expert demonstrations. However, standard SFT uniformly fits all samples -- including those with low likelihood under the base model -- which can disproportionately drive training updates toward overfitting specific samples rather than learning the target behavior. Moreover, adapting to these unlikely samples induces substantial policy shifts that degrade prior capabilities. Existing methods mitigate this by filtering, regenerating, or down-weighting low-likelihood data. In doing so, they often suppress precisely the novel behaviors the base model has yet to learn. We propose InfoSFT, a principled weighting scheme for the SFT objective that concentrates learning signals on maximally informative, medium-confidence tokens -- those neither overly familiar to the base model nor too unlikely to cause instability. Requiring only a one-line modification to the standard token-wise loss, InfoSFT demonstrably improves generalization over vanilla SFT and likelihood-weighted baselines across math, code, and chain-of-thought tasks with diverse model families, while better preserving pre-existing capabilities.
• Abstract（参考訳）: Supervised Fine-tuning (SFT)は、オフラインの専門家によるデモンストレーションからLLMに新しい振る舞いを教えるための標準的アプローチを提供する。 しかし、標準のSFTは、ベースモデルの下で低い可能性を含む全てのサンプルを均一に適合させ、ターゲットの振る舞いを学ぶのではなく、特定のサンプルを過度に適合させるトレーニング更新を不均等に進めることができる。 さらに、これらのありそうもないサンプルに適応することで、事前の能力が低下する相当なポリシーシフトが引き起こされる。 既存の方法は、フィルタ、再生、または低線量データのダウン重み付けによってこれを緩和する。 そのような場合、ベースモデルがまだ学習していない新しい振る舞いを正確に抑制することが多い。 本研究では,SFT 目的のための原則的重み付け方式であるInfoSFT を提案する。 標準的なトークン単位の損失に対して1行の修正しか必要とせず、InfoSFTはバニラSFTの一般化を実証的に改善し、様々なモデルファミリを持つ数学、コード、チェーン・オブ・シークレットのタスクにまたがって、既存の機能を保存する。

関連論文リスト

• Learning from the Undesirable: Robust Adaptation of Language Models without Forgetting [18.680059467974825]
  言語モデル(LM)は、ダウンストリームタスクに特化するために、教師付き微調整(SFT)によって適応されることが多い。 微調整データに制限がある典型的なシナリオでは、SFTはLMを過度に適合させ、急激なパターンに依存する。 本研究では,SFT がデータ制限のある LM を微調整する際の問題を緩和するための,単純かつ効果的な正規化手法であるLfU を提案する。
  論文  参考訳（メタデータ） (2025-11-17T06:57:44Z)
• On the Generalization of SFT: A Reinforcement Learning Perspective with Reward Rectification [61.607788999847564]
  LLM(Large Language Model)のためのSFT(Supervised Fine-Tuning)の改良法を提案する。 標準SFT勾配は、モデルの一般化能力を著しく制限する問題のある報酬構造を暗黙的に符号化する。 本稿では,このトークンの確率で目的関数を動的に再スケーリングすることにより,各トークンの勾配を安定化する動的微調整(DFT)を提案する。
  論文  参考訳（メタデータ） (2025-08-07T17:59:04Z)
• Forgetting: A New Mechanism Towards Better Large Language Model Fine-tuning [51.92313556418432]
  Supervised Fine-tuning (SFT) は、事前訓練された大規模言語モデル (LLM) において重要な役割を果たす。 各コーパス内のトークンを、モデルパフォーマンスを改善するのに有用かどうかに基づいて、正と負の2つの部分に分類することを提案する。 我々は、よく確立されたベンチマークで実験を行い、この忘れるメカニズムが全体のモデル性能を向上するだけでなく、より多様なモデル応答を促進することを発見した。
  論文  参考訳（メタデータ） (2025-08-06T11:22:23Z)
• CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep Learning [55.733193075728096]
  現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。 サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。 本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
  論文  参考訳（メタデータ） (2022-02-11T13:49:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。