論文の概要: SFT-as-Context Mitigates Forgetting in Supervised Fine-Tuning

• arxiv url: http://arxiv.org/abs/2610.11132v1
• Date: Thu, 08 Oct 2026 02:57:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.750082
• Title: SFT-as-Context Mitigates Forgetting in Supervised Fine-Tuning
• Title（参考訳）: SFT-as-Contextは、教師付きファインチューニングにおける予測を緩和する
• Abstract要約: SFT-as-contextは、親モデルがSFTモデルの応答をコンテキストとして使用してクエリに応答する学習自由な手法である。 19の親SFTモデルペアと11のベンチマークで、SFT-as-contextは微調整機能でSFTモデルに近い状態にある。 親モデルもSFTモデルも単独で成功しても、微調整と一般的な機能の両方を必要とするクエリを解決することができる。
• 参考スコア（独自算出の注目度）: 6.968097661162157
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Supervised fine-tuning (SFT) equips large language models (LLMs) with specialized capabilities, but often comes at the cost of forgetting the general capabilities of their parent models (i.e., the pretrained models before fine-tuning). This trade-off is especially limiting for queries that require both specialized and general capabilities. We introduce SFT-as-context, a training-free method in which the parent model uses the SFT model's response as context to answer the query. This allows the parent model to acquire fine-tuned capabilities from the SFT response through in-context learning while preserving its own general capabilities. Across 19 parent-SFT model pairs and 11 benchmarks, SFT-as-context remains close to the SFT models on fine-tuned capabilities, with gaps of only 2.2 and 2.1 percentage points on AIME 2024 and LiveCodeBench and 2.0 macro MAE on NutriBench-English, while staying within 2.2 percentage points of the parent models on general capabilities on average. Remarkably, it can solve queries requiring both fine-tuned and general capabilities, even when neither the parent nor SFT model succeeds alone. This approach also extends beyond parent-SFT pairs: responses from a small open-source SFT model can improve a strong closed-source LLM, outperforming either model alone. Furthermore, we use a Bayesian framework to derive theoretical guarantees that bound the error of SFT-as-context relative to the SFT model on fine-tuned capabilities and to the parent model on general capabilities. In addition, we visualize the attention weights and find that the parent model attends more to useful SFT responses and less to irrelevant ones, suggesting that selective attention helps the parent model use the SFT response through in-context learning.
• Abstract（参考訳）: Supervised Fine-tuning (SFT) は、大型言語モデル(LLM)に特別な機能を持たせるが、しばしば親モデルの一般的な能力を忘れるコストがかかる。 このトレードオフは特に、特殊な機能と一般的な機能の両方を必要とするクエリに制限されている。 SFT-as-contextは、親モデルがSFTモデルの応答をコンテキストとして使用してクエリに応答する学習自由な手法である。 これにより、親モデルは、自身の汎用能力を保ちながら、コンテキスト内学習を通じて、SFT応答から微調整機能を取得することができる。 19の親-SFTモデルペアと11のベンチマークで、SFT-as-contextは細調整された能力でSFTモデルに近づき、AIME 2024とLiveCodeBenchの2.2と2.1のパーセンテージしかなく、NutriBench- Englishの2.0マクロMAEと2.0マクロMAEは平均的な能力で親モデルの2.2パーセンテージ以内にとどまっている。 注目すべきは、親モデルもSFTモデルも単独で成功しても、微調整と一般的な機能の両方を必要とするクエリを解決できることだ。 このアプローチはまた、親-SFTペアを超えて拡張される: 小さなオープンソースSFTモデルからの応答は、強力なクローズドソース LLM を改善することができ、どちらのモデルよりも優れている。 さらに、ベイジアン・フレームワークを用いて、SFTモデルに対するSFT-as-contextの誤差が微調整能力および一般機能に関する親モデルに拘束されることを理論的に保証する。 さらに、注意重みを可視化し、親モデルが有用なSFT応答により関与し、無関係な応答に少ないことに気付き、親モデルがコンテキスト内学習を通じてSFT応答を使用するのに役立つことを示唆する。

関連論文リスト

• Finetuning with Sampling: SFT Learns Better Than You Think [59.15243022588638]
  ファインタニングの参照モデルから、オフ・ポリシートレースをよりオン・ポリシーに変換するサンプリングアルゴリズムを導入する。 我々のサンプリングアルゴリズムは,科学的なスキル獲得のようなタスク全体にわたって,SFTが普及しているポストトレーニング技術と競合することを可能にする。 本手法では,学習容易性のためにデータを生成するモデルネイティブ演算子としてサンプリングを行う。
  論文  参考訳（メタデータ） (2026-10-01T17:45:07Z)
• Why Reinforcement Fine-Tuning Enables MLLMs Preserve Prior Knowledge Better: A Data Perspective [98.45690529036848]
  Supervised Fine-Tuning (SFT) や Reinforcement Fine-Tuning (RFT) といったポストトレーニングアルゴリズムは、マルチモーダルな大規模言語モデルを下流タスクに適応するために広く使われている。 タスク適応には有効であるが、以前の知識に対する影響はいまだ不明である。
  論文  参考訳（メタデータ） (2025-06-30T04:15:01Z)
• Improved Supervised Fine-Tuning for Large Language Models to Mitigate Catastrophic Forgetting [1.5595148909011116]
  Supervised Fine-Tuning (SFT) は、Large Language Models (LLM) の命令追従能力を高めるための重要なステップである。 SFTはしばしば、破滅的忘れという現象として、モデルの一般的な能力の低下につながる。 本稿では,従来のSFTデータへのアクセスを必要とせずに,破滅的な忘れを効果的に軽減する,新しい費用対効果のSFT手法を提案する。
  論文  参考訳（メタデータ） (2025-06-11T06:23:50Z)
• UFT: Unifying Supervised and Reinforcement Fine-Tuning [27.786964046329455]
  我々は、SFTとRFTを単一の統合プロセスに統合する新しいポストトレーニングパラダイムであるUnified Fine-Tuning(UFT)を提案する。 UFTは、インフォメーション・インフォメーション・シグナルを取り入れつつ、効果的に解を探索することを可能にする。 理論的には、UFTがRFT固有の指数的サンプル複雑性のボトルネックを破ることを示す。
  論文  参考訳（メタデータ） (2025-05-22T17:53:57Z)
• Boosting Large Language Models with Mask Fine-Tuning [60.56962908455601]
  Mask Fine-Tuning (MFT)を導入し、モデルの整合性を適切に破壊すると驚くほど性能が向上することを示した。 MFTは様々なドメインやバックボーンで一貫したパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2025-03-27T20:17:57Z)
• Discriminative Finetuning of Generative Large Language Models without Reward Models and Human Preference Data [73.04828796123581]
  Supervised Fine-tuning (SFT) は、事前訓練された大規模言語モデル (LLM) を整列するための重要なステップとなっている。 本稿では,SFTの改良版であるDFT(Driminative Fine-Tuning)を紹介する。 i) 入力された全ての可能な出力のうち、解答の判別可能性を明示的にモデル化することにより、微調整LDMの判別確率フレームワーク、(ii) この判別可能性を最適化するための効率的なアルゴリズム、(iii) DFTの有効性を実証する広範な実験を含む。
  論文  参考訳（メタデータ） (2025-02-25T22:38:55Z)
• Unlock the Correlation between Supervised Fine-Tuning and Reinforcement Learning in Training Code Large Language Models [12.656574142412484]
  本研究では,教師付き微調整と強化学習の相関関係の解明を試みる。 SFTの一般化には原子関数と合成関数の両方が不可欠である。
  論文  参考訳（メタデータ） (2024-06-14T03:39:01Z)
• Intuitive Fine-Tuning: Towards Simplifying Alignment into a Single Process [19.986235452236272]
  Supervised Fine-Tuning (SFT) と Preference Optimization (PO) は、言語モデル(LM)を事前学習後の人間の好みに合わせるための重要なプロセスである。 Intuitive Fine-Tuning (IFT)を導入し,SFTとPOをひとつのプロセスに統合する。 IFT は SFT やいくつかの典型的な PO メソッドと相容れないか、それ以上に優れている。
  論文  参考訳（メタデータ） (2024-05-20T08:23:28Z)
• DavIR: Data Selection via Implicit Reward for Large Language Models [62.59514469369608]
  DavIRは、学習後の大規模言語モデルのためのモデルベースのデータ選択手法である。 DavIRで選択したAlpacaデータセットの6%は、LLaMAモデルとGemmaモデルの両方を操り、フル52Kデータセットでトレーニングされたモデルと比較すると、優れたパフォーマンスが得られる。
  論文  参考訳（メタデータ） (2023-10-16T07:26:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。