論文の概要: Why Supervised Fine-Tuning Fails to Learn: A Systematic Study of Incomplete Learning in Large Language Models

• arxiv url: http://arxiv.org/abs/2604.10079v1
• Date: Sat, 11 Apr 2026 07:55:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:15.829046
• Title: Why Supervised Fine-Tuning Fails to Learn: A Systematic Study of Incomplete Learning in Large Language Models
• Title（参考訳）: 微調整障害に学ぶ理由:大規模言語モデルにおける不完全学習の体系的研究
• Authors: Chao Xue, Yao Wang, Mengqiao Liu, Di Liang, Xingsheng Han, Peiyang Liu, Xianjie Wu, Chenyao Lu, Lei Jiang, Yu Lu, Haibo Shi, Shuang Liang, Minlong Peng, Flora D. Salim,
• Abstract要約: 本稿では,言語モデルにおける不完全学習現象(ILP)に関する最初の体系的研究について述べる。 我々は,事前学習モデルにおける前提条件知識の欠如,SFT監督と事前学習知識の相違,SFTデータ内部の不整合,逐次微調整中の左サイドの忘れ,稀なパターンや複雑なパターンの最適化が不十分な5つの不完全学習源を同定した。 Qwen、LLaMA、OLMo2の実験では、不完全学習は広く、不均一であり、集約されたメトリクスの改善は、永続的な未学習サブセットを隠蔽する可能性がある。
• 参考スコア（独自算出の注目度）: 33.04999074297977
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Supervised Fine-Tuning (SFT) is the standard approach for adapting large language models (LLMs) to downstream tasks. However, we observe a persistent failure mode: even after convergence, models often fail to correctly reproduce a subset of their own supervised training data. We refer to this behavior as the Incomplete Learning Phenomenon(ILP). This paper presents the first systematic study of ILP in LLM fine-tuning. We formalize ILP as post-training failure to internalize supervised instances and demonstrate its prevalence across multiple model families, domains, and datasets. Through controlled analyses, we identify five recurrent sources of incomplete learning: (1) missing prerequisite knowledge in the pre-trained model, (2) conflicts between SFT supervision and pre-training knowledge, (3) internal inconsistencies within SFT data, (4) left-side forgetting during sequential fine-tuning, and (5) insufficient optimization for rare or complex patterns. We introduce a diagnostic-first framework that maps unlearned samples to these causes using observable training and inference signals, and study several targeted mitigation strategies as causal interventions. Experiments on Qwen, LLaMA, and OLMo2 show that incomplete learning is widespread and heterogeneous, and that improvements in aggregate metrics can mask persistent unlearned subsets. The findings highlight the need for fine-grained diagnosis of what supervised fine-tuning fails to learn, and why.
• Abstract（参考訳）: Supervised Fine-Tuning (SFT) は、大規模言語モデル(LLM)を下流タスクに適用するための標準的なアプローチである。 収束後も、モデルが自身の教師付きトレーニングデータのサブセットを正しく再現できない場合が多い。 この挙動を不完全学習現象(ILP)と呼ぶ。 本稿では,LPMファインチューニングにおけるILPに関する最初の体系的研究について述べる。 教師付きインスタンスを内部化するためのトレーニング後障害としてILPを形式化し、複数のモデルファミリ、ドメイン、データセットにその頻度を示す。 制御された分析により,(1)事前学習モデルにおける必須知識の欠如,(2)SFT監督と事前学習知識の相違,(3)SFTデータ内部の不整合,(4)逐次微調整中の左サイドの忘れ,(5)希少パターンや複雑なパターンに対する不十分な最適化,の5つの不完全学習源を同定した。 我々は、観測可能なトレーニングと推論信号を用いて、未学習のサンプルをこれらの原因にマッピングする診断ファーストフレームワークを導入し、因果的介入としていくつかの標的緩和戦略について検討する。 Qwen、LLaMA、OLMo2の実験では、不完全学習は広く、不均一であり、集約されたメトリクスの改善は、永続的な未学習サブセットを隠蔽する可能性がある。 この結果は、教師による微調整が学習に失敗する理由と理由の詳細な診断の必要性を浮き彫りにした。

関連論文リスト

• How and Why LLMs Generalize: A Fine-Grained Analysis of LLM Reasoning from Cognitive Behaviors to Low-Level Patterns [51.02752099869218]
  大きな言語モデル(LLM)は、非常に異なる一般化の振る舞いを示す。 推論を原子核スキルに分解する新しいベンチマークを導入する。 SFTモデルはよりシャープなドリフトと表面パターンへの過度な適合を示すのに対し、RL型モデルはより安定した行動プロファイルを維持し、推論スキルの崩壊に抵抗することを示す。
  論文  参考訳（メタデータ） (2025-12-30T08:16:20Z)
• Dual-level Modality Debiasing Learning for Unsupervised Visible-Infrared Person Re-Identification [59.59359638389348]
  本稿では,モデルと最適化の両レベルでのデバイアス処理を実装したデュアルレベルのモダリティ・デバイアス学習フレームワークを提案する。 ベンチマークデータセットの実験では、DMDLはモダリティ不変の特徴学習とより一般化されたモデルを可能にすることを示した。
  論文  参考訳（メタデータ） (2025-12-03T12:43:16Z)
• Mirage or Method? How Model-Task Alignment Induces Divergent RL Conclusions [22.83151273022573]
  反直感現象は、大きな言語モデル(LLM)で報告されている RL観測を区別する重要な要因を同定する。事前学習されたモデルが既に強力なModel-Taskアライメントを示すかどうか。 この結果から, 標準RLトレーニングは, セッティング全体にわたって一貫して頑健でありながら, モデルとタスクがすでに強いモデルとタスクのアライメントを示す場合にのみ, 直感的な結果が生じることが示唆された。
  論文  参考訳（メタデータ） (2025-08-28T20:02:10Z)
• Leveraging Learning Bias for Noisy Anomaly Detection [19.23861148116995]
  本稿では、フル教師なし画像異常検出(FUIAD)の課題に対処する。 従来の方法では、異常のないトレーニングデータを仮定するが、実世界の汚染により、モデルは通常通り異常を吸収する。 モデルに固有の学習バイアスを利用する2段階のフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-10T17:47:21Z)
• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• Unveiling Multiple Descents in Unsupervised Autoencoders [25.244065166421517]
  非線形非教師なしオートエンコーダで二重・三重降下を観測できることを初めて示す。 合成データセットと実データセットの両方に関する広範な実験を通して、モデルワイド、エポックワイド、サンプルワイドの二重降下を明らかにする。
  論文  参考訳（メタデータ） (2024-06-17T16:24:23Z)
• Theoretical Characterization of the Generalization Performance of Overfitted Meta-Learning [70.52689048213398]
  本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。 シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。 本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
  論文  参考訳（メタデータ） (2023-04-09T20:36:13Z)
• Adaptive Memory Networks with Self-supervised Learning for Unsupervised Anomaly Detection [54.76993389109327]
  教師なし異常検出は、通常のデータのみをトレーニングすることで、目に見えない異常を検出するモデルを構築することを目的としている。 本稿では,これらの課題に対処するために,自己教師付き学習(AMSL)を用いた適応記憶ネットワーク(Adaptive Memory Network)を提案する。 AMSLには、一般的な正規パターンを学ぶための自己教師付き学習モジュールと、リッチな特徴表現を学ぶための適応型メモリ融合モジュールが組み込まれている。
  論文  参考訳（メタデータ） (2022-01-03T03:40:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。