論文の概要: Self-Distillation as a Performance Recovery Mechanism for LLMs: Counteracting Compression and Catastrophic Forgetting

• arxiv url: http://arxiv.org/abs/2604.15794v1
• Date: Fri, 17 Apr 2026 07:55:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-20 22:00:19.802135
• Title: Self-Distillation as a Performance Recovery Mechanism for LLMs: Counteracting Compression and Catastrophic Forgetting
• Title（参考訳）: LLMの性能回復機構としての自己蒸留
• Authors: Chi Liu, Xin Chen, Xu Zhou, Fangbo Tu, Srinivasan Manoharan,
• Abstract要約: 自己蒸留細管(SDFT)に基づく性能回復フレームワークを提案する。 本稿では, その基盤となる回復機構について, 厳密な理論的説明を行う。
• 参考スコア（独自算出の注目度）: 8.409656217475586
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have achieved remarkable success, underpinning diverse AI applications. However, they often suffer from performance degradation due to factors such as catastrophic forgetting during Supervised Fine-Tuning (SFT), quantization, and pruning. In this work, we introduce a performance recovery framework based on Self-Distillation Fine-Tuning (SDFT) that effectively restores model capabilities. Complementing this practical contribution, we provide a rigorous theoretical explanation for the underlying recovery mechanism. We posit that an LLM's generative capability fundamentally relies on the high-dimensional manifold constructed by its hidden layers. To investigate this, we employ Centered Kernel Alignment (CKA) to quantify the alignment between student and teacher activation trajectories, leveraging its invariance to orthogonal transformations and scaling. Our experiments demonstrate a strong correlation between performance recovery and manifold alignment, substantiating the claim that self-distillation effectively aligns the student's high-dimensional manifold with the optimal structure represented by the teacher. This study bridges the gap between practical recovery frameworks and geometric representation theory, offering new insights into the internal mechanisms of self-distillation.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、さまざまなAIアプリケーションを支えることで、大きな成功を収めています。 しかし、SFT(Supervised Fine-Tuning)、量子化(quantization)、プルーニング(pruning)などの要因により、しばしば性能劣化に悩まされる。 本研究では,SDFT(Self-Distillation Fine-Tuning)に基づく性能回復フレームワークを提案する。 この実践的な貢献を補完し、その基盤となる回復機構に関する厳密な理論的説明を提供する。 LLMの生成能力は、隠れた層によって構築された高次元多様体に基本的に依存していると仮定する。 そこで我々は,Centered Kernel Alignment (CKA) を用いて,生徒と教師のアクティベーショントラジェクトリのアライメントを定量化し,その不変性を直交変換やスケーリングに活用する。 本実験は, 自己蒸留が生徒の高次元多様体と教師が表す最適構造とを効果的に整合させるという主張を裏付けるものである。 本研究は, 自己蒸留の内的メカニズムに関する新たな洞察を提供するとともに, 実用的回復フレームワークと幾何学的表現理論のギャップを埋めるものである。

関連論文リスト

• MIND: From Passive Mimicry to Active Reasoning through Capability-Aware Multi-Perspective CoT Distillation [16.96094045628127]
  既存のアプローチでは、学生は一つの黄金の合理性に従うことを制限し、異なる推論経路を個別に扱う。 このミスアライメントは、学生の潜在的推論分布を劣化させ、最適以下のパフォーマンスを引き起こす。 我々は,受動的模倣から能動的認知構築へ移行する能力フィルタリングフレームワーク MIND を提案する。
  論文  参考訳（メタデータ） (2026-01-07T09:08:59Z)
• Decoupled DMD: CFG Augmentation as the Spear, Distribution Matching as the Shield [54.328202401611264]
  拡散モデル蒸留は、効率的な数段・単段発生装置を作るための強力な技術として登場した。 数段蒸留の原動力は分布一致ではなく,これまで見過ごされていた成分であるCFG増量 (CFG Augmentation, CA) であることを示す。 本稿では, エンジンとレギュレータのノイズスケジュールを分離するなど, 蒸留工程の原理的な修正を提案し, 更なる性能向上を実現した。
  論文  参考訳（メタデータ） (2025-11-27T18:24:28Z)
• Round-trip Reinforcement Learning: Self-Consistent Training for Better Chemical LLMs [51.29260537017623]
  大規模言語モデル (LLM) は計算化学の汎用基盤モデルとして登場しつつある。 これらのモデルは、しばしば往復一貫性を欠いている。 本稿では,その一貫性を向上させるためにモデルをトレーニングする新しいフレームワークであるRound-Trip Reinforcement Learning(RTRL)を紹介する。
  論文  参考訳（メタデータ） (2025-10-01T23:58:58Z)
• Weight Spectra Induced Efficient Model Adaptation [54.8615621415845]
  微調整された大規模な基礎モデルは、計算コストを禁ずる。 微調整が最上位特異値を大きく増幅する一方で,残りはほとんど無傷であることを示す。 本稿では,トップ特異方向の学習可能な再スケーリングを利用する新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-05-29T05:03:29Z)
• Structured Agent Distillation for Large Language Model [56.38279355868093]
  本研究では,LLMをベースとした大規模エージェントを小さな学生モデルに圧縮するフレームワークであるStructured Agent Distillationを提案する。 提案手法は, [REASON] と [ACT] にトラジェクトリを分割し, 各コンポーネントを教師の行動に合わせるためにセグメント特異的な損失を適用した。 ALFWorld、HotPotQA-ReAct、WebShopの実験は、我々のアプローチがトークンレベルと模倣学習のベースラインを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2025-05-20T02:01:55Z)
• Model Hemorrhage and the Robustness Limits of Large Language Models [119.46442117681147]
  大規模言語モデル(LLM)は、自然言語処理タスク全体で強力なパフォーマンスを示すが、デプロイメント用に修正された場合、大幅なパフォーマンス低下を経験する。 この現象をモデル出血(パラメータ変更とアーキテクチャ変更によるパフォーマンス低下)と定義する。
  論文  参考訳（メタデータ） (2025-03-31T10:16:03Z)
• Adaptive Gradient Clipping for Robust Federated Learning [8.268485501864939]
  本稿では,適応型クリッピング戦略である適応ロバストクリッピング(ARC)を提案し,入力勾配に基づいて動的にクリッピング閾値を調整する。 ARCは、特に高度に異質で対向的な設定において、ロバスト性を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-05-23T11:00:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。