論文の概要: iSDFT: Information-Proximal Self-Distillation for Continual Learning in LLMs

• arxiv url: http://arxiv.org/abs/2609.24646v2
• Date: Mon, 28 Sep 2026 11:55:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-29 21:31:51.597496
• Title: iSDFT: Information-Proximal Self-Distillation for Continual Learning in LLMs
• Title（参考訳）: iSDFT:LLMにおける継続学習のための情報プロキシ自己蒸留
• Abstract要約: 自己蒸留ファインチューニングは、忘れを減らしながらデモから新しいスキルを学ぶが、常に実演条件の完全な教師に向かわせる。 本稿では,教師を情報源として扱う情報プロクシマルSDFTについて紹介する。
• 参考スコア（独自算出の注目度）: 14.98696153981461
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy self-distillation fine-tuning (SDFT) learns new skills from demonstrations while reducing forgetting, but it always distils toward the full demonstration-conditioned teacher. This fixes teacher influence at the full-teacher endpoint, providing no control over how much demonstration information should be transferred at each prediction state. We introduce Information-Proximal SDFT (iSDFT), which instead treats the teacher as a budgeted source of information. At each token, iSDFT selects the distribution closest to the current student that satisfies a prescribed teacher-information constraint, yielding a closed-form exponential target with a locally determined tilt. To control cumulative drift, we further anchor the student to its frozen base policy. Across four heterogeneous LLM backbones and two specialisation tasks, iSDFT improves vanilla SDFT in 7 of 8 model-task settings and matches it in the remaining one. It also provides tighter retention on the original SDFT benchmark suite, with 73% of evaluations remaining within 0.5 points of the base model versus 52% for the strongest baseline, while achieving the largest mean improvement on all ten additional mathematics, coding, and competition-mathematics benchmarks. These results show that controlling how much and when teacher information is introduced improves specialisation while preserving broader capability.
• Abstract（参考訳）: On-policy self-distillation fine-tuning (SDFT) は、忘れを減らしながらデモから新しいスキルを学ぶが、常に完全なデモ条件の教師に向かわせる。 これにより、教師の影響を全教師のエンドポイントで修正し、各予測状態におけるデモ情報の転送量を制御できない。 iSDFT(Information-Proximal SDFT)を導入し,教師を情報源として扱う。 各トークンにおいて、iSDFTは、所定の教師情報制約を満たす現在の学生に最も近い分布を選択し、局所的に決定された傾きを持つ閉形式指数的目標を与える。 累積ドリフトを制御するため,学生を凍結基本方針に固定する。 4つのヘテロジニアスLSMバックボーンと2つの特殊化タスクの中で、iSDFTは8つのモデルタスク設定のうち7つのバニラSDFTを改善し、残りの7つにマッチさせる。 また、SDFTベンチマークスイートを厳格に保持し、ベースモデルの0.5ポイント以内で73%が最強のベースラインで52%が残る一方で、追加の数学、コーディング、および競合数学のベンチマークで最大の平均的改善を達成している。 これらの結果から,教師情報の導入時期の制御は,より広範な能力を維持しつつ,専門性の向上を図っている。

関連論文リスト

• DESA-TTA: Dynamic EMA and Source Anchoring for Test-Time Adaptation [22.729339643008498]
  TTA(Mean-Teacher Method for Test-Time Adaptance)は、教師が作成した擬似ラベルを用いて学生モデルを更新することにより、堅牢性を向上させることができる。 教師の更新と学生のドリフトを協調的に制御する低オーバーヘッド手法であるTTA(DESA-TTA)の動的EMAとソースアンカリングを提案する。
  論文  参考訳（メタデータ） (2026-09-01T19:07:28Z)
• Lightning OPD 2.0: Mitigating Style Bias in Cross-Teacher On-Policy Distillation for Large Reasoning Models [23.269235615604245]
  We introduced Lightning OPD 2.0 with cross-fitted style residualization。 数学的推論とコード生成のベンチマークを通じて、Lightning OPD 2.0は、教師間の設定でLightning OPDを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-07-30T16:17:15Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• DemoPSD: Disagreement-Modulated Policy Self-Distillation [49.30809363804017]
  大規模言語モデルを訓練するための実践的な方法として、オンデマンド自己蒸留が登場している。 DemoPSDは、教師と生徒の分布の重み付けされた幾何学的組み合わせに向けて学生を操縦する。
  論文  参考訳（メタデータ） (2026-07-02T17:58:29Z)
• Skill-SD: Skill-Conditioned Self-Distillation for Multi-turn LLM Agents [24.99615788156812]
  Skill-SDはエージェント自身の軌道を動的トレーニングのみの監視に変換するフレームワークである。 我々は, 重み付き逆KL損失を導出し, 勾配補正型トークンレベルの蒸留を行った。 エージェントベンチマークの実験結果は、Skill-SDが標準RLベースラインを大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2026-04-12T14:57:52Z)
• Traversal Learning: A Lossless And Efficient Distributed Learning Framework [0.0]
  トラバースラーニング(TL)は、人気のある分散学習(DL)パラダイムで発生する品質低下の問題に対処するために設計された新しいアプローチである。 TLは、モデルがフォワード伝搬(FP)中にノードを横切るユニークな戦略を採用し、オーケストレータ上で後方伝搬(BP)を行う。 評価の結果,TL は古典的な CL アプローチと同程度であることがわかった。
  論文  参考訳（メタデータ） (2025-04-10T05:48:57Z)
• OpenCodeReasoning: Advancing Data Distillation for Competitive Coding [61.15402517835137]
  教師付き微調整(SFT)データセットを構築し、様々なサイズのモデルで最先端のコーディング能力を実現する。 私たちのモデルは、LiveCodeBenchで61.8%、CodeContestsで24.6%を達成するためにSFTのみを使用しており、強化学習でトレーニングされた代替品を上回っています。
  論文  参考訳（メタデータ） (2025-04-02T17:50:31Z)
• Exploring and Enhancing the Transfer of Distribution in Knowledge Distillation for Autoregressive Language Models [62.5501109475725]
  知識蒸留(KD)は、より小さな学生モデルを模倣するように訓練することで、大きな教師モデルを圧縮する技術である。 本稿では、教師ネットワークが小さなオンラインモジュールを統合し、学生モデルと同時学習するオンライン知識蒸留(OKD)について紹介する。 OKDは、様々なモデルアーキテクチャやサイズにおけるリードメソッドのパフォーマンスを達成または超え、トレーニング時間を最大4倍に短縮する。
  論文  参考訳（メタデータ） (2024-09-19T07:05:26Z)
• ERNIE-Tiny : A Progressive Distillation Framework for Pretrained Transformer Compression [20.23732233214849]
  プレトレーニング言語モデル(PLM)を圧縮するための4段階進行蒸留フレームワークERNIE-Tinyを提案する。 実験によると、4層のERNIE-TinyはGLUEベンチマークで12層のBERTベースの98.0%のパフォーマンスを維持している。 ERNIE-Tinyは、中国の5つのNLPタスクに対する新しい圧縮SOTAを達成し、BERTベースの精度を0.4%上回り、パラメータは7.5倍、推論速度は9.4倍向上した。
  論文  参考訳（メタデータ） (2021-06-04T04:00:16Z)
• Exponential Moving Average Normalization for Self-supervised and Semi-supervised Learning [90.69256802784689]
  指数移動平均正規化(EMAN)と呼ばれるバッチ正規化(BN)のプラグイン置換を提案する。 統計が各バッチ内で計算される標準的なBNとは異なり、教師で使用されるEMANは、学生のBN統計から指数的な移動平均によって統計を更新する。 emanは自己教師付き学習の強力なベースラインを4-6/1-2ポイント、半教師付き学習を約7/2ポイント改善する。
  論文  参考訳（メタデータ） (2021-01-21T07:45:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。