論文の概要: Updating Parametric Knowledge with Context Distillation Retains Post-Training Capabilities

• arxiv url: http://arxiv.org/abs/2602.16093v1
• Date: Tue, 17 Feb 2026 23:49:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-19 15:58:30.471693
• Title: Updating Parametric Knowledge with Context Distillation Retains Post-Training Capabilities
• Title（参考訳）: 文脈蒸留によるパラメトリック知識の更新と訓練後の能力
• Authors: Shankar Padmanabhan, Mustafa Omer Gul, Tanya Goyal,
• Abstract要約: 連続的知識適応のための簡易な文脈蒸留に基づくアプローチであるDiSC(Distillation via Split Contexts)を紹介する。 従来の微調整法や蒸留法と比較すると、新しい知識の習得と、指示追従、推論、事実知識といった忘れるスキルの軽減とのトレードオフを、忘れ忘れは一貫して報告する。
• 参考スコア（独自算出の注目度）: 14.622809434748932
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Post-training endows pretrained LLMs with a variety of desirable skills, including instruction-following, reasoning, and others. However, these post-trained LLMs only encode knowledge up to a cut-off date, necessitating continual adaptation. Unfortunately, existing solutions cannot simultaneously learn new knowledge from an adaptation document corpora and mitigate the forgetting of earlier learned capabilities. To address this, we introduce Distillation via Split Contexts (DiSC), a simple context-distillation based approach for continual knowledge adaptation. \methodname~derives student and teacher distributions by conditioning on distinct segments of the training example and minimizes the KL divergence between the shared tokens. This allows us to efficiently apply context-distillation without requiring explicit generation steps during training. We run experiments on four post-trained models and two adaptation domains. Compared to prior finetuning and distillation methods for continual adaptation, DiSC consistently reports the best trade-off between learning new knowledge and mitigating forgetting of previously learned skills like instruction-following, reasoning, and factual knowledge.
• Abstract（参考訳）: 訓練後、LLMには、指示追従、推論など、様々な望ましいスキルが備わっている。 しかし、これらの訓練後LSMは知識をカットオフ日までにのみ符号化し、継続的な適応を必要とする。 残念ながら、既存のソリューションは適応文書コーパスから新しい知識を同時に習得することができず、初期の学習能力の忘れを和らげることはできない。 そこで本研究では,連続的知識適応のための簡易な文脈蒸留に基づくアプローチであるDiSC(Distillation via Split Contexts)を提案する。 \methodname~deives students and teacher distributions by conditioning on different segments of the training example and minimizes the KL divergence between the shared tokens。 これにより、トレーニング中に明示的な生成ステップを必要とせずに、コンテキスト蒸留を効率的に適用できます。 訓練後の4つのモデルと2つの適応領域で実験を行う。 従来の微調整法や蒸留法と比較して、DiSCは、新しい知識の学習と、命令追従、推論、事実知識といった以前に学んだスキルの忘れを省くための最良のトレードオフを一貫して報告している。

関連論文リスト

• EKPC: Elastic Knowledge Preservation and Compensation for Class-Incremental Learning [53.88000987041739]
  クラスインクリメンタルラーニング(Class-Incremental Learning, CIL)は、AIモデルを、時間とともに異なるクラスのシーケンシャルに到着したデータから継続的に学習可能にすることを目的としている。 本稿では, 重要度を考慮した重要度正規化 (IPR) と CIL のためのトレーニング可能なセマンティックドリフト補償 (TSDC) を統合したElastic Knowledge Preservation and Compensation (EKPC) 法を提案する。
  論文  参考訳（メタデータ） (2025-06-14T05:19:58Z)
• Continual Task Learning through Adaptive Policy Self-Composition [54.95680427960524]
  CompoFormerは構造ベースの連続トランスフォーマーモデルであり、メタポリシックネットワークを介して、以前のポリシーを適応的に構成する。 実験の結果,CompoFormerは従来の継続学習法(CL)よりも優れており,特にタスクシーケンスが長いことが判明した。
  論文  参考訳（メタデータ） (2024-11-18T08:20:21Z)
• Multi-Stage Knowledge Integration of Vision-Language Models for Continual Learning [79.46570165281084]
  蒸留法における人間の学習過程をエミュレートするマルチステージ知識統合ネットワーク(MulKI)を提案する。 Mulkiは、イデオロギーの排除、新しいイデオロギーの追加、イデオロギーの排除、コネクティクスの作りという4つの段階を通じてこれを達成している。 提案手法は,下流タスク間の連続学習をサポートしながら,ゼロショット能力の維持における大幅な改善を示す。
  論文  参考訳（メタデータ） (2024-11-11T07:36:19Z)
• Context-aware Prompt Tuning: Advancing In-Context Learning with Adversarial Methods [69.36397993451742]
  In this work introduced Context-aware Prompt Tuning (CPT) - ICL, PT, and adversarial attack。 入力および出力フォーマットのユニークな構造を考慮して、特定のコンテキストトークンを変更する。 敵の攻撃にインスパイアされた我々は、損失を最大化するのではなく、最小化に焦点をあてて、コンテキストに存在するラベルに基づいて入力を調整する。
  論文  参考訳（メタデータ） (2024-10-22T17:45:47Z)
• Train-Attention: Meta-Learning Where to Focus in Continual Knowledge Learning [15.475427498268393]
  TAALM(Train-Attention-Augmented Language Model)は,トークンに対する重み付けを動的に予測・適用することにより,学習効率を向上させる。 我々は,TAALMがベースライン上での最先端性能を証明し,従来のCKLアプローチと統合した場合に相乗的互換性を示すことを示す。
  論文  参考訳（メタデータ） (2024-07-24T01:04:34Z)
• Mix-CPT: A Domain Adaptation Framework via Decoupling Knowledge Learning and Format Alignment [120.06538000214552]
  汎用大規模言語モデル(LLM)を特殊なドメインに適応させることは、様々なデータ分散のために大きな課題となる。 そこで我々はMix-CPTと呼ばれるドメイン知識学習と汎用フォーマットアライメントを含む新しいドメイン適応フレームワークを提案する。 提案するMix-CPTフレームワークは,目標領域および一般領域におけるLCMのタスク解決能力を同時に向上させることができる。
  論文  参考訳（メタデータ） (2024-07-15T15:20:13Z)
• Beyond Prompt Learning: Continual Adapter for Efficient Rehearsal-Free Continual Learning [22.13331870720021]
  C-ADA (Continuous Adapter) という,RFCL タスクに対する超高速学習手法を提案する。 C-ADAは、CALの特定の重みを柔軟に拡張し、各タスクの新たな知識を学び、古い重みを凍結して以前の知識を保存する。 提案手法は,現状のSOTA(State-of-the-art)法よりも優れ,性能とトレーニング速度を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-07-14T17:40:40Z)
• Mind the Interference: Retaining Pre-trained Knowledge in Parameter Efficient Continual Learning of Vision-Language Models [79.28821338925947]
  ドメインクラスのインクリメンタル学習は現実的だが、継続的な学習シナリオである。 これらの多様なタスクに対処するために、事前訓練されたビジョンランゲージモデル(VLM)を導入し、その強力な一般化性を実現する。 事前訓練されたVLMにエンコードされた知識は、新しいタスクに適応する際に妨げられ、固有のゼロショット能力を損なう。 既存の手法では、膨大なオーバーヘッドを必要とする余分なデータセットに知識蒸留でVLMをチューニングすることで、この問題に対処している。 我々は、事前学習した知識を保持できるDIKI(Distributed-Aware Interference-free Knowledge Integration)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-07T12:19:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。