論文の概要: Generative Diffusion Prior Distillation for Long-Context Knowledge Transfer

• arxiv url: http://arxiv.org/abs/2605.11414v1
• Date: Tue, 12 May 2026 02:06:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.523885
• Title: Generative Diffusion Prior Distillation for Long-Context Knowledge Transfer
• Title（参考訳）: 長期知識伝達のための生成拡散事前蒸留法
• Authors: Nilushika Udayangani, Kishor Nandakishor, Marimuthu Palaniswami,
• Abstract要約: この研究は知識蒸留を用いて、部分時系列分類器に全系列の一般化能力を持たせる。 提案する生成拡散優先蒸留(GDPD)は,短文学生の特徴を対象のフルコンテキスト特徴の劣化観察として扱う新しいKDフレームワークである。 GDPDは、各学生の特徴にタスク関連長文知識の分布を与え、部分分類タスクの学習に役立てる。
• 参考スコア（独自算出の注目度）: 3.5218695787734826
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While traditional time-series classifiers assume full sequences at inference, practical constraints (latency and cost) often limit inputs to partial prefixes. The absence of class-discriminative patterns in partial data can significantly hinder a classifier's ability to generalize. This work uses knowledge distillation (KD) to equip partial time series classifiers with the generalization ability of their full-sequence counterparts. In KD, high-capacity teacher transfers supervision to aid student learning on the target task. Matching with teacher features has shown promise in closing the generalization gap due to limited parameter capacity. However, when the generalization gap arises from training-data differences (full versus partial), the teacher's full-context features can be an overwhelming target signal for the student's short-context features. To provide progressive, diverse, and collective teacher supervision, we propose Generative Diffusion Prior Distillation (GDPD), a novel KD framework that treats short-context student features as degraded observations of the target full-context features. Inspired by the iterative restoration capability of diffusion models, we learn a diffusion-based generative prior over teacher features. Leveraging this prior, we posterior-sample target teacher representations that could best explain the missing long-range information in the student features and optimize the student features to be minimally degraded relative to these targets. GDPD provides each student feature with a distribution of task-relevant long-context knowledge, which benefits learning on the partial classification task. Extensive experiments across earliness settings, datasets, and architectures demonstrate GDPD's effectiveness for full-to-partial distillation.
• Abstract（参考訳）: 伝統的な時系列分類器は推論時に全シーケンスを仮定するが、実際的な制約(レイテンシとコスト)は入力を部分的なプレフィックスに制限することが多い。 部分データにおけるクラス識別パターンの欠如は、分類器の一般化能力を著しく損なう可能性がある。 この研究は知識蒸留(KD)を用いて、部分時系列分類器に全系列の一般化能力を持たせる。 KDでは,高能力教師が指導を移譲し,対象課題における生徒の学習を支援する。 教師機能とのマッチングにより,パラメータ容量の制限による一般化ギャップの解消が期待できる。 しかし、学習データの違い(完全対部分的)から一般化のギャップが生じると、教師のフルコンテキスト特徴は、生徒の短コンテキスト特徴の圧倒的なターゲット信号となる。 本報告では,教師の指導を段階的に,多様かつ総合的に行うために,短文学生の特徴を対象のフルコンテキスト特徴の劣化観察として扱う新しいKDフレームワークである生成拡散優先蒸留(GDPD)を提案する。 拡散モデルの反復的復元能力に触発されて,教師の特徴よりも先に拡散に基づく生成を学習する。 これを利用して、学生の特徴に欠けている長距離情報を最もよく説明し、学生の特徴をこれらの目標に対して最小限に劣化させるよう最適化できる教師表現を後サンプルに導入した。 GDPDは、各学生の特徴にタスク関連長文知識の分布を与え、部分分類タスクの学習に役立てる。 イヤーラインの設定、データセット、アーキテクチャにわたる大規模な実験は、GDPDが完全から部分的な蒸留に有効であることを証明している。

関連論文リスト

• Flexible Feature Distillation for Large Language Models [4.277471273303775]
  大規模言語モデル(LLM)のためのタスク駆動型特徴蒸留のためのパラメータフリーフレームワークを提案する。 教師の表現全体を投影する代わりに、Flex-KDは、教師の隠れた状態の最もタスク関連のある次元を特定するために勾配ベースのスコアを使用する。 実験の結果、Flex-KDは一貫して生徒のパフォーマンスを向上し、線形射影ベースラインよりも最大3.75パーセントのパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2025-07-14T11:10:02Z)
• Multi-Granularity Semantic Revision for Large Language Model Distillation [66.03746866578274]
  LLM蒸留における多粒性セマンティックリビジョン法を提案する。 シーケンスレベルでは、シーケンス修正と再生戦略を提案する。 トークンレベルでは、蒸留目的関数として、Kulback-Leibler損失を補正する分布適応クリッピングを設計する。 スパンレベルでは、シーケンスのスパン前処理を利用して、スパン内の確率相関を計算し、教師と学生の確率相関を一貫性に制約する。
  論文  参考訳（メタデータ） (2024-07-14T03:51:49Z)
• TaE: Task-aware Expandable Representation for Long Tail Class Incremental Learning [42.630413950957795]
  本稿では,各タスクから多様な表現を学習するための新しいタスク対応拡張(TaE)フレームワークを提案する。 TaEは最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-08T16:37:04Z)
• Improving Knowledge Distillation via Regularizing Feature Norm and Direction [16.98806338782858]
  知識蒸留(KD)は、大きな訓練されたモデル(例えば教師)を利用して、同じタスクのために同じデータセット上で小さな学生モデルを訓練する。 教師の特徴を知識として扱うこと、知識蒸留訓練の学生は、その特徴を教師の特徴と整合させることによって、例えば、ロジット間のKL偏差を最小化し、中間特徴間のL2距離を最小化する。 教師に対する生徒の特徴の整合性の向上は教師の知識をよりよく蒸留すると考えるのは自然なことだが、単にこの整合性を強制することは生徒のパフォーマンスに直接寄与しない。
  論文  参考訳（メタデータ） (2023-05-26T15:05:19Z)
• Knowledge Diffusion for Distillation [53.908314960324915]
  知識蒸留(KD)における教師と学生の表現ギャップ これらの手法の本質は、ノイズ情報を捨て、その特徴の貴重な情報を蒸留することである。 DiffKDと呼ばれる新しいKD手法を提案し、拡散モデルを用いて特徴を明示的に識別し一致させる。
  論文  参考訳（メタデータ） (2023-05-25T04:49:34Z)
• Knowledge Distillation Transfer Sets and their Impact on Downstream NLU Tasks [1.0982841428520955]
  教師-学生の知識蒸留は、今日の一般的な大きな言語モデルを管理可能なサイズに圧縮する一般的な技術である。 しかし、教師の事前訓練に用いられる一般的なコーパスと、下流ターゲットドメインに関連するコーパスは、しばしば著しく異なる。 本研究では,ドメイン分類(DC)とICNER(Intent Classification/Named Entity Recognition)を用いて,このトレードオフを下流タスクとして検討する。
  論文  参考訳（メタデータ） (2022-10-10T16:49:52Z)
• Exploring Inconsistent Knowledge Distillation for Object Detection with Data Augmentation [66.25738680429463]
  物体検出のための知識蒸留(KD)は、教師モデルから知識を伝達することで、コンパクトな検出器を訓練することを目的としている。 教師モデルの反直感的知覚に固有の知識を蒸留することを目的とした,一貫性のない知識蒸留(IKD)を提案する。 本手法は, 1段, 2段, アンカーフリーの物体検出器において, 最先端のKDベースラインより優れる。
  論文  参考訳（メタデータ） (2022-09-20T16:36:28Z)
• Better Teacher Better Student: Dynamic Prior Knowledge for Knowledge Distillation [70.92135839545314]
  本研究では,教師の持つ特徴の一部を,特徴蒸留前の先行知識として統合した動的事前知識(DPK)を提案する。 DPKは,教員モデルと生徒モデルのパフォーマンスを正に相関させ,より大きな教員を適用することで生徒の精度をさらに高めることができる。
  論文  参考訳（メタデータ） (2022-06-13T11:52:13Z)
• Wasserstein Contrastive Representation Distillation [114.24609306495456]
  We propose Wasserstein Contrastive Representation Distillation (WCoRD) which leverages both primal and dual form of Wasserstein distance for knowledge distillation。 二重形式はグローバルな知識伝達に使用され、教師と学生のネットワーク間の相互情報の低い境界を最大化する対照的な学習目標をもたらします。 実験では、提案されたWCoRD法が特権情報蒸留、モデル圧縮およびクロスモーダル転送における最先端のアプローチを上回ることを実証した。
  論文  参考訳（メタデータ） (2020-12-15T23:43:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。