論文の概要: Continual Distillation Learning: An Empirical Study of Knowledge Distillation in Prompt-based Continual Learning

• arxiv url: http://arxiv.org/abs/2407.13911v2
• Date: Fri, 13 Dec 2024 23:49:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:52:00.623730
• Title: Continual Distillation Learning: An Empirical Study of Knowledge Distillation in Prompt-based Continual Learning
• Title（参考訳）: 継続蒸留学習 : プロンプトに基づく継続学習における知識蒸留の実証的研究
• Authors: Qifan Zhang, Yunhui Guo, Yu Xiang,
• Abstract要約: 本稿では,継続学習(CL)における知識蒸留(KD)を考慮した連続蒸留学習(CDL)の問題を紹介する。 教師モデルと学生モデルは一連の課題を学習する必要があるが、教師モデルに関する知識はオンライン的に生徒モデルを改善するために学生に蒸留される。
• 参考スコア（独自算出の注目度）: 9.948802793399647
• License:
• Abstract: Knowledge Distillation (KD) focuses on using a teacher model to improve a student model. Traditionally, KD is studied in an offline fashion, where a training dataset is available before learning. In this work, we introduce the problem of Continual Distillation Learning (CDL) that considers KD in the Continual Learning (CL) setup. A teacher model and a student model need to learn a sequence of tasks, and the knowledge of the teacher model will be distilled to the student to improve the student model in an online fashion. The CDL problem is valuable to study since for prompt-based continual learning methods, using a larger vision transformer (ViT) leads to better performance in continual learning. Distilling the knowledge from a large ViT to a small ViT can improve inference efficiency for promptbased CL models. To this end, we conducted experiments to study the CDL problem with three prompt-based CL models, i.e., L2P, DualPrompt and CODA-Prompt, where we utilized logit distillation, feature distillation and prompt distillation for knowledge distillation from a teacher model to a student model. Our findings of this study can serve as baselines for future CDL work.
• Abstract（参考訳）: 知識蒸留(KD)は、教師モデルを用いて生徒モデルを改善することに焦点を当てている。 従来、KDはオフラインで研究されており、学習前にトレーニングデータセットが利用できる。 本稿では,連続学習(CL)におけるKDを考慮した連続蒸留学習(CDL)の問題を紹介する。 教師モデルと学生モデルは一連の課題を学習する必要があるが、教師モデルに関する知識はオンライン的に生徒モデルを改善するために学生に蒸留される。 逐次学習法では,視覚変換器(ViT)を用いることで連続学習の性能が向上するので,CDL問題は研究に有用である。 大規模なViTから小さなViTへの知識の蒸留は、プロンプトベースCLモデルの推論効率を向上させることができる。 そこで我々は,CDL問題を3つのプロンプトベースCLモデル(L2P,DualPrompt,CODA-Prompt)を用いて検討し,ロジット蒸留,特徴蒸留,知識蒸留の迅速蒸留を教師モデルから学生モデルに導入した。 本研究の成果は今後のCDL研究のベースラインとなる可能性がある。

関連論文リスト

• Exploring and Enhancing the Transfer of Distribution in Knowledge Distillation for Autoregressive Language Models [62.5501109475725]
  知識蒸留(KD)は、より小さな学生モデルを模倣するように訓練することで、大きな教師モデルを圧縮する技術である。 本稿では、教師ネットワークが小さなオンラインモジュールを統合し、学生モデルと同時学習するオンライン知識蒸留(OKD)について紹介する。 OKDは、様々なモデルアーキテクチャやサイズにおけるリードメソッドのパフォーマンスを達成または超え、トレーニング時間を最大4倍に短縮する。
  論文  参考訳（メタデータ） (2024-09-19T07:05:26Z)
• ComKD-CLIP: Comprehensive Knowledge Distillation for Contrastive Language-Image Pre-traning Model [49.587821411012705]
  コントラスト言語画像前処理モデルのための包括的知識蒸留法ComKD-CLIPを提案する。 大規模な教師CLIPモデルからより小さな学生モデルに知識を抽出し、パラメータを著しく減らして同等のパフォーマンスを確保する。 EduAttentionは教師モデルで抽出したテキスト特徴と学生モデルで抽出した画像特徴との相互関係を探索する。
  論文  参考訳（メタデータ） (2024-08-08T01:12:21Z)
• PromptKD: Distilling Student-Friendly Knowledge for Generative Language Models via Prompt Tuning [30.70974942397732]
  本稿では,学生に親しみやすい知識を伝達する生成言語モデルを実現するために,PromptKDを提案する。 命令追従データセットの実験は、PromptKDが最先端のパフォーマンスを達成することを示す。 さらに分析したところ、学生に親しみやすい知識の蒸留は、トレーニングプロセス全体を通して効果的に露光バイアスを軽減することが示唆された。
  論文  参考訳（メタデータ） (2024-02-20T09:10:08Z)
• Deep Collective Knowledge Distillation [0.2624902795082451]
  DCKDと呼ばれるモデル圧縮のための深層集合的知識蒸留法を提案する。 我々のDCKDは,授業間の相関知識を高める方法を検討する。 この単純で強力な手法は、多くの実験で最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-04-18T10:10:46Z)
• Better Teacher Better Student: Dynamic Prior Knowledge for Knowledge Distillation [70.92135839545314]
  本研究では,教師の持つ特徴の一部を,特徴蒸留前の先行知識として統合した動的事前知識(DPK)を提案する。 DPKは,教員モデルと生徒モデルのパフォーマンスを正に相関させ,より大きな教員を適用することで生徒の精度をさらに高めることができる。
  論文  参考訳（メタデータ） (2022-06-13T11:52:13Z)
• Oracle Teacher: Leveraging Target Information for Better Knowledge Distillation of CTC Models [10.941519846908697]
  我々は、コネクショニスト時間分類(CTC)に基づくシーケンスモデル、すなわち、Oracle Teacherのための新しいタイプの教師モデルを導入する。 Oracle Teacherは、ターゲット情報を参照することによって、より正確なCTCアライメントを学ぶため、より最適なガイダンスを提供することができる。 CTCアルゴリズムの多対一マッピング特性に基づいて、自明な解を効果的に防止できるトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2021-11-05T14:14:05Z)
• Learning to Teach with Student Feedback [67.41261090761834]
  対話的知識蒸留 (Interactive Knowledge Distillation, IKD) は、教師が生徒のフィードバックから教えることを学ぶことを可能にする。 IKDは教師モデルを訓練し、特定の学生のトレーニングステップごとに特定のソフトターゲットを生成する。 教師と生徒の協調的な最適化は2つの反復的なステップによって達成される。
  論文  参考訳（メタデータ） (2021-09-10T03:01:01Z)
• Learning Student-Friendly Teacher Networks for Knowledge Distillation [50.11640959363315]
  本研究では,教師から学生への暗黒知識の伝達を容易にする新しい知識蒸留手法を提案する。 事前教育を受けた教師に与えた学習モデルの効果的な学習方法のほとんどとは対照的に,学生に親しみやすい教師モデルを学ぶことを目的とする。
  論文  参考訳（メタデータ） (2021-02-12T07:00:17Z)
• Reinforced Multi-Teacher Selection for Knowledge Distillation [54.72886763796232]
  知識蒸留はモデル圧縮の一般的な方法です。 現在の方法は、蒸留全体の教師モデルに固定重量を割り当てます。 既存のメソッドのほとんどは、すべての教師モデルに等しい重みを割り当てます。 本論文では,学習例の複雑性や生徒モデル能力の違いから,教師モデルとの違いを学習することで,生徒モデルの蒸留性能の向上が期待できることを考察する。
  論文  参考訳（メタデータ） (2020-12-11T08:56:39Z)
• Ensemble Knowledge Distillation for CTR Prediction [46.92149090885551]
  我々は知識蒸留(KD)に基づく新しいモデルトレーニング戦略を提案する。 KDは、教師モデルから学んだ知識を学生モデルに移すための教師学生学習フレームワークである。 本稿では,教師のゲーティングや蒸留損失による早期停止など,CTR予測のアンサンブル化を促進する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-11-08T23:37:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。