論文の概要: Prompting to Distill: Boosting Data-Free Knowledge Distillation via Reinforced Prompt

• arxiv url: http://arxiv.org/abs/2205.07523v1
• Date: Mon, 16 May 2022 08:56:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-17 22:14:49.101489
• Title: Prompting to Distill: Boosting Data-Free Knowledge Distillation via Reinforced Prompt
• Title（参考訳）: Prompting to Distill: Reinforced Promptによるデータフリーな知識蒸留の促進
• Authors: Xinyin Ma, Xinchao Wang, Gongfan Fang, Yongliang Shen and Weiming Lu
• Abstract要約: データフリー知識蒸留(DFKD)は、元のトレーニングデータの依存をなくし、知識蒸留を行う。 本稿では,PmptDFD(PromptDFD)と呼ばれるプロンプトベースの手法を提案する。 本実験で示すように, 本手法は, 合成品質を大幅に向上し, 蒸留性能を著しく向上させる。
• 参考スコア（独自算出の注目度）: 52.6946016535059
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data-free knowledge distillation (DFKD) conducts knowledge distillation via eliminating the dependence of original training data, and has recently achieved impressive results in accelerating pre-trained language models. At the heart of DFKD is to reconstruct a synthetic dataset by inverting the parameters of the uncompressed model. Prior DFKD approaches, however, have largely relied on hand-crafted priors of the target data distribution for the reconstruction, which can be inevitably biased and often incompetent to capture the intrinsic distributions. To address this problem, we propose a prompt-based method, termed as PromptDFD, that allows us to take advantage of learned language priors, which effectively harmonizes the synthetic sentences to be semantically and grammatically correct. Specifically, PromptDFD leverages a pre-trained generative model to provide language priors and introduces a reinforced topic prompter to control data synthesis, making the generated samples thematically relevant and semantically plausible, and thus friendly to downstream tasks. As shown in our experiments, the proposed method substantially improves the synthesis quality and achieves considerable improvements on distillation performance. In some cases, PromptDFD even gives rise to results on par with those from the data-driven knowledge distillation with access to the original training data.
• Abstract（参考訳）: data-free knowledge distillation(dfkd)は、オリジナルのトレーニングデータの依存をなくし、知識蒸留を行い、最近、事前学習された言語モデルを加速する素晴らしい結果を得ている。 dfkdの核心は、非圧縮モデルのパラメータを反転させることで合成データセットを再構築することである。 しかし、DFKDの以前のアプローチは、再建のためのターゲットデータ分布の手作りの先行に大きく依存しており、必然的に偏りがあり、本質的な分布を捉えるのにしばしば無能である。 そこで,本研究では,学習言語を活用し,意味的にも文法的にも効果的に合成文を調和させるプロンプトベース手法であるpromptdfdを提案する。 具体的には、prompdfdは事前学習された生成モデルを利用して言語を事前提供し、データ合成を制御するために強化されたトピックプロンジャを導入し、生成されたサンプルを理論的に関連し、意味的に妥当なものとし、従って下流タスクに適合させる。 本実験で示すように, 本手法は合成品質を大幅に改善し, 蒸留性能を大幅に向上させる。 場合によっては、PromptDFDは、データ駆動の知識蒸留の結果と、元のトレーニングデータへのアクセス結果に匹敵する結果もたらします。

関連論文リスト

• Towards Effective Data-Free Knowledge Distillation via Diverse Diffusion Augmentation [20.556083321381514]
  データフリー知識蒸留(DFKD)は、モデル圧縮の領域において重要な技術である。 本稿では,多種拡散増強(DDA)によるDFKDの革新的アプローチを紹介する。 CIFAR-10, CIFAR-100, Tiny-ImageNetデータセットの総合的な実験により, 本手法の優れた性能が示された。
  論文  参考訳（メタデータ） (2024-10-23T07:01:16Z)
• Towards a Theoretical Understanding of Memorization in Diffusion Models [76.85077961718875]
  拡散確率モデル(DPM)は、生成人工知能(GenAI)の主流モデルとして採用されている。 モデル収束を前提とした条件付きおよび非条件付きDPMにおける記憶の理論的理解を提供する。 本研究では、生成されたデータに基づいて訓練された時間依存型分類器を代理条件として利用し、無条件DPMからトレーニングデータを抽出する、textbfSurrogate condItional Data extract (SIDE) という新しいデータ抽出手法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T13:17:06Z)
• Small Scale Data-Free Knowledge Distillation [37.708282211941416]
  小型データフリーな知識蒸留SSD-KDを提案する。 SSD-KDは、適切なサンプルを選択するために、合成サンプルと優先サンプリング関数のバランスをとる。 非常に少量の合成サンプルで蒸留訓練を行うことができる。
  論文  参考訳（メタデータ） (2024-06-12T05:09:41Z)
• De-confounded Data-free Knowledge Distillation for Handling Distribution Shifts [32.1016787150064]
  Data-Free Knowledge Distillation (DFKD)は、従来のトレーニングデータに頼ることなく、実際のデプロイメントを強化するために、高性能な小型モデルをトレーニングする有望なタスクである。 既存の方法は、合成データやサンプルデータを利用することで、プライベートデータへの依存を避けるのが一般的である。 本稿では,このような変化の影響から学生モデルを遠ざけるために,因果推論を用いた新しい視点を提案する。
  論文  参考訳（メタデータ） (2024-03-28T16:13:22Z)
• BOOT: Data-free Distillation of Denoising Diffusion Models with Bootstrapping [64.54271680071373]
  拡散モデルは多様な画像を生成する優れた可能性を示している。 知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。 本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T20:30:55Z)
• On-the-fly Denoising for Data Augmentation in Natural Language Understanding [101.46848743193358]
  よりクリーンなオリジナルデータに基づいて訓練された有機教師モデルによって提供されるソフトな拡張ラベルから学習する,データ拡張のためのオンザフライデノケーション手法を提案する。 本手法は,一般的な拡張手法に適用でき,テキスト分類と質問応答の両タスクの性能を一貫して向上させることができる。
  論文  参考訳（メタデータ） (2022-12-20T18:58:33Z)
• Robust and Resource-Efficient Data-Free Knowledge Distillation by Generative Pseudo Replay [5.3330804968579795]
  データ自由知識蒸留(Data-Free Knowledge Distillation, KD)は、トレーニングされたニューラルネットワーク(教師)から、元のトレーニングデータがない場合にはよりコンパクトなニューラルネットワーク(学生)への知識伝達を可能にする。 既存の作業では、実際のデータよりも生徒の精度を監視し、プロセス全体を通して最高のパフォーマンスを報告するための検証セットが使用されている。 しかし、蒸留時にも検証データが入手できないため、ピーク精度を達成した生徒のスナップショットを記録することは不可能である。 これは、学生が合成データの分布シフトによって知識劣化を経験するからである。 これまでに観測された合成試料の分布をモデル化する。
  論文  参考訳（メタデータ） (2022-01-09T14:14:28Z)
• Up to 100x Faster Data-free Knowledge Distillation [52.666615987503995]
  我々はFastDFKDを導入し、FastDFKDを桁違いに高速化する。 データの集合を個別に最適化する従来の方法とは異なり、共通の特徴を求めるメタシンセサイザーを学習することを提案する。 FastDFKDはほんの数ステップでデータ合成を実現し、データフリートレーニングの効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2021-12-12T14:56:58Z)
• NoiER: An Approach for Training more Reliable Fine-TunedDownstream Task Models [54.184609286094044]
  補助モデルと付加データなしで問題を解くための学習パラダイムとして,ノイズエントロピー正規化(NoiER)を提案する。 提案手法は,従来の微調整モデルと比較して平均55%改善した。
  論文  参考訳（メタデータ） (2021-08-29T06:58:28Z)
• Adversarial Self-Supervised Data-Free Distillation for Text Classification [13.817252068643066]
  本稿では,Adversarial Self-Supervised Data-Free Distillation (AS-DFD) という新しい2段階の無添加蒸留法を提案する。 我々のフレームワークは、NLPタスク用に設計された最初のデータフリー蒸留フレームワークである。
  論文  参考訳（メタデータ） (2020-10-10T02:46:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。