論文の概要: Augmentation with Projection: Towards an Effective and Efficient Data
Augmentation Paradigm for Distillation
- arxiv url: http://arxiv.org/abs/2210.11768v1
- Date: Fri, 21 Oct 2022 07:08:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-24 13:33:33.303645
- Title: Augmentation with Projection: Towards an Effective and Efficient Data
Augmentation Paradigm for Distillation
- Title(参考訳): プロジェクションによる拡張:蒸留のための効率的かつ効率的なデータ拡張パラダイムを目指して
- Authors: Ziqi Wang, Yuexin Wu, Frederick Liu, Daogao Liu, Le Hou, Hongkun Yu,
Jing Li, Heng Ji
- Abstract要約: AugPro (Augmentation with Projection) は、蒸留のための効率的かつ効率的なデータ拡張方法である。
本手法は,多様性表現を維持するために,表現拡張法の上に構築する。
複数のGLUEタスクの結果から, 蒸留性能を低コストで高いマージンで向上させることができることがわかった。
- 参考スコア(独自算出の注目度): 47.31894017472831
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Knowledge distillation is one of the primary methods of transferring
knowledge from large to small models. However, it requires massive
task-specific data, which may not be plausible in many real-world applications.
Data augmentation methods such as representation interpolation, token
replacement, or augmentation with models are applied to tackle this problem.
However, these data augmentation methods either potentially cause shifts in
decision boundaries (representation interpolation), are not expressive enough
(token replacement), or introduce too much computational overhead (augmentation
with models). To this end, we propose AugPro (Augmentation with Projection), an
effective and efficient data augmentation method for distillation. Our method
builds on top of representation interpolation augmentation methods to maintain
the diversity of expressions and converts the augmented data to tokens to avoid
shifting decision boundaries. It uses simple operations that come with little
computational overhead. The results on multiple GLUE tasks show that our
methods can improve distillation performance by a large margin at a low time
cost.
- Abstract(参考訳): 知識蒸留は大きなモデルから小さなモデルに知識を移す主要な方法の1つである。
しかし、大量のタスク固有のデータを必要とするため、現実のアプリケーションでは実現不可能かもしれない。
この問題を解決するために,表現補間,トークン置換,モデル拡張などのデータ拡張手法が適用されている。
しかし、これらのデータ拡張手法は、決定境界の変化(表現補間)を引き起こす可能性があり、十分に表現力に欠ける(分岐置換)か、計算オーバーヘッドを過剰に導入する(モデルによる拡張)。
そこで本研究では,蒸留のための有効かつ効率的なデータ拡張法である augpro (augmentation with projection) を提案する。
本手法は表現補間拡張手法の上に構築し,表現の多様性を維持し,拡張データをトークンに変換することにより,決定境界のシフトを回避する。
計算のオーバーヘッドが少ない単純な操作を使う。
複数のGLUEタスクの結果から,本手法は低コストで蒸留性能を高いマージンで向上させることができることが示された。
関連論文リスト
- DataInf: Efficiently Estimating Data Influence in LoRA-tuned LLMs and
Diffusion Models [31.65198592956842]
本稿では,大規模生成AIモデルに有効な効率的な影響近似手法であるDataInfを提案する。
理論的解析により,DataInfはLoRAのようなパラメータ効率のよい微調整技術に特に適していることが示された。
RoBERTa-large、Llama-2-13B-chat、stable-diffusion-v1.5モデルへの適用において、DataInfは、他の近似影響スコアよりも、最も影響力のある微調整例を効果的に識別する。
論文 参考訳(メタデータ) (2023-10-02T04:59:19Z) - Improved Distribution Matching for Dataset Condensation [91.55972945798531]
本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。
提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
論文 参考訳(メタデータ) (2023-07-19T04:07:33Z) - Distill Gold from Massive Ores: Efficient Dataset Distillation via
Critical Samples Selection [101.78275454476311]
情報伝達の文脈内でデータセット蒸留タスクをモデル化する。
我々は、データユーティリティー推定器のファミリーと、最も価値のあるサンプルを利用する最適なデータ選択方法を導入し、検証する。
提案手法は, より大規模で異種なデータセットであっても, 蒸留アルゴリズムを一貫して強化する。
論文 参考訳(メタデータ) (2023-05-28T06:53:41Z) - Explicit and Implicit Knowledge Distillation via Unlabeled Data [5.702176304876537]
高速な計算機生成装置を代替する効率的な未ラベルサンプル選択法を提案する。
また,データ領域シフトによるラベルノイズを抑制するためのクラスドロップ機構を提案する。
実験結果から,本手法が他の最先端手法よりも高速に収束し,精度が向上できることが示唆された。
論文 参考訳(メタデータ) (2023-02-17T09:10:41Z) - Accelerating Dataset Distillation via Model Augmentation [41.3027484667024]
本研究では,初期モデルとパラメータを用いた2つのモデル拡張手法を提案し,学習コストを大幅に削減した情報合成集合を学習する。
提案手法は,最先端の手法と同等の性能で,最大20倍の高速化を実現している。
論文 参考訳(メタデータ) (2022-12-12T07:36:05Z) - EquiMod: An Equivariance Module to Improve Self-Supervised Learning [77.34726150561087]
自己教師付き視覚表現法は教師付き学習性能とのギャップを埋めている。
これらの手法は、データ拡張によって生成された関連する合成入力の埋め込みの類似性を最大化することに依存する。
学習された潜在空間を構成する一般同値加群であるEquiModを導入する。
論文 参考訳(メタデータ) (2022-11-02T16:25:54Z) - Adversarial Auto-Augment with Label Preservation: A Representation
Learning Principle Guided Approach [95.74102207187545]
本研究では,事前自由な自律的データ拡張の目的が表現学習の原則から導出可能であることを示す。
そこで我々は,既存の手法にシームレスに最適化し,シームレスに統合できる目的に対して,実用的なサロゲートを提案する。
論文 参考訳(メタデータ) (2022-11-02T02:02:51Z) - Invariance Learning in Deep Neural Networks with Differentiable Laplace
Approximations [76.82124752950148]
我々はデータ拡張を選択するための便利な勾配法を開発した。
我々はKronecker-factored Laplace近似を我々の目的とする限界確率に近似する。
論文 参考訳(メタデータ) (2022-02-22T02:51:11Z) - FlipDA: Effective and Robust Data Augmentation for Few-Shot Learning [27.871007011425775]
本稿では、生成モデルと分類器を併用してラベル付きデータを生成する新しいデータ拡張手法FlipDAを提案する。
実験の結果、FlipDAは有効性と堅牢性の間の良好なトレードオフを達成し、多くのタスクを大幅に改善する一方で、他のタスクに悪影響を及ぼさないことがわかった。
論文 参考訳(メタデータ) (2021-08-13T17:51:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。