論文の概要: Augmentation with Projection: Towards an Effective and Efficient Data Augmentation Paradigm for Distillation

• arxiv url: http://arxiv.org/abs/2210.11768v1
• Date: Fri, 21 Oct 2022 07:08:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-24 13:33:33.303645
• Title: Augmentation with Projection: Towards an Effective and Efficient Data Augmentation Paradigm for Distillation
• Title（参考訳）: プロジェクションによる拡張:蒸留のための効率的かつ効率的なデータ拡張パラダイムを目指して
• Authors: Ziqi Wang, Yuexin Wu, Frederick Liu, Daogao Liu, Le Hou, Hongkun Yu, Jing Li, Heng Ji
• Abstract要約: AugPro (Augmentation with Projection) は、蒸留のための効率的かつ効率的なデータ拡張方法である。 本手法は,多様性表現を維持するために,表現拡張法の上に構築する。 複数のGLUEタスクの結果から, 蒸留性能を低コストで高いマージンで向上させることができることがわかった。
• 参考スコア（独自算出の注目度）: 47.31894017472831
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge distillation is one of the primary methods of transferring knowledge from large to small models. However, it requires massive task-specific data, which may not be plausible in many real-world applications. Data augmentation methods such as representation interpolation, token replacement, or augmentation with models are applied to tackle this problem. However, these data augmentation methods either potentially cause shifts in decision boundaries (representation interpolation), are not expressive enough (token replacement), or introduce too much computational overhead (augmentation with models). To this end, we propose AugPro (Augmentation with Projection), an effective and efficient data augmentation method for distillation. Our method builds on top of representation interpolation augmentation methods to maintain the diversity of expressions and converts the augmented data to tokens to avoid shifting decision boundaries. It uses simple operations that come with little computational overhead. The results on multiple GLUE tasks show that our methods can improve distillation performance by a large margin at a low time cost.
• Abstract（参考訳）: 知識蒸留は大きなモデルから小さなモデルに知識を移す主要な方法の1つである。 しかし、大量のタスク固有のデータを必要とするため、現実のアプリケーションでは実現不可能かもしれない。 この問題を解決するために,表現補間,トークン置換,モデル拡張などのデータ拡張手法が適用されている。 しかし、これらのデータ拡張手法は、決定境界の変化(表現補間)を引き起こす可能性があり、十分に表現力に欠ける(分岐置換)か、計算オーバーヘッドを過剰に導入する(モデルによる拡張)。 そこで本研究では,蒸留のための有効かつ効率的なデータ拡張法である augpro (augmentation with projection) を提案する。 本手法は表現補間拡張手法の上に構築し,表現の多様性を維持し,拡張データをトークンに変換することにより,決定境界のシフトを回避する。 計算のオーバーヘッドが少ない単純な操作を使う。 複数のGLUEタスクの結果から,本手法は低コストで蒸留性能を高いマージンで向上させることができることが示された。

関連論文リスト

• Efficient Dataset Distillation via Diffusion-Driven Patch Selection for Improved Generalization [34.79567392368196]
  本稿では, 既存の拡散式蒸留法に対する新しい枠組みを提案し, 生成ではなく拡散モデルを用いて選択する。 提案手法は,入力画像とテキストプロンプトに基づいて拡散モデルから発生するノイズを予測し,各ペアの損失を算出する。 この合理化フレームワークは単一段階の蒸留プロセスを実現するとともに,我々の手法が様々なメトリクスにわたって最先端の手法より優れていることを示す広範な実験を行った。
  論文  参考訳（メタデータ） (2024-12-13T08:34:46Z)
• SAFLEX: Self-Adaptive Augmentation via Feature Label Extrapolation [29.598247232905283]
  本稿では,既存の拡張戦略と新たなデータセットと学習タスクのギャップを効果的に埋める,データ拡張のための新しい効率的な方法を提案する。 我々の発見は、既存の拡張パイプラインを新しいデータタイプとタスクに適用する可能性を強調し、より適応性がありレジリエントなトレーニングフレームワークへの移行を示唆している。
  論文  参考訳（メタデータ） (2024-10-03T14:21:49Z)
• Data Augmentation for Image Classification using Generative AI [8.74488498507946]
  データ拡張はデータセットのサイズを拡大するための有望なソリューションである。 最近のアプローチでは、生成AIモデルを使用してデータセットの多様性を改善している。 我々はAGA(Automated Generative Data Augmentation)を提案する。
  論文  参考訳（メタデータ） (2024-08-31T21:16:43Z)
• Improved Distribution Matching for Dataset Condensation [91.55972945798531]
  本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。 提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
  論文  参考訳（メタデータ） (2023-07-19T04:07:33Z)
• Explicit and Implicit Knowledge Distillation via Unlabeled Data [5.702176304876537]
  高速な計算機生成装置を代替する効率的な未ラベルサンプル選択法を提案する。 また,データ領域シフトによるラベルノイズを抑制するためのクラスドロップ機構を提案する。 実験結果から,本手法が他の最先端手法よりも高速に収束し,精度が向上できることが示唆された。
  論文  参考訳（メタデータ） (2023-02-17T09:10:41Z)
• EquiMod: An Equivariance Module to Improve Self-Supervised Learning [77.34726150561087]
  自己教師付き視覚表現法は教師付き学習性能とのギャップを埋めている。 これらの手法は、データ拡張によって生成された関連する合成入力の埋め込みの類似性を最大化することに依存する。 学習された潜在空間を構成する一般同値加群であるEquiModを導入する。
  論文  参考訳（メタデータ） (2022-11-02T16:25:54Z)
• Adversarial Auto-Augment with Label Preservation: A Representation Learning Principle Guided Approach [95.74102207187545]
  本研究では,事前自由な自律的データ拡張の目的が表現学習の原則から導出可能であることを示す。 そこで我々は,既存の手法にシームレスに最適化し,シームレスに統合できる目的に対して,実用的なサロゲートを提案する。
  論文  参考訳（メタデータ） (2022-11-02T02:02:51Z)
• Invariance Learning in Deep Neural Networks with Differentiable Laplace Approximations [76.82124752950148]
  我々はデータ拡張を選択するための便利な勾配法を開発した。 我々はKronecker-factored Laplace近似を我々の目的とする限界確率に近似する。
  論文  参考訳（メタデータ） (2022-02-22T02:51:11Z)
• FlipDA: Effective and Robust Data Augmentation for Few-Shot Learning [27.871007011425775]
  本稿では、生成モデルと分類器を併用してラベル付きデータを生成する新しいデータ拡張手法FlipDAを提案する。 実験の結果、FlipDAは有効性と堅牢性の間の良好なトレードオフを達成し、多くのタスクを大幅に改善する一方で、他のタスクに悪影響を及ぼさないことがわかった。
  論文  参考訳（メタデータ） (2021-08-13T17:51:31Z)
• CADDA: Class-wise Automatic Differentiable Data Augmentation for EEG Signals [92.60744099084157]
  本研究では、勾配に基づく学習に適した微分可能データ拡張を提案する。 本研究は,臨床関連睡眠ステージ分類課題におけるアプローチの意義を示す。
  論文  参考訳（メタデータ） (2021-06-25T15:28:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。