論文の概要: Revisiting Data Augmentation in Model Compression: An Empirical and
Comprehensive Study
- arxiv url: http://arxiv.org/abs/2305.13232v1
- Date: Mon, 22 May 2023 17:05:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-23 14:20:00.404283
- Title: Revisiting Data Augmentation in Model Compression: An Empirical and
Comprehensive Study
- Title（参考訳）: モデル圧縮におけるデータ拡張の再考 : 実証的・総合的研究
- Authors: Muzhou Yu, Linfeng Zhang and Kaisheng Ma
- Abstract要約: 本稿では,モデル圧縮におけるデータ拡張の利用について再検討する。
異なるサイズのモデルでは、大きさの異なるデータ拡張が好ましいことを示す。
事前訓練された大規模モデルの予測は、データ拡張の難しさを測定するために利用することができる。
- 参考スコア（独自算出の注目度）: 17.970216875558638
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The excellent performance of deep neural networks is usually accompanied by a
large number of parameters and computations, which have limited their usage on
the resource-limited edge devices. To address this issue, abundant methods such
as pruning, quantization and knowledge distillation have been proposed to
compress neural networks and achieved significant breakthroughs. However, most
of these compression methods focus on the architecture or the training method
of neural networks but ignore the influence from data augmentation. In this
paper, we revisit the usage of data augmentation in model compression and give
a comprehensive study on the relation between model sizes and their optimal
data augmentation policy. To sum up, we mainly have the following three
observations: (A) Models in different sizes prefer data augmentation with
different magnitudes. Hence, in iterative pruning, data augmentation with
varying magnitudes leads to better performance than data augmentation with a
consistent magnitude. (B) Data augmentation with a high magnitude may
significantly improve the performance of large models but harm the performance
of small models. Fortunately, small models can still benefit from strong data
augmentations by firstly learning them with "additional parameters" and then
discard these "additional parameters" during inference. (C) The prediction of a
pre-trained large model can be utilized to measure the difficulty of data
augmentation. Thus it can be utilized as a criterion to design better data
augmentation policies. We hope this paper may promote more research on the
usage of data augmentation in model compression.
- Abstract（参考訳）: ディープニューラルネットワークの優れた性能は通常、リソース制限されたエッジデバイスでの使用を制限する多くのパラメータと計算を伴う。
この問題に対処するために,ニューラルネットワークを圧縮するために,プルーニング,量子化,知識蒸留などの豊富な手法が提案され,大きなブレークスルーを達成した。
しかし、これらの圧縮手法のほとんどは、ニューラルネットワークのアーキテクチャやトレーニング方法にフォーカスしているが、データ拡張の影響は無視している。
本稿では,モデル圧縮におけるデータ拡張の利用を再考し,モデルサイズと最適なデータ拡張ポリシーとの関係について包括的に研究する。
まとめると、主に以下の3つの観察がある: (a) 異なる大きさのモデルは、異なる大きさのデータ拡張を好む。
したがって、反復的なプルーニングでは、様々な大きさのデータの増大は、一貫した大きさのデータの増大よりも優れたパフォーマンスをもたらす。
(B)大規模モデルの性能は著しく向上するが,小型モデルの性能には悪影響を及ぼす可能性がある。
幸いなことに、小さなモデルは、まず"追加パラメータ"で学習し、推論中にこれらの"追加パラメータ"を捨てることで、強力なデータ拡張の恩恵を受けることができる。
(C)データ拡張の難しさを測定するために,事前学習した大規模モデルの予測を利用することができる。
したがって、より良いデータ拡張ポリシーを設計するための基準として利用できる。
本稿では,モデル圧縮におけるデータ拡張の利用に関するさらなる研究を促進することを期待する。
関連論文リスト
- How Does Data Diversity Shape the Weight Landscape of Neural Networks? [2.89287673224661]
本稿では, ニューラルネットワークのパラメータ空間に対する降雨量, 重量減衰量, 騒音増大の影響について検討する。
我々は、多様なデータが、ドロップアウトと同様の方法で重量景観に影響を与えることを観察する。
合成データにより、実際の入力データにより多くの多様性がもたらされ、アウト・オブ・ディストリビューションテストインスタンスの性能が向上する、と結論付けている。
論文 参考訳（メタデータ） (2024-10-18T16:57:05Z) - A Comparative Study on Enhancing Prediction in Social Network Advertisement through Data Augmentation [0.6707149143800017]
本研究では,ソーシャルネットワーク広告データの生成的拡張フレームワークを提示し,検討する。
データ拡張のための3つの生成モデル - GAN(Generative Adversarial Networks)、VAE(variantal Autoencoders)、Gaussian Mixture Models(GMM) - を探索する。
論文 参考訳（メタデータ） (2024-04-22T01:16:11Z) - A Survey on Data Augmentation in Large Model Era [16.05117556207015]
大きな言語と拡散モデルを含む大きなモデルは、人間レベルの知能を近似する上で非常に有望である。
これらのモデルへの継続的な更新により、既存の高品質なデータの貯水池はすぐに枯渇する可能性がある。
本稿では,大規模モデル駆動型データ拡張手法について概観する。
論文 参考訳（メタデータ） (2024-01-27T14:19:33Z) - Optimizing Dense Feed-Forward Neural Networks [0.0]
本稿では,プルーニングと移動学習に基づくフィードフォワードニューラルネットワークの構築手法を提案する。
提案手法では,パラメータ数を70%以上圧縮できる。
また、ニューラルネットワークをスクラッチからトレーニングしたモデルと元のモデルを比較し、トランスファー学習レベルを評価した。
論文 参考訳（メタデータ） (2023-12-16T23:23:16Z) - DualAug: Exploiting Additional Heavy Augmentation with OOD Data
Rejection [77.6648187359111]
そこで本稿では,textbfDualAug という新しいデータ拡張手法を提案する。
教師付き画像分類ベンチマークの実験では、DualAugは様々な自動データ拡張法を改善している。
論文 参考訳（メタデータ） (2023-10-12T08:55:10Z) - Scaling Laws Do Not Scale [54.72120385955072]
最近の研究によると、データセットのサイズが大きくなると、そのデータセットでトレーニングされたモデルのパフォーマンスが向上する。
このスケーリング法則の関係は、モデルのアウトプットの質を異なる集団がどのように認識するかと一致しないパフォーマンスを測定するために使われる指標に依存する、と我々は主張する。
異なるコミュニティは、互いに緊張関係にある価値を持ち、モデル評価に使用されるメトリクスについて、困難で、潜在的に不可能な選択をもたらす可能性がある。
論文 参考訳（メタデータ） (2023-07-05T15:32:21Z) - Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
独立サブネットワークトレーニング(IST)の理論的考察
ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。
圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
論文 参考訳（メタデータ） (2023-06-28T18:14:22Z) - To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。
本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。
第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
論文 参考訳（メタデータ） (2023-05-22T17:02:15Z) - Automatic Data Augmentation via Invariance-Constrained Learning [94.27081585149836]
下位のデータ構造は、しばしば学習タスクのソリューションを改善するために利用される。
データ拡張は、入力データに複数の変換を適用することで、トレーニング中にこれらの対称性を誘導する。
この作業は、学習タスクを解決しながらデータ拡張を自動的に適応することで、これらの問題に対処する。
論文 参考訳（メタデータ） (2022-09-29T18:11:01Z) - Exploring the Effects of Data Augmentation for Drivable Area
Segmentation [0.0]
既存の画像データセットを解析することで、データ拡張の利点を調べることに重点を置いている。
以上の結果から,既存技術(SOTA)モデルの性能とロバスト性は劇的に向上する可能性が示唆された。
論文 参考訳（メタデータ） (2022-08-06T03:39:37Z) - Generative Data Augmentation for Commonsense Reasoning [75.26876609249197]
G-DAUGCは、低リソース環境でより正確で堅牢な学習を実現することを目的とした、新しい生成データ拡張手法である。
G-DAUGCは、バックトランスレーションに基づく既存のデータ拡張手法を一貫して上回っている。
分析の結果,G-DAUGCは多種多様な流線型学習例を産出し,その選択と学習アプローチが性能向上に重要であることが示された。
論文 参考訳（メタデータ） (2020-04-24T06:12:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。