論文の概要: MixMix: All You Need for Data-Free Compression Are Feature and Data Mixing

• arxiv url: http://arxiv.org/abs/2011.09899v3
• Date: Wed, 26 Jan 2022 22:25:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-23 20:33:09.962648
• Title: MixMix: All You Need for Data-Free Compression Are Feature and Data Mixing
• Title（参考訳）: MixMix:データフリー圧縮に必要なものは、機能とデータミキシング
• Authors: Yuhang Li, Feng Zhu, Ruihao Gong, Mingzhu Shen, Xin Dong, Fengwei Yu, Shaoqing Lu, Shi Gu
• Abstract要約: 一般化可能性と不正確な逆転の難しさを克服するために、MixMixを提案する。 理論的および経験的両面からMixMixの有効性を実証する。 MixMixは、既存のデータフリー圧縮作業と比較して、量子化とプルーニングで最大4%と20%の精度アップリフトを達成する。
• 参考スコア（独自算出の注目度）: 30.14401315979937
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: User data confidentiality protection is becoming a rising challenge in the present deep learning research. Without access to data, conventional data-driven model compression faces a higher risk of performance degradation. Recently, some works propose to generate images from a specific pretrained model to serve as training data. However, the inversion process only utilizes biased feature statistics stored in one model and is from low-dimension to high-dimension. As a consequence, it inevitably encounters the difficulties of generalizability and inexact inversion, which leads to unsatisfactory performance. To address these problems, we propose MixMix based on two simple yet effective techniques: (1) Feature Mixing: utilizes various models to construct a universal feature space for generalized inversion; (2) Data Mixing: mixes the synthesized images and labels to generate exact label information. We prove the effectiveness of MixMix from both theoretical and empirical perspectives. Extensive experiments show that MixMix outperforms existing methods on the mainstream compression tasks, including quantization, knowledge distillation, and pruning. Specifically, MixMix achieves up to 4% and 20% accuracy uplift on quantization and pruning, respectively, compared to existing data-free compression work.
• Abstract（参考訳）: 現在の深層学習研究では,ユーザデータの機密性保護が課題となっている。 データへのアクセスがなければ、従来のデータ駆動モデル圧縮はパフォーマンス劣化のリスクが高い。 近年,トレーニングデータとして機能する特定の事前学習モデルから画像を生成する手法が提案されている。 しかし、反転過程は1つのモデルに格納されたバイアス付き特徴統計のみを使用し、低次元から高次元までである。 結果として、それは必然的に一般化性と不正確な逆転の難しさに遭遇し、不満足なパフォーマンスをもたらす。 これらの問題を解決するために,(1)特徴混合:一般化された逆転のための普遍的な特徴空間を構築するために様々なモデルを利用する,(2)データ混合:合成画像とラベルを混合して正確なラベル情報を生成する。 理論的および経験的観点からmixmixの有効性を実証する。 広範な実験により、mixmixは、量子化、知識蒸留、刈り取りなど、主流の圧縮タスクで既存の方法よりも優れています。 具体的には、mixmixは、既存のデータフリー圧縮作業と比較して、量子化とプラニングにおける最大4%と20%の精度向上を達成している。

関連論文リスト

• SUMix: Mixup with Semantic and Uncertain Information [41.99721365685618]
  混合データ拡張アプローチは、ディープラーニングの様々なタスクに応用されている。 そこで我々は,SUMix という新しい手法を提案し,混合率と混合試料の不確かさを学習する。
  論文  参考訳（メタデータ） (2024-07-10T16:25:26Z)
• RC-Mixup: A Data Augmentation Strategy against Noisy Data for Regression Tasks [27.247270530020664]
  本研究では,ノイズの多いデータの存在下での回帰作業におけるロバストなデータ拡張の問題について検討する。 C-Mixupは、レグレッションパフォーマンスを改善するためにラベル距離に基づいてサンプルを混合する、より選択的である。 本稿では,C-Mixupとマルチラウンドロバストな学習手法を密接に統合し,シナジスティックな効果を示すRC-Mixupを提案する。
  論文  参考訳（メタデータ） (2024-05-28T08:02:42Z)
• Data Mixing Laws: Optimizing Data Mixtures by Predicting Language Modeling Performance [55.872926690722714]
  本研究では,関数形式の混合比に関するモデル性能の予測可能性について検討する。 トレーニングステップのスケーリング法則,モデルサイズ,データ混合法則のネスト利用を提案する。 提案手法は,RedPajamaにおける100Bトークンをトレーニングした1Bモデルのトレーニング混合物を効果的に最適化する。
  論文  参考訳（メタデータ） (2024-03-25T17:14:00Z)
• TransformMix: Learning Transformation and Mixing Strategies from Data [20.79680733590554]
  我々は、データからより良い変換と拡張戦略を混合するための自動アプローチであるTransformMixを提案する。 本稿では,トランスフォーメーション学習,分類,オブジェクト検出,知識蒸留設定におけるTransformMixの有効性を示す。
  論文  参考訳（メタデータ） (2024-03-19T04:36:41Z)
• The Benefits of Mixup for Feature Learning [117.93273337740442]
  最初に、機能やラベルに異なる線形パラメータを使用するMixupは、標準Mixupと同様のパフォーマンスが得られることを示す。 我々は、特徴雑音データモデルを検討し、Mixupトレーニングが共通の特徴と組み合わせることで、稀な特徴を効果的に学習できることを示します。 対照的に、標準的なトレーニングは共通の特徴しか学べないが、まれな特徴を学べないため、パフォーマンスが悪くなる。
  論文  参考訳（メタデータ） (2023-03-15T08:11:47Z)
• DoubleMix: Simple Interpolation-Based Data Augmentation for Text Classification [56.817386699291305]
  本稿では,DoubleMixと呼ばれる単純なデータ拡張手法を提案する。 DoubleMixはまず、トレーニングデータごとにいくつかの摂動サンプルを生成する。 次に、摂動データと元のデータを使って、隠れたニューラルネットワークの空間で2段階のステップを実行する。
  論文  参考訳（メタデータ） (2022-09-12T15:01:04Z)
• RandoMix: A mixed sample data augmentation method with multiple mixed modes [12.466162659083697]
  RandoMixは、堅牢性と多様性の課題に対処するために設計された、混合サンプルデータ拡張手法である。 我々は,CIFAR-10/100,Tiny-ImageNet,ImageNet,Google Speech Commandsなど,さまざまなデータセットに対するRandoMixの有効性を評価する。
  論文  参考訳（メタデータ） (2022-05-18T05:31:36Z)
• Harnessing Hard Mixed Samples with Decoupled Regularizer [69.98746081734441]
  Mixupは、決定境界を混合データで滑らかにすることで、ニューラルネットワークの一般化を改善する効率的なデータ拡張アプローチである。 本稿では,非結合型正規化器(Decoupled Mixup, DM)を用いた効率的な混合目標関数を提案する。 DMは、ミキシングの本来の滑らかさを損なうことなく、硬質混合試料を適応的に利用して識別特性をマイニングすることができる。
  論文  参考訳（メタデータ） (2022-03-21T07:12:18Z)
• ResizeMix: Mixing Data with Preserved Object Information and True Labels [57.00554495298033]
  本研究は,データ混合におけるサリエンシー情報の重要性について検討し,サリエンシー情報は増補性能向上のために必要ではないことを見出した。 本稿では,より効率的で実装が容易なresizemix法を提案する。
  論文  参考訳（メタデータ） (2020-12-21T03:43:13Z)
• SnapMix: Semantically Proportional Mixing for Augmenting Fine-grained Data [124.95585891086894]
  提案はSemantically Proportional Mixing(SnapMix)と呼ばれる クラスアクティベーションマップ(CAM)を利用して、きめ細かいデータを強化する際にラベルノイズを低減します。 本手法は既存の混合型アプローチを一貫して上回っている。
  論文  参考訳（メタデータ） (2020-12-09T03:37:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。