論文の概要: AutoDFP: Automatic Data-Free Pruning via Channel Similarity Reconstruction

• arxiv url: http://arxiv.org/abs/2403.08204v1
• Date: Wed, 13 Mar 2024 02:56:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-14 15:49:56.702976
• Title: AutoDFP: Automatic Data-Free Pruning via Channel Similarity Reconstruction
• Title（参考訳）: AutoDFP:チャンネル類似性による自動データフリープルーニング 再建
• Authors: Siqi Li, Jun Chen, Jingyang Xiang, Chengrui Zhu, Yong Liu
• Abstract要約: 本研究では, 微調整を伴わずに自動刈り取りと再構築を実現するAutoDFP(Automatic Data-Free Pruning)手法を提案する。 複数のデータセット上で複数のネットワークでAutoDFPを評価し,印象的な圧縮結果を得た。
• 参考スコア（独自算出の注目度）: 18.589013910402237
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Structured pruning methods are developed to bridge the gap between the massive scale of neural networks and the limited hardware resources. Most current structured pruning methods rely on training datasets to fine-tune the compressed model, resulting in high computational burdens and being inapplicable for scenarios with stringent requirements on privacy and security. As an alternative, some data-free methods have been proposed, however, these methods often require handcraft parameter tuning and can only achieve inflexible reconstruction. In this paper, we propose the Automatic Data-Free Pruning (AutoDFP) method that achieves automatic pruning and reconstruction without fine-tuning. Our approach is based on the assumption that the loss of information can be partially compensated by retaining focused information from similar channels. Specifically, We formulate data-free pruning as an optimization problem, which can be effectively addressed through reinforcement learning. AutoDFP assesses the similarity of channels for each layer and provides this information to the reinforcement learning agent, guiding the pruning and reconstruction process of the network. We evaluate AutoDFP with multiple networks on multiple datasets, achieving impressive compression results. For instance, on the CIFAR-10 dataset, AutoDFP demonstrates a 2.87\% reduction in accuracy loss compared to the recently proposed data-free pruning method DFPC with fewer FLOPs on VGG-16. Furthermore, on the ImageNet dataset, AutoDFP achieves 43.17\% higher accuracy than the SOTA method with the same 80\% preserved ratio on MobileNet-V1.
• Abstract（参考訳）: 大規模ニューラルネットワークと限られたハードウェアリソースのギャップを埋めるために,構造化プルーニング法が開発された。 現在の構造化プルーニング手法のほとんどは、圧縮されたモデルを微調整するトレーニングデータセットに依存しており、計算負荷が高く、プライバシとセキュリティの厳しい要件のあるシナリオには適用できない。 代替として、データフリーな手法がいくつか提案されているが、これらの手法は手動パラメータチューニングを必要とすることが多く、柔軟性のない再構成しか実現できない。 本稿では,微調整をせずに自動刈り取りと再構築を実現する自動データフリープルーニング(AutoDFP)手法を提案する。 提案手法は,類似チャネルからの集中情報を保持することにより,情報損失を部分的に補償できるという仮定に基づいている。 具体的には、データフリープルーニングを最適化問題として定式化し、強化学習によって効果的に対処できる。 AutoDFPは、各レイヤのチャネルの類似性を評価し、この情報を強化学習エージェントに提供し、ネットワークのプルーニングと再構築プロセスを導く。 複数のデータセット上で複数のネットワークでAutoDFPを評価し,印象的な圧縮結果を得た。 例えば、CIFAR-10データセットでは、AutoDFPはVGG-16上のFLOPが少なく、最近提案されたデータフリープルーニング方式DFPCと比較して精度損失が2.87 %減少することを示した。 さらに、ImageNetデータセットでは、AutoDFPは、MobileNet-V1と同じ80倍の保存率でSOTA法よりも43.17倍の精度で達成されている。

関連論文リスト

• Towards Generalizable Trajectory Prediction Using Dual-Level Representation Learning And Adaptive Prompting [107.4034346788744]
  既存の車両軌道予測モデルは、一般化可能性、予測の不確実性、複雑な相互作用を扱う。 本研究では,(1)自己拡張(SD)とマスドレコンストラクション(MR)による二重レベル表現学習,グローバルコンテキストと細部の詳細の収集,(2)レジスタベースのクエリと事前学習の強化,クラスタリングと抑圧の必要性の排除,(3)微調整中の適応型プロンプトチューニング,メインアーキテクチャの凍結,および少数のプロンプトの最適化といった,新たなトラジェクタ予測フレームワークであるPerceiverを提案する。
  論文  参考訳（メタデータ） (2025-01-08T20:11:09Z)
• Unified Data-Free Compression: Pruning and Quantization without Fine-Tuning [12.982673904306633]
  我々は,データや微調整処理を伴わずに,プルーニングと量子化を同時に行う,Unified Data-Free Compression (UDFC) という新しいフレームワークを提案する。 大規模画像分類タスクにおいてUDFCを評価し,様々なネットワークアーキテクチャや圧縮手法に対して大幅な改善が得られた。
  論文  参考訳（メタデータ） (2023-08-14T15:25:07Z)
• Uncertainty-Aware Source-Free Adaptive Image Super-Resolution with Wavelet Augmentation Transformer [60.31021888394358]
  Unsupervised Domain Adaptation (UDA)は、現実世界の超解像(SR)における領域ギャップ問題に効果的に対処できる 本稿では,画像SR(SODA-SR)のためのSOurce-free Domain Adaptationフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-31T03:14:44Z)
• Prompt Tuning for Parameter-efficient Medical Image Segmentation [79.09285179181225]
  2つの医用画像データセットのセマンティックセグメンテーションにパラメータ効率が良いが効果的な適応を実現するために,いくつかのコントリビューションを提案し,検討する。 我々はこのアーキテクチャを、オンライン生成プロトタイプへの割り当てに基づく専用密集型セルフスーパービジョンスキームで事前訓練する。 得られたニューラルネットワークモデルにより、完全に微調整されたモデルとパラメータに適応したモデルとのギャップを緩和できることを実証する。
  論文  参考訳（メタデータ） (2022-11-16T21:55:05Z)
• Layer-Parallel Training of Residual Networks with Auxiliary-Variable Networks [28.775355111614484]
  補助変数法は近年、多くの関心を集めているが、通信オーバーヘッドとデータ拡張の欠如に悩まされている。 本稿では,複数のコンピュータデバイスにまたがる現実的なResNetを学習するための新しい共同学習フレームワークを提案する。 CIFAR-10, CIFAR-100, ImageNetデータセットにまたがるResNetsおよびWideResNetsにおける手法の有効性を示す。
  論文  参考訳（メタデータ） (2021-12-10T08:45:35Z)
• Self-Supervised Pre-Training for Transformer-Based Person Re-Identification [54.55281692768765]
  トランスフォーマーに基づく教師付き事前訓練は、人物再識別(ReID)において大きなパフォーマンスを達成する ImageNetとReIDデータセットのドメインギャップのため、通常、パフォーマンスを高めるために、より大きなトレーニング済みデータセットが必要です。 この研究は、データとモデル構造の観点から、事前トレーニングデータセットとReIDデータセットのギャップを軽減することを目的としている。
  論文  参考訳（メタデータ） (2021-11-23T18:59:08Z)
• Pruning with Compensation: Efficient Channel Pruning for Deep Convolutional Neural Networks [0.9712140341805068]
  刈り込みDCNNのコストを大幅に削減する高効率刈り込み法を提案する。 本手法は,最先端のリトレーニングベースプルーニング法と競合するプルーニング性能を示す。
  論文  参考訳（メタデータ） (2021-08-31T10:17:36Z)
• AutoDO: Robust AutoAugment for Biased Data with Label Noise via Scalable Probabilistic Implicit Differentiation [3.118384520557952]
  AutoAugmentはディープラーニングモデルに対する自動拡張手法への関心を呼び起こした。 バイアスデータやノイズデータに適用した場合,これらの手法は堅牢ではないことを示す。 AutoAugmentを汎用的な自動データセット最適化(AutoDO)タスクとして再構成します。 従来の手法と比較して,ラベルノイズのあるバイアス付きデータセットは最大9.3%改善した。
  論文  参考訳（メタデータ） (2021-03-10T04:05:33Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• DAIS: Automatic Channel Pruning via Differentiable Annealing Indicator Search [55.164053971213576]
  畳み込みニューラルネットワークは,計算オーバーヘッドが大きいにもかかわらず,コンピュータビジョンタスクの実行において大きな成功を収めている。 構造的(チャネル)プルーニングは、通常、ネットワーク構造を保ちながらモデルの冗長性を低減するために適用される。 既存の構造化プルーニング法では、手作りのルールが必要であり、これは大きなプルーニング空間に繋がる可能性がある。
  論文  参考訳（メタデータ） (2020-11-04T07:43:01Z)
• Now that I can see, I can improve: Enabling data-driven finetuning of CNNs on the edge [11.789983276366987]
  本稿では,構造化プルーニングに基づくエッジデバイス上でCNNの微調整を可能にするための第一歩を提供する。 パフォーマンスの向上とコストについて検討し、そのようなアプローチの展開を可能にするオープンソースフレームワークを提示する。
  論文  参考訳（メタデータ） (2020-06-15T17:16:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。