論文の概要: Toward domain generalized pruning by scoring out-of-distribution importance

• arxiv url: http://arxiv.org/abs/2210.13810v1
• Date: Tue, 25 Oct 2022 07:36:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-26 15:26:08.953373
• Title: Toward domain generalized pruning by scoring out-of-distribution importance
• Title（参考訳）: 分散的重要度を採点した領域一般化型刈り込み
• Authors: Rizhao Cai, Haoliang Li, Alex Kot
• Abstract要約: フィルタプルーニングは、畳み込みニューラルネットワークの圧縮に広く使われ、デプロイメント段階での計算コストを削減している。 我々は、広範囲にわたる実験実験を行い、フィルタープルーニング後にドメイン内性能を維持できるが、クロスドメイン性能は大幅に低下することを明らかにした。 実験により,同じプルーニング比下では,ベースラインフィルタプルーニング法よりもクロスドメインの一般化性能が著しく向上することが示された。
• 参考スコア（独自算出の注目度）: 19.26591372002258
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Filter pruning has been widely used for compressing convolutional neural networks to reduce computation costs during the deployment stage. Recent studies have shown that filter pruning techniques can achieve lossless compression of deep neural networks, reducing redundant filters (kernels) without sacrificing accuracy performance. However, the evaluation is done when the training and testing data are from similar environmental conditions (independent and identically distributed), and how the filter pruning techniques would affect the cross-domain generalization (out-of-distribution) performance is largely ignored. We conduct extensive empirical experiments and reveal that although the intra-domain performance could be maintained after filter pruning, the cross-domain performance will decay to a large extent. As scoring a filter's importance is one of the central problems for pruning, we design the importance scoring estimation by using the variance of domain-level risks to consider the pruning risk in the unseen distribution. As such, we can remain more domain generalized filters. The experiments show that under the same pruning ratio, our method can achieve significantly better cross-domain generalization performance than the baseline filter pruning method. For the first attempt, our work sheds light on the joint problem of domain generalization and filter pruning research.
• Abstract（参考訳）: フィルタプルーニングは、畳み込みニューラルネットワークの圧縮に広く使われ、デプロイメント段階での計算コストを削減している。 近年の研究では、フィルタプルーニング技術がディープニューラルネットワークのロスレス圧縮を実現し、精度を犠牲にすることなく冗長フィルタ(カーネル)を削減できることが示されている。 しかし, 同一の環境条件(非依存的かつ同一分布)からデータを得た場合の評価を行い, クロスドメイン一般化(分散外)性能にフィルタープルーニング技術がどう影響するかを概ね無視した。 我々は,広範囲な実験を行い,フィルタの刈り込み後にドメイン内性能を維持できるが,ドメイン間性能は大幅に低下することを明らかにした。 フィルタの重要度は刈り取りの中心的な問題の一つであり, 未発見分布における刈り取りリスクを考えるために, ドメインレベルのリスクのばらつきを利用して, 採点の重要度を推定する。 したがって、より領域的な一般化フィルタを保ち続けることができる。 実験の結果,同じプルーニング比で,本手法はベースラインフィルタプルーニング法よりもはるかに優れたクロスドメイン一般化性能が得られることがわかった。 最初の試みとして、ドメイン一般化とフィルタプルーニング研究の連立問題に光を当てる。

関連論文リスト

• Efficient CNNs via Passive Filter Pruning [23.661189257759535]
  畳み込みニューラルネットワーク(CNN)は、様々なアプリケーションで最先端のパフォーマンスを示している。 CNNは、高い計算複雑性とメモリストレージを必要とするため、リソース不足である。 CNNにおける計算効率向上に向けた最近の取り組みには、フィルタプルーニング法がある。
  論文  参考訳（メタデータ） (2023-04-05T09:19:19Z)
• Asymptotic Soft Cluster Pruning for Deep Neural Networks [5.311178623385279]
  フィルタプルーニング法は, 選択したフィルタを除去することにより, 構造的疎結合を導入する。 Asymptotic Soft Cluster Pruning と呼ばれる新しいフィルタプルーニング法を提案する。 提案手法は,多くの最先端アルゴリズムと比較して,競合的な結果が得られる。
  論文  参考訳（メタデータ） (2022-06-16T13:58:58Z)
• Batch Normalization Tells You Which Filter is Important [49.903610684578716]
  我々は,事前学習したCNNのBNパラメータに基づいて,各フィルタの重要性を評価することによって,簡易かつ効果的なフィルタ刈取法を提案する。 CIFAR-10とImageNetの実験結果から,提案手法が優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2021-12-02T12:04:59Z)
• Data Agnostic Filter Gating for Efficient Deep Networks [72.4615632234314]
  現在のフィルタプルーニング法は主に特徴写像を利用してフィルタの重要なスコアを生成し、より小さなスコアのプルーンを生成する。 本稿では,Daggerモジュールと呼ばれる補助的ネットワークを用いてプルーニングを誘導するデータフィルタプルーニング手法を提案する。 さらに,特定のFLOP制約でプルーネフィルタを支援するために,明示的なFLOPを意識した正規化を活用して,プルーニングフィルタを直接対象のFLOPに向けて推進する。
  論文  参考訳（メタデータ） (2020-10-28T15:26:40Z)
• SCOP: Scientific Control for Reliable Neural Network Pruning [127.20073865874636]
  本稿では,科学的制御を設定することにより,信頼性の高いニューラルネットワークプルーニングアルゴリズムを提案する。 冗長フィルタは、異なる特徴の逆数過程において発見できる。 提案手法では,ResNet-101のパラメータ57.8%,FLOP60.2%を削減できる。
  論文  参考訳（メタデータ） (2020-10-21T03:02:01Z)
• OrthoReg: Robust Network Pruning Using Orthonormality Regularization [7.754712828900727]
  本稿では,ネットワークフィルタの正則性を強制し,フィルタ間の相関を小さくする原理的正規化戦略を提案する。 VGG-13、MobileNet-V1、ResNet-34の反復的なプルーニングに使用する場合、OrthoRegは5つのベースライン技術より一貫して優れている。
  論文  参考訳（メタデータ） (2020-09-10T17:21:21Z)
• To Filter Prune, or to Layer Prune, That Is The Question [13.450136532402226]
  遅延低減の観点からフィルタプルーニング手法の限界を示す。 同様の精度でフィルタプルーニング法よりも高い遅延低減を実現するための,異なる基準に基づくレイヤプルーニング法を提案する。 LayerPruneはまた、ImageNetデータセットの同様の遅延予算に対して、Shufflenet、MobileNet、MNASNet、ResNet18などの手作りアーキテクチャを7.3%、4.6%、2.8%、0.5%で上回っている。
  論文  参考訳（メタデータ） (2020-07-11T02:51:40Z)
• Dependency Aware Filter Pruning [74.69495455411987]
  重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。 以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。 所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
  論文  参考訳（メタデータ） (2020-05-06T07:41:22Z)
• Filter Grafting for Deep Neural Networks: Reason, Method, and Cultivation [86.91324735966766]
  フィルタは現代の畳み込みニューラルネットワーク(CNN)のキーコンポーネントである 本稿では,この目的を達成するためにフィルタグラフト(textbfMethod)を導入する。 我々は,フィルタの情報を測定するための新しい基準と,グラフトされた情報をネットワーク間でバランスをとるための適応重み付け戦略を開発する。
  論文  参考訳（メタデータ） (2020-04-26T08:36:26Z)
• Convolution-Weight-Distribution Assumption: Rethinking the Criteria of Channel Pruning [90.2947802490534]
  刈り取り基準の研究には2つの盲点がある。 フィルタのランク'Importance Score'はほぼ同じで、同様に刈り取られた構造になる。 いくつかのプルーニング基準で測定されたフィルタ'Importance Score'は、ネットワークの冗長性をよく区別するには近すぎる。
  論文  参考訳（メタデータ） (2020-04-24T09:54:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。