Fugu-MT 論文翻訳(概要): Rethinking Class-Discrimination Based CNN Channel Pruning

論文の概要: Rethinking Class-Discrimination Based CNN Channel Pruning

arxiv url: http://arxiv.org/abs/2004.14492v1
Date: Wed, 29 Apr 2020 21:40:23 GMT
ステータス: 処理完了
システム内更新日: 2022-12-08 14:09:55.413148
Title: Rethinking Class-Discrimination Based CNN Channel Pruning
Title（参考訳）: クラス識別に基づくCNNチャネルプルーニングの再考
Authors: Yuchen Liu, David Wentzlaff, and S.Y. Kung
Abstract要約: チャネルプルーニングにおける幅広い識別機能の有効性について検討した。本研究では,構造解析の自動化を目的としたFLOP正規化感度解析手法を開発した。プレナードモデルでは,最先端の結果と比較して推論コストが低く,精度が向上する。
参考スコア（独自算出の注目度）: 14.574489739794581
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Channel pruning has received ever-increasing focus on network compression. In particular, class-discrimination based channel pruning has made major headway, as it fits seamlessly with the classification objective of CNNs and provides good explainability. Prior works singly propose and evaluate their discriminant functions, while further study on the effectiveness of the adopted metrics is absent. To this end, we initiate the first study on the effectiveness of a broad range of discriminant functions on channel pruning. Conventional single-variate binary-class statistics like Student's T-Test are also included in our study via an intuitive generalization. The winning metric of our study has a greater ability to select informative channels over other state-of-the-art methods, which is substantiated by our qualitative and quantitative analysis. Moreover, we develop a FLOP-normalized sensitivity analysis scheme to automate the structural pruning procedure. On CIFAR-10, CIFAR-100, and ILSVRC-2012 datasets, our pruned models achieve higher accuracy with less inference cost compared to state-of-the-art results. For example, on ILSVRC-2012, our 44.3% FLOPs-pruned ResNet-50 has only a 0.3% top-1 accuracy drop, which significantly outperforms the state of the art.
Abstract（参考訳）: チャネルプルーニングは、ネットワーク圧縮に着目し続けている。特に、CNNの分類目的とシームレスに適合し、優れた説明性を提供するため、クラス識別に基づくチャネルプルーニングは大きな道のりをたどった。先行研究は,その識別機能を単独で提案し,評価する一方で,適用指標の有効性に関するさらなる研究は欠如している。そこで本研究では,チャネルプルーニングにおける幅広い識別関数の有効性に関する最初の研究を開始する。学生のT-Testのような従来の単一変数のバイナリクラス統計も直感的な一般化を通じてこの研究に含まれる。我々の研究の勝利度は、他の最先端手法よりも情報チャネルを選択する能力が高く、質的、定量的分析によって裏付けられている。さらに,構造解析の自動化を目的としたFLOP正規化感度解析手法を開発した。 CIFAR-10, CIFAR-100, ILSVRC-2012データセットでは, 最先端結果と比較して予測コストが低く, 精度が向上した。例えば ILSVRC-2012 では、44.3% の FLOPs-pruned ResNet-50 は、0.3% のトップ-1 の精度低下しかなく、芸術の状態を著しく上回っている。

関連論文リスト

Augmenting Unsupervised Reinforcement Learning with Self-Reference [63.68018737038331]
人間は、新しいタスクを学ぶ際に、過去の経験を明確に表現する能力を持っている。本稿では,歴史情報を活用するためのアドオンモジュールとして,自己参照(SR)アプローチを提案する。提案手法は,非教師付き強化学習ベンチマークにおけるIQM(Interquartile Mean)性能と最適ギャップ削減の両面から,最先端の成果を実現する。
論文参考訳（メタデータ） (2023-11-16T09:07:34Z)
Class-Discriminative CNN Compression [10.675326899147802]
我々は,CNNのトレーニング目標を促進するために,プルーニングと蒸留の両方でクラス識別を注入するクラス識別圧縮(CDC)を提案する。 CDC は CIFAR と ILSVRC 2012 で評価されている。
論文参考訳（メタデータ） (2021-10-21T02:54:05Z)
Test-time Batch Statistics Calibration for Covariate Shift [66.7044675981449]
我々は,推論中に深層モデルを新しい環境に適応させることを提案する。バッチ統計の校正に$alpha$-BNの一般的な定式化を提案する。また、統合テスト時間適応フレームワークCoreを形成するための新しい損失関数も提示する。
論文参考訳（メタデータ） (2021-10-06T08:45:03Z)
AIP: Adversarial Iterative Pruning Based on Knowledge Transfer for Convolutional Neural Networks [7.147985297123097]
畳み込みニューラルネットワーク(CNN)には、かなりの計算コストがかかる。現在のプルーニング法ではCNNを少ない性能低下で圧縮することができるが、プルーニング比が大きくなると精度の低下がより深刻になる。本稿では,知識伝達に基づくCNNのための新しい逆反復刈取法(AIP)を提案する。
論文参考訳（メタデータ） (2021-08-31T02:38:36Z)
Calibrating Class Activation Maps for Long-Tailed Visual Recognition [60.77124328049557]
本稿では,CNNの長期分布からネットワーク学習を改善するための2つの効果的な修正を提案する。まず,ネットワーク分類器の学習と予測を改善するために,CAMC (Class Activation Map) モジュールを提案する。第2に,長期化問題における表現学習における正規化分類器の利用について検討する。
論文参考訳（メタデータ） (2021-08-29T05:45:03Z)
No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data [78.69828864672978]
実世界のフェデレーションシステムにおける分類モデルのトレーニングにおける中心的な課題は、非IIDデータによる学習である。このアルゴリズムは, 近似されたssian混合モデルからサンプリングした仮想表現を用いて分類器を調整する。実験の結果,CIFAR-10,CIFAR-100,CINIC-10など,一般的なフェデレーション学習ベンチマークにおけるCCVRの現状が示された。
論文参考訳（メタデータ） (2021-06-09T12:02:29Z)
BWCP: Probabilistic Learning-to-Prune Channels for ConvNets via Batch Whitening [63.081808698068365]
本稿では,畳み込みニューラルネットワーク(cnns)を高速化する確率的チャネルプルーニング手法を提案する。以前は、訓練中の重要でないチャンネルを決定論的な方法でゼロにすることが多く、CNNの学習能力が低下し、最適なパフォーマンスが得られます。本研究では, バッチホワイトニングチャネルプルーニング (BWCP) と呼ばれる確率ベースのプルーニングアルゴリズムを開発し, チャネルの活性化の確率をモデル化することにより, 重要でないチャネルを自動破棄する。
論文参考訳（メタデータ） (2021-05-13T17:00:05Z)
Prune Responsibly [0.913755431537592]
機械学習アプリケーションにおける特定の公正性の定義を無視すると、基礎となるモデルを刈り取ることがそれに影響を及ぼす。本研究では,100万以上の画像分類モデルを対象としたタスクやアーキテクチャにおいて,望ましくない性能不均衡の出現と悪化を調査・記録する。ニューラルネットワークプルーニングに関する実際のエンジニアリング意思決定において、バイアス、公平性、包括的メトリクスを含む透過的なレポートの必要性を実証する。
論文参考訳（メタデータ） (2020-09-10T04:43:11Z)
Self-Challenging Improves Cross-Domain Generalization [81.99554996975372]
畳み込みニューラルネットワーク(CNN)は、ラベルと相関する支配的特徴を活性化することにより、画像分類を行う。ドメイン外データに対するCNNの一般化を著しく改善する簡単なトレーニングである自己整合表現(RSC)を導入する。 RSCはトレーニングデータ上で活性化される主要な機能に対して反復的に挑戦し、ラベルと相関する残りの機能を有効にするようネットワークに強制する。
論文参考訳（メタデータ） (2020-07-05T21:42:26Z)
A Feature-map Discriminant Perspective for Pruning Deep Neural Networks [24.062226363823257]
本稿では,特徴マップの識別性を高精度かつ効率的に定量化するための新しい数学的定式化を提案する。本研究では、DIの理論的性質、特に非減少特性を分析し、DIを有効な選択基準とする。そこで本稿では,DIに基づくグリーディープルーニングアルゴリズムと構造蒸留技術を用いて,プルーニング構造を自動的に決定する手法を提案する。
論文参考訳（メタデータ） (2020-05-28T06:25:22Z)
Gradual Channel Pruning while Training using Feature Relevance Scores for Convolutional Neural Networks [6.534515590778012]
プルーニングは、ディープネットワーク圧縮に使用される主要なアプローチの1つである。そこで本研究では,新しいデータ駆動計測法を用いて,学習手法を訓練しながら,簡便な効率の段階的なチャネルプルーニングを提案する。本稿では,VGGやResNetなどのアーキテクチャにおける提案手法の有効性を示す。
論文参考訳（メタデータ） (2020-02-23T17:56:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。