論文の概要: Grow-Push-Prune: aligning deep discriminants for effective structural network compression

• arxiv url: http://arxiv.org/abs/2009.13716v3
• Date: Sat, 2 Oct 2021 01:03:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-13 05:45:02.779109
• Title: Grow-Push-Prune: aligning deep discriminants for effective structural network compression
• Title（参考訳）: grow-push-prune:効果的な構造ネットワーク圧縮のための深層判別剤の調整
• Authors: Qing Tian, Tal Arbel, James J. Clark
• Abstract要約: 本稿では,タスク依存型コンパクトモデルの深層判別分析の観点から導出を試みる。 本稿では,プッシュステップとプルーニングステップを交互に交互に行う分類タスクに対して,反復的かつ積極的なアプローチを提案する。 MNIST、CIFAR10、ImageNetデータセットの実験は、我々のアプローチの有効性を実証している。
• 参考スコア（独自算出の注目度）: 5.532477732693
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most of today's popular deep architectures are hand-engineered to be generalists. However, this design procedure usually leads to massive redundant, useless, or even harmful features for specific tasks. Unnecessarily high complexities render deep nets impractical for many real-world applications, especially those without powerful GPU support. In this paper, we attempt to derive task-dependent compact models from a deep discriminant analysis perspective. We propose an iterative and proactive approach for classification tasks which alternates between (1) a pushing step, with an objective to simultaneously maximize class separation, penalize co-variances, and push deep discriminants into alignment with a compact set of neurons, and (2) a pruning step, which discards less useful or even interfering neurons. Deconvolution is adopted to reverse 'unimportant' filters' effects and recover useful contributing sources. A simple network growing strategy based on the basic Inception module is proposed for challenging tasks requiring larger capacity than what the base net can offer. Experiments on the MNIST, CIFAR10, and ImageNet datasets demonstrate our approach's efficacy. On ImageNet, by pushing and pruning our grown Inception-88 model, we achieve more accurate models than Inception nets generated during growing, residual nets, and popular compact nets at similar sizes. We also show that our grown Inception nets (without hard-coded dimension alignment) clearly outperform residual nets of similar complexities.
• Abstract（参考訳）: 今日の一般的なディープアーキテクチャのほとんどは、ジェネラリストになるように手作業で設計されている。 しかし、この設計手順は、通常、非常に冗長で、役に立たない、あるいは特定のタスクに有害な機能をもたらす。 必然的に高い複雑さは、多くの現実世界アプリケーション、特に強力なGPUをサポートしていないアプリケーションにディープネットを非現実的にレンダリングする。 本稿では,タスク依存型コンパクトモデルの深層判別分析の観点から導出を試みる。 本研究は,(1)プッシュステップ,(2)クラス分離の最大化,共分散のペナライズ,および深部識別物質をコンパクトなニューロン群と整合させること,(2)ニューロンの役に立たないまたは干渉しないプルーニングステップとを交互に行う,分類課題の反復的かつ積極的なアプローチを提案する。 デコンボリューションは「重要でない」フィルタの効果を逆転させ、有用なコントリビューションソースを復元するために用いられる。 基本的なインセプションモジュールに基づく単純なネットワーク成長戦略が提案され、ベースネットが提供するものよりも大きな容量を必要とするタスクに挑戦する。 MNIST、CIFAR10、ImageNetデータセットの実験は、我々のアプローチの有効性を実証している。 ImageNetでは、成長したInception-88モデルをプッシュ&プルーニングすることで、成長、残留ネット、および人気コンパクトネットで同じ大きさで生成されたInception netよりも正確なモデルを実現する。 また, 増大したインセプションネット(ハードコード次元アライメントを伴わない)は, 類似する複雑度の残差ネットよりも明らかに優れていることを示した。

関連論文リスト

• The Simpler The Better: An Entropy-Based Importance Metric To Reduce Neural Networks' Depth [5.869633234882029]
  本稿では,大規模モデルによって伝達される事前知識を活用する効率戦略を提案する。 本稿では,過度にパラメータ化された深層ニューラルネットワークの深さを低減するために,エントロピー・バサード・インシデンス・mEtRic (EASIER) を利用する手法を提案する。
  論文  参考訳（メタデータ） (2024-04-27T08:28:25Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• RDRN: Recursively Defined Residual Network for Image Super-Resolution [58.64907136562178]
  深部畳み込みニューラルネットワーク(CNN)は、単一画像超解像において顕著な性能を得た。 本稿では,注目ブロックを効率的に活用する新しいネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-11-17T11:06:29Z)
• Neural Network Compression by Joint Sparsity Promotion and Redundancy Reduction [4.9613162734482215]
  本稿では,冗長なフィルタを創出し,空間性向上によるネットワーク学習に対する効果を最小化する,複合制約に基づく新しい学習手法を提案する。 いくつかのピクセルワイドセグメンテーションベンチマークによるテストでは、テストフェーズにおけるネットワークのニューロン数とメモリフットプリントが、性能に影響を与えずに大幅に減少することが示された。
  論文  参考訳（メタデータ） (2022-10-14T01:34:49Z)
• DDCNet: Deep Dilated Convolutional Neural Network for Dense Prediction [0.0]
  受容場(ERF)とネットワーク内の空間的特徴の高分解能は、高分解能密度推定を提供することに不可欠である。 空間的特徴の解像度を高く保ちながら、より大きな受容場を提供できるネットワークアーキテクチャを設計するための体系的なアプローチを提案する。
  論文  参考訳（メタデータ） (2021-07-09T23:15:34Z)
• Convolutional Neural Network Pruning with Structural Redundancy Reduction [11.381864384054824]
  構造的冗長性は重要でないフィルタを見つけるよりも重要な役割を担っていると我々は主張する。 本研究では,CNNの構造冗長性を同定し,選択層内のプルーンフィルタを最も冗長性の高いネットワークプルーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-04-08T00:16:24Z)
• Generic Perceptual Loss for Modeling Structured Output Dependencies [78.59700528239141]
  トレーニングされた重みではなく、ネットワーク構造が重要であることを示す。 我々は、出力の構造化依存関係をモデル化するためにランダムに重み付けされたディープcnnが使用できることを実証する。
  論文  参考訳（メタデータ） (2021-03-18T23:56:07Z)
• Mixed-Privacy Forgetting in Deep Networks [114.3840147070712]
  大規模画像分類タスクにおいてトレーニングされたネットワークの重みからトレーニングサンプルのサブセットの影響を除去できることを示す。 そこで本研究では,混合プライバシー設定における「忘れ」という新しい概念を導入する。 提案手法は,モデル精度のトレードオフを伴わずに忘れることができることを示す。
  論文  参考訳（メタデータ） (2020-12-24T19:34:56Z)
• Resolution Adaptive Networks for Efficient Inference [53.04907454606711]
  本稿では,低分解能表現が「容易」な入力を分類するのに十分である,という直感に触発された新しいレゾリューション適応ネットワーク(RANet)を提案する。 RANetでは、入力画像はまず、低解像度表現を効率的に抽出する軽量サブネットワークにルーティングされる。 ネットワーク内の高解像度パスは、"ハード"サンプルを認識する能力を維持している。
  論文  参考訳（メタデータ） (2020-03-16T16:54:36Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。