論文の概要: Knapsack Pruning with Inner Distillation

• arxiv url: http://arxiv.org/abs/2002.08258v3
• Date: Wed, 3 Jun 2020 10:09:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-30 13:08:26.778971
• Title: Knapsack Pruning with Inner Distillation
• Title（参考訳）: 内部蒸留によるナップサック刈り込み
• Authors: Yonathan Aflalo and Asaf Noy and Ming Lin and Itamar Friedman and Lihi Zelnik
• Abstract要約: そこで本研究では,プルーンドネットワークの最終精度を最適化する新しいプルーニング手法を提案する。 ネットワークの高レベル構造を維持しながら、ネットワークチャネルを熟考する。 提案手法は,ResNetバックボーンを用いたImageNet,CIFAR-10,CIFAR-100における最先端のプルーニング結果をもたらす。
• 参考スコア（独自算出の注目度）: 11.04321604965426
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural network pruning reduces the computational cost of an over-parameterized network to improve its efficiency. Popular methods vary from $\ell_1$-norm sparsification to Neural Architecture Search (NAS). In this work, we propose a novel pruning method that optimizes the final accuracy of the pruned network and distills knowledge from the over-parameterized parent network's inner layers. To enable this approach, we formulate the network pruning as a Knapsack Problem which optimizes the trade-off between the importance of neurons and their associated computational cost. Then we prune the network channels while maintaining the high-level structure of the network. The pruned network is fine-tuned under the supervision of the parent network using its inner network knowledge, a technique we refer to as the Inner Knowledge Distillation. Our method leads to state-of-the-art pruning results on ImageNet, CIFAR-10 and CIFAR-100 using ResNet backbones. To prune complex network structures such as convolutions with skip-links and depth-wise convolutions, we propose a block grouping approach to cope with these structures. Through this we produce compact architectures with the same FLOPs as EfficientNet-B0 and MobileNetV3 but with higher accuracy, by $1\%$ and $0.3\%$ respectively on ImageNet, and faster runtime on GPU.
• Abstract（参考訳）: ニューラルネットワークのプルーニングは、オーバーパラメータネットワークの計算コストを削減し、効率を向上する。 一般的なメソッドは$\ell_1$-normスパシフィケーションからNeural Architecture Search (NAS)まで様々である。 本研究では,prunedネットワークの最終精度を最適化し,オーバーパラメータの親ネットワークの内部層から知識を抽出した新しいpruning手法を提案する。 このアプローチを実現するために,ニューロンの重要性とその計算コストのトレードオフを最適化するナップサック問題としてネットワークプルーニングを定式化する。 次に、ネットワークの高レベル構造を維持しながら、ネットワークチャネルをプルークする。 プルーンドネットワークは、内的ネットワーク知識を用いて親ネットワークの監督下で微調整され、内的知識蒸留と呼ばれる技術である。 提案手法は,ResNetバックボーンを用いたImageNet,CIFAR-10,CIFAR-100における最先端のプルーニング結果をもたらす。 スキップリンクによる畳み込みや深度ワイド畳み込みといった複雑なネットワーク構造を創出するために,これらの構造に対応するブロックグループ化手法を提案する。 これにより、EfficientNet-B0 と MobileNetV3 と同じ FLOP を持つが、ImageNet でそれぞれ $1\%$ と $0.3\%$ の精度で、GPU でより高速なランタイムを実現できる。

関連論文リスト

• A Generalization of Continuous Relaxation in Structured Pruning [0.3277163122167434]
  トレンドは、パラメータが増加するより深い、より大きなニューラルネットワークが、より小さなニューラルネットワークよりも高い精度を達成することを示している。 ネットワーク拡張, プルーニング, サブネットワーク崩壊, 削除のためのアルゴリズムを用いて, 構造化プルーニングを一般化する。 結果のCNNは計算コストのかかるスパース行列演算を使わずにGPUハードウェア上で効率的に実行される。
  論文  参考訳（メタデータ） (2023-08-28T14:19:13Z)
• Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
  本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。 我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。 SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-10-23T18:37:22Z)
• BCNet: Searching for Network Width with Bilaterally Coupled Network [56.14248440683152]
  この問題に対処するため、BCNet(Bilaterally Coupled Network)と呼ばれる新しいスーパーネットを導入する。 BCNetでは、各チャネルは高度に訓練され、同じ量のネットワーク幅を担っているため、ネットワーク幅をより正確に評価することができる。 提案手法は,他のベースライン手法と比較して,最先端あるいは競合的な性能を実現する。
  論文  参考訳（メタデータ） (2021-05-21T18:54:03Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• Channel Planting for Deep Neural Networks using Knowledge Distillation [3.0165431987188245]
  我々は,植林と呼ばれる深層ニューラルネットワークのための新しいインクリメンタルトレーニングアルゴリズムを提案する。 本システムでは,ネットワーク性能向上のためのパラメータの少ない最適ネットワークアーキテクチャを探索できる。 CIFAR-10/100 や STL-10 などの異なるデータセットに対する提案手法の有効性を評価する。
  論文  参考訳（メタデータ） (2020-11-04T16:29:59Z)
• Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
  動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。 ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
  論文  参考訳（メタデータ） (2020-10-02T16:50:26Z)
• Structured Convolutions for Efficient Neural Network Design [65.36569572213027]
  畳み込みニューラルネットワーク構築ブロックのテクスト単純構造における冗長性を利用してモデル効率に取り組む。 この分解が2Dカーネルや3Dカーネルだけでなく、完全に接続されたレイヤにも適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-08-06T04:38:38Z)
• Growing Efficient Deep Networks by Structured Continuous Sparsification [34.7523496790944]
  私たちは、トレーニングの過程でディープネットワークアーキテクチャを成長させるアプローチを開発します。 我々の手法は、小さくてシンプルなシードアーキテクチャから始まり、動的に成長し、層とフィルタの両方を熟成することができる。 ImageNetのベースラインであるResNet-50と比較すると、推論FLOPは49.7%、トレーニングFLOPは47.4%である。
  論文  参考訳（メタデータ） (2020-07-30T10:03:47Z)
• Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
  本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。 標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2020-04-06T15:51:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。