論文の概要: Joint Multi-Dimension Pruning via Numerical Gradient Update
- arxiv url: http://arxiv.org/abs/2005.08931v2
- Date: Sat, 25 Sep 2021 16:03:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-01 23:32:46.371831
- Title: Joint Multi-Dimension Pruning via Numerical Gradient Update
- Title（参考訳）: 数値勾配更新によるマルチディメンションプルーニング
- Authors: Zechun Liu and Xiangyu Zhang and Zhiqiang Shen and Zhe Li and Yichen
Wei and Kwang-Ting Cheng and Jian Sun
- Abstract要約: 本稿では,空間,深さ,チャネルの3つの重要な側面において,ネットワークを同時に切断する方法であるジョイント・マルチディメンジョン・プルーニング(ジョイント・プルーニング)を提案する。
本手法は,1つのエンドツーエンドトレーニングにおいて3次元にわたって協調的に最適化され,従来よりも効率がよいことを示す。
- 参考スコア（独自算出の注目度）: 120.59697866489668
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present joint multi-dimension pruning (abbreviated as JointPruning), an
effective method of pruning a network on three crucial aspects: spatial, depth
and channel simultaneously. To tackle these three naturally different
dimensions, we proposed a general framework by defining pruning as seeking the
best pruning vector (i.e., the numerical value of layer-wise channel number,
spacial size, depth) and construct a unique mapping from the pruning vector to
the pruned network structures. Then we optimize the pruning vector with
gradient update and model joint pruning as a numerical gradient optimization
process. To overcome the challenge that there is no explicit function between
the loss and the pruning vectors, we proposed self-adapted stochastic gradient
estimation to construct a gradient path through network loss to pruning vectors
and enable efficient gradient update. We show that the joint strategy discovers
a better status than previous studies that focused on individual dimensions
solely, as our method is optimized collaboratively across the three dimensions
in a single end-to-end training and it is more efficient than the previous
exhaustive methods. Extensive experiments on large-scale ImageNet dataset
across a variety of network architectures MobileNet V1&V2&V3 and ResNet
demonstrate the effectiveness of our proposed method. For instance, we achieve
significant margins of 2.5% and 2.6% improvement over the state-of-the-art
approach on the already compact MobileNet V1&V2 under an extremely large
compression ratio.
- Abstract（参考訳）: 本稿では,空間,深さ,チャネルの3つの重要な側面において,ネットワークをpruningする効果的な手法であるjoint multi-dimension pruning(jointpruning)を提案する。
これら3次元を自然に異なる次元で扱うため,我々はプルーニングを最良なプルーニングベクトル(すなわち,層状チャネル数,空間サイズ,深さの数値)を求めるものとして定義し,プルーニングベクトルからプルーニングされたネットワーク構造への一意なマッピングを構築する一般的な枠組みを提案した。
次に,グラデーション更新とモデルジョイントプルーニングによるプルーニングベクトルを数値勾配最適化プロセスとして最適化する。
損失とプルーニングベクトルの間には明示的な関数が存在しないという課題を克服するために,ネットワーク損失をプルーニングベクトルに通した勾配経路を構築し,効率的な勾配更新を可能にするために,自己適応型確率勾配推定を提案した。
本手法は,1つのエンドツーエンドトレーニングにおいて3次元にわたって協調的に最適化され,従来の徹底的な手法よりも効率的である。
mobilenet v1&v2&v3とresnetは、様々なネットワークアーキテクチャをまたいで大規模イメージネットデータセットに関する広範囲な実験を行い、提案手法の有効性を実証した。
例えば、すでにコンパクトなMobileNet V1&V2に対する最先端のアプローチに対して、非常に大きな圧縮比で2.5%と2.6%の大きなマージンを達成する。
関連論文リスト
- 360 Layout Estimation via Orthogonal Planes Disentanglement and Multi-view Geometric Consistency Perception [56.84921040837699]
既存のパノラマ配置推定ソリューションは、垂直圧縮されたシーケンスから部屋の境界を復元し、不正確な結果をもたらす傾向にある。
そこで本稿では,直交平面不整合ネットワーク(DOPNet)を提案し,あいまいな意味論を識別する。
また,水平深度と比表現に適した教師なし適応手法を提案する。
本手法は,単分子配置推定と多視点レイアウト推定の両タスクにおいて,他のSoTAモデルよりも優れる。
論文 参考訳（メタデータ） (2023-12-26T12:16:03Z) - Differentiable Transportation Pruning [23.766356215156488]
プルーニングメソッドは、ストレージ、計算、メモリ帯域幅、エネルギー使用量を改善するため、エッジデプロイメントのキーとなるツールである。
本稿では,出力ネットワークサイズを正確に制御できる新しいプルーニング手法を提案する。
提案手法は,従来の3つの異なるデータセットにおけるプルーニング手法と比較して,最先端の性能を実現する。
論文 参考訳（メタデータ） (2023-07-17T13:44:11Z) - GraphCSPN: Geometry-Aware Depth Completion via Dynamic GCNs [49.55919802779889]
本稿では,グラフ畳み込みに基づく空間伝搬ネットワーク(GraphCSPN)を提案する。
本研究では、幾何学的表現学習において、畳み込みニューラルネットワークとグラフニューラルネットワークを相補的に活用する。
提案手法は,数段の伝搬ステップのみを使用する場合と比較して,最先端の性能を実現する。
論文 参考訳（メタデータ） (2022-10-19T17:56:03Z) - Manifold Regularized Dynamic Network Pruning [102.24146031250034]
本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。
提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
論文 参考訳（メタデータ） (2021-03-10T03:59:03Z) - Deep-3DAligner: Unsupervised 3D Point Set Registration Network With
Optimizable Latent Vector [15.900382629390297]
本稿では,3次元登録における技術的課題に対処するために,学習に最適化を統合する新しいモデルを提案する。
ディープトランスフォーメーションデコーディングネットワークに加えて、我々のフレームワークは最適化可能なディープアンダーラインSpatial UnderlineCorrelation UnderlineRepresentationを導入している。
論文 参考訳（メタデータ） (2020-09-29T22:44:38Z) - Adaptive Context-Aware Multi-Modal Network for Depth Completion [107.15344488719322]
我々は,観測された空間コンテキストを捉えるために,グラフ伝搬を採用することを提案する。
次に、注意機構を伝搬に適用し、ネットワークが文脈情報を適応的にモデル化することを奨励する。
最後に、抽出したマルチモーダル特徴を効果的に活用するための対称ゲート融合戦略を導入する。
本稿では,Adaptive Context-Aware Multi-Modal Network (ACMNet) を2つのベンチマークで評価した。
論文 参考訳（メタデータ） (2020-08-25T06:00:06Z) - Lookahead: A Far-Sighted Alternative of Magnitude-based Pruning [83.99191569112682]
マグニチュードベースのプルーニングは、ニューラルネットワークをプルーニングする最も単純な方法の1つである。
我々は,単一層最適化を多層最適化に拡張することにより,単純なプルーニング法であるルックアヘッドプルーニングを開発した。
実験の結果,提案手法は様々なネットワーク上での大規模プルーニングよりも一貫して優れていた。
論文 参考訳（メタデータ） (2020-02-12T05:38:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。