論文の概要: SOSP: Efficiently Capturing Global Correlations by Second-Order Structured Pruning

• arxiv url: http://arxiv.org/abs/2110.11395v1
• Date: Tue, 19 Oct 2021 13:53:28 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-31 08:51:44.558422
• Title: SOSP: Efficiently Capturing Global Correlations by Second-Order Structured Pruning
• Title（参考訳）: SOSP:2次構造解析によるグローバル相関の効率的な捕捉
• Authors: Manuel Nonnenmacher, Thomas Pfeil, Ingo Steinwart, David Reeb
• Abstract要約: 我々は2次構造化プルーニング(SOSP)のための2つの新しいサリエンシに基づく手法を考案した。 SOSP-Hは、高速なヘッセンベクトル生成物による塩分濃度評価を可能にする、革新的な二階近似を採用している。 我々のアルゴリズムは、アーキテクチャ上のボトルネックを体系的に明らかにし、ネットワークの精度をさらに高めるために取り除くことができることを示す。
• 参考スコア（独自算出の注目度）: 8.344476599818828
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pruning neural networks reduces inference time and memory costs. On standard hardware, these benefits will be especially prominent if coarse-grained structures, like feature maps, are pruned. We devise two novel saliency-based methods for second-order structured pruning (SOSP) which include correlations among all structures and layers. Our main method SOSP-H employs an innovative second-order approximation, which enables saliency evaluations by fast Hessian-vector products. SOSP-H thereby scales like a first-order method despite taking into account the full Hessian. We validate SOSP-H by comparing it to our second method SOSP-I that uses a well-established Hessian approximation, and to numerous state-of-the-art methods. While SOSP-H performs on par or better in terms of accuracy, it has clear advantages in terms of scalability and efficiency. This allowed us to scale SOSP-H to large-scale vision tasks, even though it captures correlations across all layers of the network. To underscore the global nature of our pruning methods, we evaluate their performance not only by removing structures from a pretrained network, but also by detecting architectural bottlenecks. We show that our algorithms allow to systematically reveal architectural bottlenecks, which we then remove to further increase the accuracy of the networks.
• Abstract（参考訳）: プルーニングニューラルネットワークは、推論時間とメモリコストを削減する。 標準ハードウェアでは、機能マップのような粗い粒度構造が刈り取られれば、これらの利点は特に顕著になる。 我々は,すべての構造と層間の相関を含む2次構造解析法(SOSP)を考案した。 提案手法は,高速なヘッセンベクター製品によるサリエンシ評価を実現するために,革新的な2次近似を用いている。 したがって、ssp-h は全ヘッシアンを考慮しつつも一階法のようにスケールする。 sosp-h を、確立されたヘッセン近似を用いた2番目の sosp-i 法と、多くの最先端法と比較して検証する。 SOSP-Hは精度で同等かそれ以上の性能を発揮するが、スケーラビリティと効率の点で明らかな利点がある。 これにより、ネットワークのすべての層にまたがる相関を捉えながら、SOSP-Hを大規模ビジョンタスクにスケールすることが可能になった。 本手法のグローバルな性質を明らかにするため,プレトレーニング済みネットワークから構造を取り除き,アーキテクチャ上のボトルネックを検出することにより,その性能を評価する。 我々のアルゴリズムは、アーキテクチャ上のボトルネックを体系的に明らかにし、ネットワークの精度をさらに高めるために取り除くことができることを示す。

関連論文リスト

• SGLP: A Similarity Guided Fast Layer Partition Pruning for Compressing Large Deep Models [19.479746878680707]
  レイヤプルーニングは、ネットワークサイズを削減し、計算効率を向上させるための強力なアプローチである。 大規模深層モデル圧縮のための類似性誘導高速層分割プルーニングを提案する。 本手法は精度と計算効率の両面で最先端の手法より優れている。
  論文  参考訳（メタデータ） (2024-10-14T04:01:08Z)
• Joint Learning for Scattered Point Cloud Understanding with Hierarchical Self-Distillation [37.42845400904313]
  そこで本研究では,部分点雲を高速に補正し,同定するエンド・ツー・エンドアーキテクチャを提案する。 階層型自己蒸留(HSD)は任意の階層ベースの点雲法に適用できる。
  論文  参考訳（メタデータ） (2023-12-28T08:51:04Z)
• Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
  本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。 我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。 SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-10-23T18:37:22Z)
• Shapley-NAS: Discovering Operation Contribution for Neural Architecture Search [96.20505710087392]
  ニューラルアーキテクチャ探索のための演算寄与度(Shapley-NAS)を評価するためのShapley値に基づく手法を提案する。 提案手法は,光探索コストに比例して最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-20T14:41:49Z)
• i-SpaSP: Structured Neural Pruning via Sparse Signal Recovery [11.119895959906085]
  ニューラルネットワークのための新しい構造化プルーニングアルゴリズム - i-SpaSPと呼ばれる反復型スパース構造化プルーニングを提案する。 i-SpaSPはネットワーク内の重要なパラメータ群を識別することで動作し、プルーニングされたネットワーク出力と高密度なネットワーク出力の残差に最も寄与する。 高い性能のサブネットワークを発見し, 証明可能なベースライン手法のプルーニング効率を, 数桁の精度で向上させることが示されている。
  論文  参考訳（メタデータ） (2021-12-07T05:26:45Z)
• Optimization-Based Separations for Neural Networks [57.875347246373956]
  本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。 これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
  論文  参考訳（メタデータ） (2021-12-04T18:07:47Z)
• Local Similarity Pattern and Cost Self-Reassembling for Deep Stereo Matching Networks [3.7384509727711923]
  LSP(Local similarity Pattern)という,深層ステレオマッチングネットワークのためのペア機能を導入する。 隣接する関係を明確に明らかにすることで、LSPはより識別的な特徴記述を支援するために活用できる豊富な構造情報を含んでいる。 第2に,動的自己組み換え改良戦略を設計し,コスト分布と分散マップにそれぞれ適用する。
  論文  参考訳（メタデータ） (2021-12-02T06:52:54Z)
• COPS: Controlled Pruning Before Training Starts [68.8204255655161]
  最先端のディープニューラルネットワーク(DNN)プルーニング技術は、トレーニング開始前にワンショットで適用され、プルーニングスコアと呼ばれる単一の基準の助けを借りてスパースアーキテクチャを評価する。 この作業では、単一プルーニング基準に集中するのではなく、任意のGASを組み合わせてより強力なプルーニング戦略を構築するためのフレームワークを提供します。
  論文  参考訳（メタデータ） (2021-07-27T08:48:01Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• Neural Pruning via Growing Regularization [82.9322109208353]
  プルーニングの2つの中心的な問題:プルーニングのスケジュールと重み付けの重要度だ。 具体的には, ペナルティ要因が増大するL2正規化変種を提案し, 精度が著しく向上することを示した。 提案アルゴリズムは,構造化プルーニングと非構造化プルーニングの両方において,大規模データセットとネットワークの実装が容易かつスケーラブルである。
  論文  参考訳（メタデータ） (2020-12-16T20:16:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。