論文の概要: Compressing Neural Networks: Towards Determining the Optimal Layer-wise Decomposition

• arxiv url: http://arxiv.org/abs/2107.11442v1
• Date: Fri, 23 Jul 2021 20:01:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-28 13:12:38.019694
• Title: Compressing Neural Networks: Towards Determining the Optimal Layer-wise Decomposition
• Title（参考訳）: ニューラルネットワークの圧縮:最適層分解の決定に向けて
• Authors: Lucas Liebenwein, Alaa Maalouf, Oren Gal, Dan Feldman, Daniela Rus
• Abstract要約: 本稿では,ディープニューラルネットワークのための新しいグローバル圧縮フレームワークを提案する。 各層を自動的に解析し、最適な層間圧縮比を特定する。 我々の結果は、現代のニューラルネットワークのグローバルなパフォーマンス-サイズトレードオフに関する将来の研究のための新たな道を開く。
• 参考スコア（独自算出の注目度）: 62.41259783906452
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a novel global compression framework for deep neural networks that automatically analyzes each layer to identify the optimal per-layer compression ratio, while simultaneously achieving the desired overall compression. Our algorithm hinges on the idea of compressing each convolutional (or fully-connected) layer by slicing its channels into multiple groups and decomposing each group via low-rank decomposition. At the core of our algorithm is the derivation of layer-wise error bounds from the Eckart Young Mirsky theorem. We then leverage these bounds to frame the compression problem as an optimization problem where we wish to minimize the maximum compression error across layers and propose an efficient algorithm towards a solution. Our experiments indicate that our method outperforms existing low-rank compression approaches across a wide range of networks and data sets. We believe that our results open up new avenues for future research into the global performance-size trade-offs of modern neural networks. Our code is available at https://github.com/lucaslie/torchprune.
• Abstract（参考訳）: 本稿では,各層を自動的に解析して最適な層間圧縮比を同定し,同時に所望の全体圧縮を実現するディープニューラルネットワークのための新しいグローバル圧縮フレームワークを提案する。 提案手法は,各畳み込み層(あるいは完全連結層)を複数のグループにスライスし,低ランク分解により各グループを分解する手法に依拠する。 アルゴリズムの核心は、エッカート・ヤング・ミルスキーの定理による層分解誤差境界の導出である。 次に、これらの境界を利用して圧縮問題を最適化問題とし、層間の最大圧縮誤差を最小限に抑え、解に対する効率的なアルゴリズムを提案する。 実験の結果,提案手法は,既存の低ランク圧縮手法を,幅広いネットワークやデータセットで採用している。 我々は,現代のニューラルネットワークのグローバルなパフォーマンス-サイズトレードオフに関する今後の研究の新たな道を開くと信じている。 私たちのコードはhttps://github.com/lucaslie/torchpruneで利用可能です。

関連論文リスト

• LayerMerge: Neural Network Depth Compression through Layer Pruning and Merging [20.774060844559838]
  既存の深度圧縮法では、冗長な非線形活性化関数を除去し、連続する畳み込み層を単一の層にマージする。 これらの手法は、マージされたレイヤのカーネルサイズが大きくなるという重大な欠点に悩まされる。 畳み込み層とアクティベーション関数を併用することにより,この問題に対処できることを示す。 本稿では,どのアクティベーション層と畳み込み層を除去するかを選択するディープ圧縮手法であるLayerMergeを提案する。
  論文  参考訳（メタデータ） (2024-06-18T17:55:15Z)
• Network Pruning via Feature Shift Minimization [8.593369249204132]
  本稿では,CNNモデルを圧縮するための新しい特徴シフト最小化(FSM)手法を提案する。 提案手法は,様々なベンチマークネットワークやデータセット上での最先端性能を,広範な実験により検証する。
  論文  参考訳（メタデータ） (2022-07-06T12:50:26Z)
• A Theoretical Understanding of Neural Network Compression from Sparse Linear Approximation [37.525277809849776]
  モデル圧縮の目標は、同等のパフォーマンスを維持しながら、大きなニューラルネットワークのサイズを減らすことだ。 圧縮性を特徴付けるためにスペーサ感度$ell_q$-normを使用し、ネットワーク内の重みの柔らかいスペーサと圧縮度の関係を提供する。 また,ネットワーク上で各ニューロンを切断する適応アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-06-11T20:10:35Z)
• Low-rank Tensor Decomposition for Compression of Convolutional Neural Networks Using Funnel Regularization [1.8579693774597708]
  低ランクテンソル分解を用いた事前学習ネットワークを圧縮するモデル削減手法を提案する。 圧縮中の重要でない要因を抑えるために, ファンネル関数と呼ばれる新しい正規化法を提案する。 ImageNet2012のResNet18では、GMACの精度は0.7%に過ぎず、Top-1の精度はわずかに低下する。
  論文  参考訳（メタデータ） (2021-12-07T13:41:51Z)
• Towards Compact CNNs via Collaborative Compression [166.86915086497433]
  チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。 52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
  論文  参考訳（メタデータ） (2021-05-24T12:07:38Z)
• Permute, Quantize, and Fine-tune: Efficient Compression of Neural Networks [70.0243910593064]
  ベクトル量子化の成功の鍵は、どのパラメータ群を一緒に圧縮するかを決定することである。 本稿では,隣り合う2つの層の重みを同じ関数を表現しながら不変にすることができることを観察する。 次に、レート歪み理論への接続を確立し、圧縮し易いネットワークとなる置換を探索する。
  論文  参考訳（メタデータ） (2020-10-29T15:47:26Z)
• Unfolding Neural Networks for Compressive Multichannel Blind Deconvolution [71.29848468762789]
  圧縮性多チャネルブラインドデコンボリューション問題に対する学習構造付き展開型ニューラルネットワークを提案する。 この問題では、各チャネルの測定は共通のソース信号とスパースフィルタの畳み込みとして与えられる。 提案手法は,従来の圧縮型マルチチャネルブラインドデコンボリューション法よりも,スパースフィルタの精度と高速化の点で優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-22T02:34:33Z)
• PowerGossip: Practical Low-Rank Communication Compression in Decentralized Deep Learning [62.440827696638664]
  本稿では,近隣労働者間のモデル差を直接圧縮する簡単なアルゴリズムを提案する。 中央集権的なディープラーニングのためにPowerSGDにインスパイアされたこのアルゴリズムは、パワーステップを使用して、1ビットあたりの転送情報を最大化する。
  論文  参考訳（メタデータ） (2020-08-04T09:14:52Z)
• Structured Sparsification with Joint Optimization of Group Convolution and Channel Shuffle [117.95823660228537]
  本稿では,効率的なネットワーク圧縮のための新しい構造空間分割法を提案する。 提案手法は, 畳み込み重みに対する構造的疎度を自動的に誘導する。 また,学習可能なチャネルシャッフル機構によるグループ間通信の問題にも対処する。
  論文  参考訳（メタデータ） (2020-02-19T12:03:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。