論文の概要: LEAN: graph-based pruning for convolutional neural networks by extracting longest chains

• arxiv url: http://arxiv.org/abs/2011.06923v3
• Date: Thu, 23 Jun 2022 09:15:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-25 23:19:35.426989
• Title: LEAN: graph-based pruning for convolutional neural networks by extracting longest chains
• Title（参考訳）: LEAN:長鎖抽出による畳み込みニューラルネットワークのためのグラフベースプルーニング
• Authors: Richard Schoonhoven, Allard A. Hendriksen, Dani\"el M. Pelt, K. Joost Batenburg
• Abstract要約: プルーニング技術は畳み込みニューラルネットワーク(CNN)の適用による計算コストを大幅に削減することができる 本稿では、グラフベースのアルゴリズムを用いてCNNをプルークするLongEst-chAiN(LEAN)法を提案する。 その結果、LEANプルーニングは1.7～12倍の畳み込みフィルタを用いることで、ネットワークの精度が良くなることが示された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural network pruning techniques can substantially reduce the computational cost of applying convolutional neural networks (CNNs). Common pruning methods determine which convolutional filters to remove by ranking the filters individually, i.e., without taking into account their interdependence. In this paper, we advocate the viewpoint that pruning should consider the interdependence between series of consecutive operators. We propose the LongEst-chAiN (LEAN) method that prunes CNNs by using graph-based algorithms to select relevant chains of convolutions. A CNN is interpreted as a graph, with the operator norm of each operator as distance metric for the edges. LEAN pruning iteratively extracts the highest value path from the graph to keep. In our experiments, we test LEAN pruning on several image-to-image tasks, including the well-known CamVid dataset, and a real-world X-ray CT dataset. Results indicate that LEAN pruning can result in networks with similar accuracy, while using 1.7-12x fewer convolutional filters than existing approaches.
• Abstract（参考訳）: ニューラルネットワークのプルーニング技術は、畳み込みニューラルネットワーク(cnns)を適用する計算コストを大幅に削減することができる。 一般的なプルーニング法は、フィルタを個別にランク付けすることで、どの畳み込みフィルタを除去すべきかを決定する。 本稿では,一連の連続演算子間の相互依存性をプルーニングが考慮すべきという視点を提唱する。 本稿では、グラフベースのアルゴリズムを用いてCNNをプルークするLongEst-chAiN(LEAN)法を提案する。 CNNはグラフとして解釈され、各演算子の演算ノルムをエッジの距離メートル法とする。 LEANプルーニングは、保持するグラフから最も高い値パスを反復的に抽出する。 実験では、よく知られたCamVidデータセットや実世界のX線CTデータセットなど、画像と画像のタスクでLEANプルーニングをテストする。 その結果、LEANプルーニングは1.7～12倍の畳み込みフィルタを用いることで、ネットワークの精度が良くなることが示された。

関連論文リスト

• Scalable Graph Compressed Convolutions [68.85227170390864]
  ユークリッド畳み込みのための入力グラフのキャリブレーションに置換を適用する微分可能手法を提案する。 グラフキャリブレーションに基づいて,階層型グラフ表現学習のための圧縮畳み込みネットワーク(CoCN)を提案する。
  論文  参考訳（メタデータ） (2024-07-26T03:14:13Z)
• PICNN: A Pathway towards Interpretable Convolutional Neural Networks [12.31424771480963]
  フィルタと画像のクラス間の絡み合いを軽減する新しい経路を導入する。 我々はBernoulliサンプリングを用いて、学習可能なフィルタクラス対応行列からフィルタクラスタ割り当て行列を生成する。 提案手法の有効性を,広く使用されている10のネットワークアーキテクチャ上で評価する。
  論文  参考訳（メタデータ） (2023-12-19T11:36:03Z)
• A Passive Similarity based CNN Filter Pruning for Efficient Acoustic Scene Classification [23.661189257759535]
  音響シーン分類(ASC)のための低複雑さ畳み込みニューラルネットワーク(CNN)の開発手法を提案する。 本稿では,CNNからの畳み込みフィルタを除去し,圧縮したCNNを生成するパッシブ・フィルタ・プルーニング・フレームワークを提案する。 提案手法は単純で,パラメータが25%少なく,精度が1%以下で,推論当たりの計算量を27%削減する。
  論文  参考訳（メタデータ） (2022-03-29T17:00:06Z)
• Interspace Pruning: Using Adaptive Filter Representations to Improve Training of Sparse CNNs [69.3939291118954]
  非構造プルーニングは畳み込みニューラルネットワーク(CNN)のメモリフットプリントを削減するのに適している 標準非構造化プルーニング(SP)はフィルタ要素をゼロにすることでCNNのメモリフットプリントを削減する。 既存のプルーニング法を改善する汎用ツールであるインタースペースプルーニング(IP)を導入する。
  論文  参考訳（メタデータ） (2022-03-15T11:50:45Z)
• Batch Normalization Tells You Which Filter is Important [49.903610684578716]
  我々は,事前学習したCNNのBNパラメータに基づいて,各フィルタの重要性を評価することによって,簡易かつ効果的なフィルタ刈取法を提案する。 CIFAR-10とImageNetの実験結果から,提案手法が優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2021-12-02T12:04:59Z)
• Scalable Graph Neural Networks for Heterogeneous Graphs [12.44278942365518]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データを学習するためのパラメトリックモデルの一般的なクラスである。 最近の研究は、GNNが主に機能をスムースにするためにグラフを使用しており、ベンチマークタスクで競合する結果を示していると主張している。 本研究では、これらの結果が異種グラフに拡張可能かどうかを問うとともに、異なるエンティティ間の複数のタイプの関係を符号化する。
  論文  参考訳（メタデータ） (2020-11-19T06:03:35Z)
• Unrolling of Deep Graph Total Variation for Image Denoising [106.93258903150702]
  本稿では,従来のグラフ信号フィルタリングと深い特徴学習を併用して,競合するハイブリッド設計を提案する。 解釈可能な低パスグラフフィルタを用い、最先端のDL復調方式DnCNNよりも80%少ないネットワークパラメータを用いる。
  論文  参考訳（メタデータ） (2020-10-21T20:04:22Z)
• OrthoReg: Robust Network Pruning Using Orthonormality Regularization [7.754712828900727]
  本稿では,ネットワークフィルタの正則性を強制し,フィルタ間の相関を小さくする原理的正規化戦略を提案する。 VGG-13、MobileNet-V1、ResNet-34の反復的なプルーニングに使用する場合、OrthoRegは5つのベースライン技術より一貫して優れている。
  論文  参考訳（メタデータ） (2020-09-10T17:21:21Z)
• Dependency Aware Filter Pruning [74.69495455411987]
  重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。 以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。 所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
  論文  参考訳（メタデータ） (2020-05-06T07:41:22Z)
• Analyzing Neural Networks Based on Random Graphs [77.34726150561087]
  様々なタイプのランダムグラフに対応するアーキテクチャを用いて,ニューラルネットワークの大規模評価を行う。 古典的な数値グラフ不変量は、それ自体が最良のネットワークを選び出すことができない。 また、主に短距離接続を持つネットワークは、多くの長距離接続が可能なネットワークよりも性能が良いことも見出した。
  論文  参考訳（メタデータ） (2020-02-19T11:04:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。