論文の概要: Deep Neural Networks pruning via the Structured Perspective Regularization

• arxiv url: http://arxiv.org/abs/2206.14056v1
• Date: Tue, 28 Jun 2022 14:58:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-29 13:02:12.736442
• Title: Deep Neural Networks pruning via the Structured Perspective Regularization
• Title（参考訳）: 構造的パースペクティブ規則化によるディープニューラルネットワークのプルーニング
• Authors: Matteo Cacciola, Antonio Frangioni, Xinlin Li and Andrea Lodi
• Abstract要約: 機械学習では、ニューラルネットワーク(ANN)は非常に強力なツールであり、多くのアプリケーションで広く使われている。 ANN(リンク、ノード、チャネル、ldots)のすべての要素と対応する重みが削除される。 問題の性質は本質的に(プルーンの要素とそうでない要素)であるので,オペレーショナルリサーチツールに基づく新たなプルーニング手法を提案する。
• 参考スコア（独自算出の注目度）: 5.061851539114448
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In Machine Learning, Artificial Neural Networks (ANNs) are a very powerful tool, broadly used in many applications. Often, the selected (deep) architectures include many layers, and therefore a large amount of parameters, which makes training, storage and inference expensive. This motivated a stream of research about compressing the original networks into smaller ones without excessively sacrificing performances. Among the many proposed compression approaches, one of the most popular is \emph{pruning}, whereby entire elements of the ANN (links, nodes, channels, \ldots) and the corresponding weights are deleted. Since the nature of the problem is inherently combinatorial (what elements to prune and what not), we propose a new pruning method based on Operational Research tools. We start from a natural Mixed-Integer-Programming model for the problem, and we use the Perspective Reformulation technique to strengthen its continuous relaxation. Projecting away the indicator variables from this reformulation yields a new regularization term, which we call the Structured Perspective Regularization, that leads to structured pruning of the initial architecture. We test our method on some ResNet architectures applied to CIFAR-10, CIFAR-100 and ImageNet datasets, obtaining competitive performances w.r.t.~the state of the art for structured pruning.
• Abstract（参考訳）: 機械学習では、ニューラルネットワーク(ANN)は非常に強力なツールであり、多くのアプリケーションで広く使われている。 多くの場合、選択された(深い)アーキテクチャには多数のレイヤが含まれているため、大量のパラメータがあり、トレーニングやストレージ、推論が高価になる。 これにより、パフォーマンスを過大に犠牲にすることなく、元のネットワークを小さなネットワークに圧縮する研究が流れた。 提案された多くの圧縮手法のうち、最も一般的なのは \emph{pruning} であり、ANN の要素(リンク、ノード、チャネル、および \ldots)と対応する重み付けが削除される。 問題の本質は本質的に組み合わせであり(pruneの要素とそうでない要素)、オペレーショナル・リサーチ・ツールに基づいた新しい刈り取り手法を提案する。 我々は,問題に対する自然な混合整数型プログラミングモデルから始まり,その連続緩和を強化するために視点再構成手法を用いる。 この改定から指標変数を投影すると、構造的パースペクティブ正規化と呼ばれる新しい正規化項が得られ、初期アーキテクチャの構造的プルーニングにつながります。 我々は, CIFAR-10, CIFAR-100, ImageNetデータセットに適用したResNetアーキテクチャを用いて, 構造化プルーニング技術の現状と競合する性能を求める。

関連論文リスト

• Structurally Prune Anything: Any Architecture, Any Framework, Any Time [84.6210631783801]
  ニューラルネットワークのための汎用的な構造化プルーニングフレームワークであるStructurely Prune Anything (SPA)を紹介した。 SPAは、トレーニング前、微調整後のトレーニング後、または微調整なしでのトレーニング後、いつでもプランニングをサポートする。 大規模な実験では、SPAは様々なアーキテクチャで最先端のプルーニング性能と競合することを示した。
  論文  参考訳（メタデータ） (2024-03-03T13:49:49Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Structured Pruning for Deep Convolutional Neural Networks: A survey [2.811264250666485]
  これにより、ストレージと計算コストを効果的に削減するため、ニューラルネットワークのプルーニングが関心を集めている。 本稿では, 深部CNNの構造化プルーニングに向けた最近の進展を概観する。 本稿では,フィルタランキング手法,正規化手法,動的実行,ニューラルネットワーク探索,抽選チケット仮説,プルーニングの応用について,最先端の構造化プルーニング手法を要約して比較する。
  論文  参考訳（メタデータ） (2023-03-01T15:12:55Z)
• DepGraph: Towards Any Structural Pruning [68.40343338847664]
  我々は、CNN、RNN、GNN、Transformersのような任意のアーキテクチャの一般的な構造解析について研究する。 本稿では,階層間の依存関係を明示的にモデル化し,包括的にグループ化してプルーニングを行う汎用かつ完全自動な手法であるemphDependency Graph(DepGraph)を提案する。 本研究では,画像用ResNe(X)t,DenseNet,MobileNet,Vision Transformer,グラフ用GAT,3Dポイントクラウド用DGCNN,言語用LSTMなど,さまざまなアーキテクチャやタスクに関する手法を広範囲に評価し,言語用LSTMと並行して示す。
  論文  参考訳（メタデータ） (2023-01-30T14:02:33Z)
• Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
  本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。 我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。 SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-10-23T18:37:22Z)
• Pruning-as-Search: Efficient Neural Architecture Search via Channel Pruning and Structural Reparameterization [50.50023451369742]
  プルーニング・アズ・サーチ(Pruning-as-Search、PaS)は、必要なサブネットワークを自動的に効率的に検索するエンドツーエンドのプルーニング手法である。 提案したアーキテクチャは,ImageNet-1000分類タスクにおいて,1.0%$ Top-1精度で先行技術より優れていた。
  論文  参考訳（メタデータ） (2022-06-02T17:58:54Z)
• Structured Convolutions for Efficient Neural Network Design [65.36569572213027]
  畳み込みニューラルネットワーク構築ブロックのテクスト単純構造における冗長性を利用してモデル効率に取り組む。 この分解が2Dカーネルや3Dカーネルだけでなく、完全に接続されたレイヤにも適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-08-06T04:38:38Z)
• A Framework for Neural Network Pruning Using Gibbs Distributions [34.0576955010317]
  Gibbs pruningは、ニューラルネットワークのプルーニングメソッドを表現および設計するための新しいフレームワークである。 学習したウェイトとプルーニングマスクが互いに順応するように、同時にネットワークを訓練し訓練することができる。 我々は、CIFAR-10データセットでResNet-56を刈り取るための、最先端の新たな結果を得る。
  論文  参考訳（メタデータ） (2020-06-08T23:04:53Z)
• Knapsack Pruning with Inner Distillation [11.04321604965426]
  そこで本研究では,プルーンドネットワークの最終精度を最適化する新しいプルーニング手法を提案する。 ネットワークの高レベル構造を維持しながら、ネットワークチャネルを熟考する。 提案手法は,ResNetバックボーンを用いたImageNet,CIFAR-10,CIFAR-100における最先端のプルーニング結果をもたらす。
  論文  参考訳（メタデータ） (2020-02-19T16:04:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。