論文の概要: Modeling of Pruning Techniques for Deep Neural Networks Simplification

• arxiv url: http://arxiv.org/abs/2001.04062v1
• Date: Mon, 13 Jan 2020 04:51:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-11 23:16:06.670120
• Title: Modeling of Pruning Techniques for Deep Neural Networks Simplification
• Title（参考訳）: 深部ニューラルネットワークの簡易化のためのプルーニング手法のモデル化
• Authors: Morteza Mousa Pasandi, Mohsen Hajabdollahi, Nader Karimi, Shadrokh Samavi
• Abstract要約: 畳み込みニューラルネットワーク(CNN)は、計算複雑性やパラメータの数など、さまざまな問題に悩まされている。 近年,CNNにおける操作数やモデルサイズの削減にプルーニング技術が用いられている。 様々なテクニックやトリックがプルーニングメソッドを伴い、すべてのプルーニングメソッドをモデル化する統一的なフレームワークは存在しない。
• 参考スコア（独自算出の注目度）: 8.75217589103206
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Convolutional Neural Networks (CNNs) suffer from different issues, such as computational complexity and the number of parameters. In recent years pruning techniques are employed to reduce the number of operations and model size in CNNs. Different pruning methods are proposed, which are based on pruning the connections, channels, and filters. Various techniques and tricks accompany pruning methods, and there is not a unifying framework to model all the pruning methods. In this paper pruning methods are investigated, and a general model which is contained the majority of pruning techniques is proposed. The advantages and disadvantages of the pruning methods can be identified, and all of them can be summarized under this model. The final goal of this model is to provide a general approach for all of the pruning methods with different structures and applications.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は、計算複雑性やパラメータの数など、さまざまな問題に悩まされている。 近年,CNNにおける操作数やモデルサイズの削減にプルーニング技術が用いられている。 接続、チャネル、フィルタのプルーニングに基づいて異なるプルーニング方法が提案されている。 様々なテクニックやトリックがプルーニングメソッドを伴い、すべてのプルーニングメソッドをモデル化する統一的なフレームワークは存在しない。 本稿では, 刈り取り法について検討し, 刈り取り技術の大部分を含む一般モデルを提案する。 刈り取り方法の利点と欠点を識別でき、これらすべてをこのモデルで要約することができる。 このモデルの最終的な目標は、異なる構造とアプリケーションを持つ全てのプラニングメソッドに対する一般的なアプローチを提供することである。

関連論文リスト

• Structurally Prune Anything: Any Architecture, Any Framework, Any Time [84.6210631783801]
  ニューラルネットワークのための汎用的な構造化プルーニングフレームワークであるStructurely Prune Anything (SPA)を紹介した。 SPAは、トレーニング前、微調整後のトレーニング後、または微調整なしでのトレーニング後、いつでもプランニングをサポートする。 大規模な実験では、SPAは様々なアーキテクチャで最先端のプルーニング性能と競合することを示した。
  論文  参考訳（メタデータ） (2024-03-03T13:49:49Z)
• DepGraph: Towards Any Structural Pruning [68.40343338847664]
  我々は、CNN、RNN、GNN、Transformersのような任意のアーキテクチャの一般的な構造解析について研究する。 本稿では,階層間の依存関係を明示的にモデル化し,包括的にグループ化してプルーニングを行う汎用かつ完全自動な手法であるemphDependency Graph(DepGraph)を提案する。 本研究では,画像用ResNe(X)t,DenseNet,MobileNet,Vision Transformer,グラフ用GAT,3Dポイントクラウド用DGCNN,言語用LSTMなど,さまざまなアーキテクチャやタスクに関する手法を広範囲に評価し,言語用LSTMと並行して示す。
  論文  参考訳（メタデータ） (2023-01-30T14:02:33Z)
• Interpretations Steered Network Pruning via Amortized Inferred Saliency Maps [85.49020931411825]
  限られたリソースを持つエッジデバイスにこれらのモデルをデプロイするには、畳み込みニューラルネットワーク(CNN)圧縮が不可欠である。 本稿では,新しい視点からチャネルプルーニング問題に対処するために,モデルの解釈を活用して,プルーニング過程を解析する手法を提案する。 本研究では,実時間スムーズなスムーズなスムーズなスムーズなマスク予測を行うセレクタモデルを導入することで,この問題に対処する。
  論文  参考訳（メタデータ） (2022-09-07T01:12:11Z)
• Deep Neural Networks pruning via the Structured Perspective Regularization [5.061851539114448]
  機械学習では、ニューラルネットワーク(ANN)は非常に強力なツールであり、多くのアプリケーションで広く使われている。 ANN(リンク、ノード、チャネル、ldots)のすべての要素と対応する重みが削除される。 問題の性質は本質的に(プルーンの要素とそうでない要素)であるので,オペレーショナルリサーチツールに基づく新たなプルーニング手法を提案する。
  論文  参考訳（メタデータ） (2022-06-28T14:58:51Z)
• Automatic Block-wise Pruning with Auxiliary Gating Structures for Deep Convolutional Neural Networks [9.293334856614628]
  本稿では,補助ゲーティング構造を有する新しいネットワーク切断法を提案する。 実験により,本手法は分類タスクの最先端圧縮性能を実現することができることを示した。
  論文  参考訳（メタデータ） (2022-05-07T09:03:32Z)
• Emerging Paradigms of Neural Network Pruning [82.9322109208353]
  この問題に対する後処理ソリューションとしてPruningが採用され、パフォーマンスを損なわないニューラルネットワークの不要なパラメータの除去を目指している。 最近の研究では、パフォーマンスと密接なそれとを一致させるように訓練できるランダムなスパースネットワークを発見することによって、この信念に挑戦している。 この調査は、従来のアルゴリズムとうまく適合できるように、一般的な刈り取りフレームワークを提案し、ギャップを埋めることを目指しています。
  論文  参考訳（メタデータ） (2021-03-11T05:01:52Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• A Framework for Neural Network Pruning Using Gibbs Distributions [34.0576955010317]
  Gibbs pruningは、ニューラルネットワークのプルーニングメソッドを表現および設計するための新しいフレームワークである。 学習したウェイトとプルーニングマスクが互いに順応するように、同時にネットワークを訓練し訓練することができる。 我々は、CIFAR-10データセットでResNet-56を刈り取るための、最先端の新たな結果を得る。
  論文  参考訳（メタデータ） (2020-06-08T23:04:53Z)
• Deep Unfolding Network for Image Super-Resolution [159.50726840791697]
  本稿では,学習に基づく手法とモデルに基づく手法の両方を活用する,エンドツーエンドのトレーニング可能なアンフォールディングネットワークを提案する。 提案するネットワークは, モデルベース手法の柔軟性を継承し, 一つのモデルを用いて, 異なるスケール要因に対する, 曖昧でノイズの多い画像の超解像化を行う。
  論文  参考訳（メタデータ） (2020-03-23T17:55:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。