論文の概要: Separate, Dynamic and Differentiable (SMART) Pruner for Block/Output Channel Pruning on Computer Vision Tasks

• arxiv url: http://arxiv.org/abs/2403.19969v1
• Date: Fri, 29 Mar 2024 04:28:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-04-01 16:34:41.906332
• Title: Separate, Dynamic and Differentiable (SMART) Pruner for Block/Output Channel Pruning on Computer Vision Tasks
• Title（参考訳）: コンピュータビジョンタスクにおけるブロック/出力チャネルプルーニングのための分離・動的・微分可能(SMART)プルーナ
• Authors: Guanhua Ding, Zexi Ye, Zhen Zhong, Gang Li, David Shao,
• Abstract要約: Deep Neural Network(DNN)プルーニングは、モデルサイズを削減し、レイテンシを改善し、アクセラレータの消費電力を削減するための重要な戦略として登場した。 ブロックおよび出力チャネルプルーニングのための分離された動的かつ微分可能な()プルーナを導入する。 実験では,SMARTプルーナーは既存のプルーニング法よりも優れた性能を示した。
• 参考スコア（独自算出の注目度）: 6.199556554833467
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Deep Neural Network (DNN) pruning has emerged as a key strategy to reduce model size, improve inference latency, and lower power consumption on DNN accelerators. Among various pruning techniques, block and output channel pruning have shown significant potential in accelerating hardware performance. However, their accuracy often requires further improvement. In response to this challenge, we introduce a separate, dynamic and differentiable (SMART) pruner. This pruner stands out by utilizing a separate, learnable probability mask for weight importance ranking, employing a differentiable Top k operator to achieve target sparsity, and leveraging a dynamic temperature parameter trick to escape from non-sparse local minima. In our experiments, the SMART pruner consistently demonstrated its superiority over existing pruning methods across a wide range of tasks and models on block and output channel pruning. Additionally, we extend our testing to Transformer-based models in N:M pruning scenarios, where SMART pruner also yields state-of-the-art results, demonstrating its adaptability and robustness across various neural network architectures, and pruning types.
• Abstract（参考訳）: Deep Neural Network(DNN)プルーニングは、モデルサイズを削減し、推論レイテンシを改善し、DNNアクセラレータの消費電力を削減するための重要な戦略として登場した。 様々なプルーニング技術の中で、ブロックおよび出力チャネルプルーニングは、ハードウェア性能を加速する大きな可能性を示している。 しかし、その精度は、しばしばさらなる改善を必要とする。 この課題に応えて、我々は分離された動的かつ微分可能なプルナー(SMART)を導入する。 本発明のプルーナーは、個別の学習可能な確率マスクをウェイト重要度ランキングに利用し、微分可能なトップk演算子を用いて目標空隙を達成し、非スパース局所ミニマから逃れるために動的温度パラメータのトリックを活用することで際立っている。 我々の実験では、SMARTプルーナーは、ブロックおよび出力チャネルプルーニングにおける、幅広いタスクおよびモデルにわたる既存のプルーニング手法よりも、一貫してその優位性を実証した。 さらに、テストはN:MプルーニングシナリオのTransformerベースのモデルに拡張します。SMARTプルーナーは、さまざまなニューラルネットワークアーキテクチャにまたがる適応性と堅牢性、およびプルーニングタイプを示す、最先端の結果も生成します。

関連論文リスト

• RL-Pruner: Structured Pruning Using Reinforcement Learning for CNN Compression and Acceleration [0.0]
  RL-Prunerを提案する。このRL-Prunerは、強化学習を用いて最適プルーニング分布を学習する。 RL-Prunerは、モデル固有のプルーニング実装を必要とせずに、入力モデル内のフィルタ間の依存関係を自動的に抽出し、プルーニングを実行する。
  論文  参考訳（メタデータ） (2024-11-10T13:35:10Z)
• Differentiable Weightless Neural Networks [1.453874055504475]
  本稿では,相互接続型ルックアップテーブルに基づくモデルであるDWNを提案する。 本稿では,これらのモデルの精度と効率をさらに向上させるために,学習可能なマッピング,学習可能なリダクション,スペクトル正規化を提案する。
  論文  参考訳（メタデータ） (2024-10-14T21:43:48Z)
• Stochastic Configuration Machines: FPGA Implementation [4.57421617811378]
  コンフィグレーションネットワーク(SCN)は、データモデリングのメリットと実現可能性から、産業アプリケーションにおいて主要な選択肢である。 本稿では、フィールドプログラマブルゲートアレイ(FPGA)にSCMモデルを実装し、学習性能を向上させるためにバイナリコード入力を導入することを目的とする。
  論文  参考訳（メタデータ） (2023-10-30T02:04:20Z)
• Efficient Controllable Multi-Task Architectures [85.76598445904374]
  本稿では,共有エンコーダとタスク固有デコーダからなるマルチタスクモデルを提案する。 我々のキーとなる考え方は、タスク固有のデコーダの容量を変化させ、計算コストの総和を制御し、タスクの重要度を制御することである。 これにより、与えられた予算に対してより強力なエンコーダを許可し、計算コストの制御を高め、高品質のスリム化サブアーキテクチャを提供することにより、全体的な精度を向上させる。
  論文  参考訳（メタデータ） (2023-08-22T19:09:56Z)
• KECOR: Kernel Coding Rate Maximization for Active 3D Object Detection [48.66703222700795]
  我々は、ラベルの取得に最も有用なポイントクラウドを特定するために、新しいカーネル戦略を利用する。 1段目(SECOND)と2段目(SECOND)の両方に対応するため、アノテーションに選択した境界ボックスの総数と検出性能のトレードオフをよく組み込んだ分類エントロピー接点を組み込んだ。 その結果,ボックスレベルのアノテーションのコストは約44%,計算時間は26%削減された。
  論文  参考訳（メタデータ） (2023-07-16T04:27:03Z)
• Dynamic Structure Pruning for Compressing CNNs [13.73717878732162]
  本研究では, チャネル内プルーニングに最適なプルーニング粒度を特定するため, 動的プルーニングと呼ばれる新しい構造プルーニング法を提案する。 実験結果から, チャネルプルーニングと比較して, 動的構造プルーニングがGPU上での最先端のプルーニング性能, より現実的なアクセラレーションを実現することが示された。
  論文  参考訳（メタデータ） (2023-03-17T02:38:53Z)
• Visual Saliency-Guided Channel Pruning for Deep Visual Detectors in Autonomous Driving [3.236217153362305]
  ディープニューラルネットワーク(DNN)プルーニングは、リソース制約のあるデバイスにデプロイするデファクトコンポーネントになっている。 本稿では,視覚的検出のための勾配に基づく新しいサリエンシ尺度を提案し,それをチャネルプルーニングのガイドに利用する。 KITTIおよびCOCOトラヒックデータセットの実験は、最先端の競合するアプローチよりもプルーニング手法の有効性と優位性を実証している。
  論文  参考訳（メタデータ） (2023-03-04T22:08:22Z)
• Automatic Mapping of the Best-Suited DNN Pruning Schemes for Real-Time Mobile Acceleration [71.80326738527734]
  本稿では,汎用的,きめ細かな構造化プルーニング手法とコンパイラの最適化を提案する。 提案手法は,より微細な構造化プルーニング手法とともに,最先端のDNN最適化フレームワークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-22T23:53:14Z)
• CATRO: Channel Pruning via Class-Aware Trace Ratio Optimization [61.71504948770445]
  本稿では,CATRO (Class-Aware Trace Ratio Optimization) を用いた新しいチャネルプルーニング手法を提案する。 CATROは、他の最先端チャネルプルーニングアルゴリズムと同等の精度で、同様のコストまたは低コストで高い精度を達成できることを示す。 CATROは、クラス認識の特性のため、様々な分類サブタスクに適応的に効率の良いネットワークを創り出すのに適している。
  論文  参考訳（メタデータ） (2021-10-21T06:26:31Z)
• GDP: Stabilized Neural Network Pruning via Gates with Differentiable Polarization [84.57695474130273]
  ゲートベースまたは重要度に基づくプルーニング手法は、重要度が最小のチャネルを削除することを目的としている。 GDPは、各チャネルのオン・アンド・オフを制御するために、ベルやホイッスルのない畳み込み層の前に接続することができる。 CIFAR-10とImageNetデータセットを用いて行った実験は、提案したGDPが最先端のパフォーマンスを達成することを示している。
  論文  参考訳（メタデータ） (2021-09-06T03:17:10Z)
• Algorithm to Compilation Co-design: An Integrated View of Neural Network Sparsity [0.8566457170664925]
  BERT言語モデルの変圧器ブロックの重み付けに構造化および非構造化プルーニングを適用した。 本研究では,モデル決定と空間的拡張実行に対する直接的影響の関係について検討する。
  論文  参考訳（メタデータ） (2021-06-16T15:13:26Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• MLPruning: A Multilevel Structured Pruning Framework for Transformer-based Models [78.45898846056303]
  プルーニングは、大きな自然言語処理モデルに関連するメモリフットプリントと計算コストを削減する効果的な方法である。 我々は,頭部刈り込み,行刈り,ブロックワイズ刈りという3つの異なるレベルの構造化刈り込みを利用する,新しいマルチレベル構造化刈り込みフレームワークを開発した。
  論文  参考訳（メタデータ） (2021-05-30T22:00:44Z)
• DAIS: Automatic Channel Pruning via Differentiable Annealing Indicator Search [55.164053971213576]
  畳み込みニューラルネットワークは,計算オーバーヘッドが大きいにもかかわらず,コンピュータビジョンタスクの実行において大きな成功を収めている。 構造的(チャネル)プルーニングは、通常、ネットワーク構造を保ちながらモデルの冗長性を低減するために適用される。 既存の構造化プルーニング法では、手作りのルールが必要であり、これは大きなプルーニング空間に繋がる可能性がある。
  論文  参考訳（メタデータ） (2020-11-04T07:43:01Z)
• DHP: Differentiable Meta Pruning via HyperNetworks [158.69345612783198]
  本稿では,ネットワークの自動プルーニングのためのハイパーネットによる識別可能なプルーニング手法を提案する。 遅延ベクトルは、バックボーンネットワーク内の畳み込み層の出力チャネルを制御し、レイヤのプルーニングのハンドルとして機能する。 画像分類、単一画像超解像、復調のための様々なネットワークで実験が行われた。
  論文  参考訳（メタデータ） (2020-03-30T17:59:18Z)
• A Privacy-Preserving-Oriented DNN Pruning and Mobile Acceleration Framework [56.57225686288006]
  モバイルエッジデバイスの限られたストレージとコンピューティング能力を満たすために、ディープニューラルネットワーク(DNN)の軽量プルーニングが提案されている。 従来のプルーニング手法は主に、ユーザデータのプライバシを考慮せずに、モデルのサイズを減らしたり、パフォーマンスを向上させることに重点を置いていた。 プライベートトレーニングデータセットを必要としないプライバシ保護指向のプルーニングおよびモバイルアクセラレーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-13T23:52:03Z)
• Triple Wins: Boosting Accuracy, Robustness and Efficiency Together by Enabling Input-Adaptive Inference [119.19779637025444]
  深層ネットワークは、(クリーンな自然画像の場合)正確さと(敵対的な摂動画像の場合)頑健さの相違に直面することを最近提案された。 本稿では,入力適応推論に関連するマルチエグジットネットワークについて検討し,モデル精度,ロバスト性,効率の最適化において「スイートポイント」を達成する上での強い期待を示す。
  論文  参考訳（メタデータ） (2020-02-24T00:40:22Z)
• Lookahead: A Far-Sighted Alternative of Magnitude-based Pruning [83.99191569112682]
  マグニチュードベースのプルーニングは、ニューラルネットワークをプルーニングする最も単純な方法の1つである。 我々は,単一層最適化を多層最適化に拡張することにより,単純なプルーニング法であるルックアヘッドプルーニングを開発した。 実験の結果,提案手法は様々なネットワーク上での大規模プルーニングよりも一貫して優れていた。
  論文  参考訳（メタデータ） (2020-02-12T05:38:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。