論文の概要: BLK-REW: A Unified Block-based DNN Pruning Framework using Reweighted Regularization Method

• arxiv url: http://arxiv.org/abs/2001.08357v2
• Date: Sat, 22 Feb 2020 03:00:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-07 09:54:47.792432
• Title: BLK-REW: A Unified Block-based DNN Pruning Framework using Reweighted Regularization Method
• Title（参考訳）: BLK-REW:Reweighted Regularization法によるブロックベースDNN並列処理フレームワーク
• Authors: Xiaolong Ma, Zhengang Li, Yifan Gong, Tianyun Zhang, Wei Niu, Zheng Zhan, Pu Zhao, Jian Tang, Xue Lin, Bin Ren, Yanzhi Wang
• Abstract要約: 本稿では, 汎用的かつ柔軟な構造化プルーニング次元と, 強力かつ効率的な再加重正規化手法を組み合わせたブロック型プルーニングフレームワークを提案する。 我々のフレームワークは普遍的であり、CNNとRNNの両方に適用できる。 リアルタイムモバイルアクセラレーションと精度の妥協のないCNNとRNNの共通カバレッジを実現するのはこれが初めてである。
• 参考スコア（独自算出の注目度）: 69.49386965992464
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Accelerating DNN execution on various resource-limited computing platforms has been a long-standing problem. Prior works utilize l1-based group lasso or dynamic regularization such as ADMM to perform structured pruning on DNN models to leverage the parallel computing architectures. However, both of the pruning dimensions and pruning methods lack universality, which leads to degraded performance and limited applicability. To solve the problem, we propose a new block-based pruning framework that comprises a general and flexible structured pruning dimension as well as a powerful and efficient reweighted regularization method. Our framework is universal, which can be applied to both CNNs and RNNs, implying complete support for the two major kinds of computation-intensive layers (i.e., CONV and FC layers). To complete all aspects of the pruning-for-acceleration task, we also integrate compiler-based code optimization into our framework that can perform DNN inference in a real-time manner. To the best of our knowledge, it is the first time that the weight pruning framework achieves universal coverage for both CNNs and RNNs with real-time mobile acceleration and no accuracy compromise.
• Abstract（参考訳）: 様々なリソース制限のあるコンピューティングプラットフォーム上でのdnn実行の加速は長年の課題だった。 以前の研究では、L1ベースのグループラッソやADMMのような動的正規化を使用してDNNモデル上で構造化プルーニングを行い、並列コンピューティングアーキテクチャを活用している。 しかし、プルーニング次元とプルーニング手法には普遍性が欠如しており、性能が低下し、適用性が制限される。 そこで本稿では,汎用的で柔軟な構造的刈り取り次元と,強力で効率的な再重み付け正則化手法を組み合わせた新しいブロックベース刈り込みフレームワークを提案する。 我々のフレームワークは普遍的であり、cnnとrnnの両方に適用でき、2つの主要な計算集約層(conv層とfc層)を完全にサポートしています。 また、pruning-for-accelerationタスクのすべての側面を補完するために、DNN推論をリアルタイムに実行できるコンパイラベースのコード最適化をフレームワークに統合する。 我々の知る限りでは、リアルタイムモバイルアクセラレーションと精度の妥協のないCNNとRNNの両方に対して、ウェイトプルーニングフレームワークが普遍的なカバレッジを達成するのは初めてである。

関連論文リスト

• Rapid Deployment of DNNs for Edge Computing via Structured Pruning at Initialization [2.6831773062745863]
  エッジ機械学習(ML)は、デバイス上のデータのローカライズされた処理を可能にする。 ディープニューラルネットワーク(DNN)は、実際のコンピューティング、メモリ、エネルギー要件のため、デバイス上で簡単に動作できない。 エッジ配置に適したプルーニングモデルを生成するシステムであるReconveneを開発した。
  論文  参考訳（メタデータ） (2024-04-22T10:57:54Z)
• Binary domain generalization for sparsifying binary neural networks [3.2462411268263964]
  バイナリニューラルネットワーク(BNN)は、リソース制約のあるデバイスにおいて、ディープニューラルネットワーク(DNN)ベースのアプリケーションを開発、デプロイするための魅力的なソリューションである。 BNNの軽量プルーニングは性能劣化を招き、BNNの標準バイナライズドメインがタスクに適していないことを示唆している。 この研究は、プルーニング技術に対してより堅牢な標準バイナリドメインを拡張した、より一般的なバイナリドメインを提案する。
  論文  参考訳（メタデータ） (2023-06-23T14:32:16Z)
• Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
  BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
  論文  参考訳（メタデータ） (2022-09-04T06:45:33Z)
• Towards a General Purpose CNN for Long Range Dependencies in $\mathrm{N}$D [49.57261544331683]
  構造変化のない任意の解像度,次元,長さのタスクに対して,連続的な畳み込みカーネルを備えた単一CNNアーキテクチャを提案する。 1$mathrmD$)とビジュアルデータ(2$mathrmD$)の幅広いタスクに同じCCNNを適用することで、我々のアプローチの汎用性を示す。 私たちのCCNNは競争力があり、検討されたすべてのタスクで現在の最先端を上回ります。
  論文  参考訳（メタデータ） (2022-06-07T15:48:02Z)
• Automatic Mapping of the Best-Suited DNN Pruning Schemes for Real-Time Mobile Acceleration [71.80326738527734]
  本稿では,汎用的,きめ細かな構造化プルーニング手法とコンパイラの最適化を提案する。 提案手法は,より微細な構造化プルーニング手法とともに,最先端のDNN最適化フレームワークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-22T23:53:14Z)
• GRIM: A General, Real-Time Deep Learning Inference Framework for Mobile Devices based on Fine-Grained Structured Weight Sparsity [46.75304109970339]
  本稿では、畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方に汎用的な新しいモバイル推論加速フレームワークGRIMを設計する。 ブロックベースカラムロープルーニング(BCR)による微細粒度構造解析手法を提案する。 我々のGRIMフレームワークは、この新たなきめ細かな構造化された空間に基づいて、(a)リアルタイムモバイル推論のためのコンパイラ最適化とコード生成という2つの部分で構成されています。
  論文  参考訳（メタデータ） (2021-08-25T03:50:46Z)
• Only Train Once: A One-Shot Neural Network Training And Pruning Framework [31.959625731943675]
  構造化プルーニング(Structured pruning)は、リソース制約のあるデバイスにディープニューラルネットワーク(DNN)をデプロイする際に一般的に使用されるテクニックである。 我々は,DNNが競争性能と,OTO(Not-Train-Once)によるFLOPの大幅な削減に敏感なフレームワークを提案する。 OTOには2つのキーが含まれている: (i) DNNのパラメータをゼロ不変群に分割し、出力に影響を与えることなくゼロ群をプルークすることができる; (ii)ゼロ群をプロモートするために、構造化画像最適化アルゴリズムであるHalf-Space Projected (HSPG)を定式化する。 OTOの有効性を示すために、私たちはトレーニングとトレーニングを行います。
  論文  参考訳（メタデータ） (2021-07-15T17:15:20Z)
• A Unified DNN Weight Compression Framework Using Reweighted Optimization Methods [31.869228048294445]
  指定された制約に縛られた動的に更新された正規化項を持つ統合DNN重み決定フレームワークを提案する。 また、異なるDNN圧縮タスクを組み合わせるための統合フレームワークにもメソッドを拡張します。
  論文  参考訳（メタデータ） (2020-04-12T02:59:06Z)
• A Privacy-Preserving-Oriented DNN Pruning and Mobile Acceleration Framework [56.57225686288006]
  モバイルエッジデバイスの限られたストレージとコンピューティング能力を満たすために、ディープニューラルネットワーク(DNN)の軽量プルーニングが提案されている。 従来のプルーニング手法は主に、ユーザデータのプライバシを考慮せずに、モデルのサイズを減らしたり、パフォーマンスを向上させることに重点を置いていた。 プライベートトレーニングデータセットを必要としないプライバシ保護指向のプルーニングおよびモバイルアクセラレーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-13T23:52:03Z)
• PatDNN: Achieving Real-Time DNN Execution on Mobile Devices with Pattern-based Weight Pruning [57.20262984116752]
  粗粒構造の内部に新しい次元、きめ細かなプルーニングパターンを導入し、これまで知られていなかった設計空間の点を明らかにした。 きめ細かいプルーニングパターンによって高い精度が実現されているため、コンパイラを使ってハードウェア効率を向上し、保証することがユニークな洞察である。
  論文  参考訳（メタデータ） (2020-01-01T04:52:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。