論文の概要: Rewarded meta-pruning: Meta Learning with Rewards for Channel Pruning
- arxiv url: http://arxiv.org/abs/2301.11063v1
- Date: Thu, 26 Jan 2023 12:32:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-27 13:42:05.361636
- Title: Rewarded meta-pruning: Meta Learning with Rewards for Channel Pruning
- Title（参考訳）: rewarded meta-pruning: チャネルpruningのための報酬付きメタ学習
- Authors: Athul Shibu, Abhishek Kumar, Heechul Jung, Dong-Gyu Lee
- Abstract要約: 本稿では,ディープラーニングモデルにおける計算効率向上のためのパラメータとFLOPの削減手法を提案する。
本稿では,ネットワークの精度と計算効率のトレードオフを制御するために,精度と効率係数を導入する。
- 参考スコア（独自算出の注目度）: 19.978542231976636
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Convolutional Neural Networks (CNNs) have a large number of parameters and
take significantly large hardware resources to compute, so edge devices
struggle to run high-level networks. This paper proposes a novel method to
reduce the parameters and FLOPs for computational efficiency in deep learning
models. We introduce accuracy and efficiency coefficients to control the
trade-off between the accuracy of the network and its computing efficiency. The
proposed Rewarded meta-pruning algorithm trains a network to generate weights
for a pruned model chosen based on the approximate parameters of the final
model by controlling the interactions using a reward function. The reward
function allows more control over the metrics of the final pruned model.
Extensive experiments demonstrate superior performances of the proposed method
over the state-of-the-art methods in pruning ResNet-50, MobileNetV1, and
MobileNetV2 networks.
- Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は多数のパラメータを持ち、計算するハードウェアリソースが非常に大きいため、エッジデバイスはハイレベルネットワークの実行に苦労する。
本稿では,ディープラーニングモデルにおける計算効率向上のためのパラメータとFLOPの削減手法を提案する。
本稿では,ネットワークの精度と計算効率のトレードオフを制御するために,精度と効率係数を導入する。
提案する報酬メタプルーニングアルゴリズムは、報酬関数を用いて相互作用を制御することにより、最終モデルの近似パラメータに基づいて選択されたプルーニングモデルの重みを生成するネットワークを訓練する。
報酬関数は、最終的なプルーンドモデルのメトリクスをより制御することができる。
大規模な実験により,ResNet-50,MobileNetV1,MobileNetV2ネットワークにおける最先端手法よりも優れた性能を示した。
関連論文リスト
- Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。
既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。
ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-29T19:02:54Z) - Auto-Train-Once: Controller Network Guided Automatic Network Pruning from Scratch [72.26822499434446]
オートトレインオース (Auto-Train-Once, ATO) は、DNNの計算コストと記憶コストを自動的に削減するために設計された、革新的なネットワークプルーニングアルゴリズムである。
総合的な収束解析と広範な実験を行い,本手法が様々なモデルアーキテクチャにおける最先端性能を実現することを示す。
論文 参考訳（メタデータ） (2024-03-21T02:33:37Z) - Block Pruning for Enhanced Efficiency in Convolutional Neural Networks [7.110116320545541]
本稿では,エッジコンピューティング環境におけるディープニューラルネットワークにおけるブロックプルーニングを対象とする,ネットワークプルーニングに対する新しいアプローチを提案する。
提案手法は,プロキシメトリクスを利用する従来の手法とは異なっており,直接ブロック除去手法を用いて分類精度への影響を評価する。
論文 参考訳（メタデータ） (2023-12-28T08:54:48Z) - Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。
提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。
我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文 参考訳（メタデータ） (2022-09-26T17:59:58Z) - CATRO: Channel Pruning via Class-Aware Trace Ratio Optimization [61.71504948770445]
本稿では,CATRO (Class-Aware Trace Ratio Optimization) を用いた新しいチャネルプルーニング手法を提案する。
CATROは、他の最先端チャネルプルーニングアルゴリズムと同等の精度で、同様のコストまたは低コストで高い精度を達成できることを示す。
CATROは、クラス認識の特性のため、様々な分類サブタスクに適応的に効率の良いネットワークを創り出すのに適している。
論文 参考訳（メタデータ） (2021-10-21T06:26:31Z) - Manifold Regularized Dynamic Network Pruning [102.24146031250034]
本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。
提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
論文 参考訳（メタデータ） (2021-03-10T03:59:03Z) - AutoPruning for Deep Neural Network with Dynamic Channel Masking [28.018077874687343]
深層ニューラルネットワークのための学習に基づくオートプルーニングアルゴリズムを提案する。
まず、各層に対する重みと最良チャネルを目的とする2つの目的の問題を定式化する。
次に、最適なチャネル数と重みを同時に導出するために、別の最適化手法を提案する。
論文 参考訳（メタデータ） (2020-10-22T20:12:46Z) - Fully Dynamic Inference with Deep Neural Networks [19.833242253397206]
Layer-Net(L-Net)とChannel-Net(C-Net)と呼ばれる2つのコンパクトネットワークは、どのレイヤやフィルタ/チャネルが冗長であるかをインスタンス毎に予測する。
CIFAR-10データセットでは、LC-Netは11.9$times$ less floating-point Operations (FLOPs) となり、他の動的推論手法と比較して最大3.3%精度が向上する。
ImageNetデータセットでは、LC-Netは最大1.4$times$ FLOPsを減らし、Top-1の精度は他の方法よりも4.6%高い。
論文 参考訳（メタデータ） (2020-07-29T23:17:48Z) - Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。
標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2020-04-06T15:51:00Z) - Lightweight Residual Densely Connected Convolutional Neural Network [18.310331378001397]
畳み込みニューラルネットワークの深い監督, 効率的な勾配流, 特徴再利用能力を保証するために, 軽量な高密度連結ブロックを提案する。
提案手法は,特別なハードウェア・ソフトウェア機器を使わずに,トレーニングと推論のコストを低減させる。
論文 参考訳（メタデータ） (2020-01-02T17:15:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。