論文の概要: AutoPruning for Deep Neural Network with Dynamic Channel Masking

• arxiv url: http://arxiv.org/abs/2010.12021v2
• Date: Mon, 2 Nov 2020 04:06:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 07:08:18.423464
• Title: AutoPruning for Deep Neural Network with Dynamic Channel Masking
• Title（参考訳）: ダイナミックチャネルマスキングを用いたディープニューラルネットワークのオートプルーニング
• Authors: Baopu Li, Yanwen Fan, Zhihong Pan, Gang Zhang
• Abstract要約: 深層ニューラルネットワークのための学習に基づくオートプルーニングアルゴリズムを提案する。 まず、各層に対する重みと最良チャネルを目的とする2つの目的の問題を定式化する。 次に、最適なチャネル数と重みを同時に導出するために、別の最適化手法を提案する。
• 参考スコア（独自算出の注目度）: 28.018077874687343
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Modern deep neural network models are large and computationally intensive. One typical solution to this issue is model pruning. However, most current pruning algorithms depend on hand crafted rules or domain expertise. To overcome this problem, we propose a learning based auto pruning algorithm for deep neural network, which is inspired by recent automatic machine learning(AutoML). A two objectives' problem that aims for the the weights and the best channels for each layer is first formulated. An alternative optimization approach is then proposed to derive the optimal channel numbers and weights simultaneously. In the process of pruning, we utilize a searchable hyperparameter, remaining ratio, to denote the number of channels in each convolution layer, and then a dynamic masking process is proposed to describe the corresponding channel evolution. To control the trade-off between the accuracy of a model and the pruning ratio of floating point operations, a novel loss function is further introduced. Preliminary experimental results on benchmark datasets demonstrate that our scheme achieves competitive results for neural network pruning.
• Abstract（参考訳）: 現代のディープニューラルネットワークモデルは大規模で計算集約的である。 この問題の典型的な解決策は、モデルプルーニングである。 しかし、現在のプルーニングアルゴリズムのほとんどは手作りのルールやドメインの専門知識に依存している。 そこで本研究では,最近の自動機械学習(automl)に触発された深層ニューラルネットワークのための学習ベースの自動刈り込みアルゴリズムを提案する。 各層の重みと最善のチャネルを目標とする2つの目的の問題は、最初に定式化される。 次に、最適なチャネル数と重みを同時に導出するための代替最適化手法を提案する。 刈り取りの過程では,探索可能なハイパーパラメータ,残比を用いて各畳み込み層内のチャネル数を示し,対応するチャネルの進化を記述するために動的マスキングプロセスを提案する。 さらに、モデルの精度と浮動小数点演算のプルーニング比とのトレードオフを制御するために、新たな損失関数を導入する。 ベンチマークデータセットの予備実験結果から,ニューラルネットワークのプルーニングにおける競合的な結果が得られた。

関連論文リスト

• Concurrent Training and Layer Pruning of Deep Neural Networks [0.0]
  トレーニングの初期段階において、ニューラルネットワークの無関係な層を特定し、排除できるアルゴリズムを提案する。 本研究では,非線形区間を切断した後にネットワークを流れる情報の流れを,非線形ネットワーク区間の周囲の残差接続を用いた構造を用いる。
  論文  参考訳（メタデータ） (2024-06-06T23:19:57Z)
• Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
  ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。 提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。 我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
  論文  参考訳（メタデータ） (2022-09-26T17:59:58Z)
• Neuron-based Pruning of Deep Neural Networks with Better Generalization using Kronecker Factored Curvature Approximation [18.224344440110862]
  提案アルゴリズムは、ヘッセンのスペクトル半径を探索することにより、圧縮されたモデルのパラメータを平らな解へ向ける。 以上の結果から, ニューロン圧縮における最先端の結果が向上することが示唆された。 この手法は、異なるニューラルネットワークモデル間で小さな精度で、非常に小さなネットワークを実現することができる。
  論文  参考訳（メタデータ） (2021-11-16T15:55:59Z)
• Exploring Gradient Flow Based Saliency for DNN Model Compression [21.993801817422572]
  モデルプルーニングは、ディープニューラルネットワーク(DNN)モデルのサイズや計算オーバーヘッドを低減することを目的としている。 DNNのチャネル重要度を評価する従来のモデルプルーニング手法は,各チャネルの局所的解析にあまりにも注意を払っている。 本稿では,新しい流れの観点から新しいモデルプルーニング法を提案する。
  論文  参考訳（メタデータ） (2021-10-24T16:09:40Z)
• CONet: Channel Optimization for Convolutional Neural Networks [33.58529066005248]
  畳み込みニューラルネットワーク(CNN)におけるチャネルサイズ最適化の検討 ネットワーク層をまたいだCNNのチャネルサイズを自動的に最適化する,効率的な動的スケーリングアルゴリズムであるConetを導入します。 CIFAR10/100およびImageNetデータセット上で実験を行い、ConetがResNet、DARTS、DARTS+空間で探索された効率的で正確なアーキテクチャを見つけることができることを示す。
  論文  参考訳（メタデータ） (2021-08-15T21:48:25Z)
• End-to-end learnable EEG channel selection with deep neural networks [72.21556656008156]
  本稿では,脳波チャネル選択をニューラルネットワーク自体に組み込む枠組みを提案する。 我々は、離散チャネル選択パラメータの連続緩和を用いて、この新しい最適化問題の離散的性質を扱う。 この一般的なアプローチは、2つの異なるEEGタスクで評価される。
  論文  参考訳（メタデータ） (2021-02-11T13:44:07Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
  本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。 標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2020-04-06T15:51:00Z)
• DHP: Differentiable Meta Pruning via HyperNetworks [158.69345612783198]
  本稿では,ネットワークの自動プルーニングのためのハイパーネットによる識別可能なプルーニング手法を提案する。 遅延ベクトルは、バックボーンネットワーク内の畳み込み層の出力チャネルを制御し、レイヤのプルーニングのハンドルとして機能する。 画像分類、単一画像超解像、復調のための様々なネットワークで実験が行われた。
  論文  参考訳（メタデータ） (2020-03-30T17:59:18Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。