論文の概要: Pruning Convolutional Filters via Reinforcement Learning with Entropy
Minimization
- arxiv url: http://arxiv.org/abs/2312.04918v1
- Date: Fri, 8 Dec 2023 09:34:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-11 15:38:34.584179
- Title: Pruning Convolutional Filters via Reinforcement Learning with Entropy
Minimization
- Title(参考訳): エントロピー最小化による強化学習によるプルーニング畳み込みフィルタ
- Authors: Bogdan Musat, Razvan Andonie
- Abstract要約: 本稿では,畳み込み活性化の空間エントロピーを最小化する情報理論報酬関数を提案する。
提案手法は,エージェントの報酬関数で直接最適化することなく,精度を維持できる可能性を示している。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Structural pruning has become an integral part of neural network
optimization, used to achieve architectural configurations which can be
deployed and run more efficiently on embedded devices. Previous results showed
that pruning is possible with minimum performance loss by utilizing a
reinforcement learning agent which makes decisions about the sparsity level of
each neural layer by maximizing as a reward the accuracy of the network. We
introduce a novel information-theoretic reward function which minimizes the
spatial entropy of convolutional activations. This minimization ultimately acts
as a proxy for maintaining accuracy, although these two criteria are not
related in any way. Our method shows that there is another possibility to
preserve accuracy without the need to directly optimize it in the agent's
reward function. In our experiments, we were able to reduce the total number of
FLOPS of multiple popular neural network architectures by 5-10x, incurring
minimal or no performance drop and being on par with the solution found by
maximizing the accuracy.
- Abstract(参考訳): 構造的プルーニングはニューラルネットワーク最適化の不可欠な部分となり、組み込みデバイス上でより効率的にデプロイおよび実行可能なアーキテクチャ構成を達成するために使用される。
前報では,ネットワークの精度を最大化することにより,各神経層のスパーシティレベルを判断する強化学習エージェントを用いることで,最小性能損失でプルーニングが可能であった。
本稿では,畳み込み活性化の空間エントロピーを最小化する情報理論報酬関数を提案する。
この最小化は最終的に正確性を維持するためのプロキシとして機能するが、これらの2つの基準はいかなる方法にも関連しない。
提案手法は,エージェントの報酬関数で直接最適化することなく,精度を維持できる可能性を示している。
実験では、複数の人気ニューラルネットワークアーキテクチャのFLOPSの総数を5~10倍に減らし、性能低下を最小限に抑え、精度を最大化することで得られる解と同等にすることができた。
関連論文リスト
- FALCON: FLOP-Aware Combinatorial Optimization for Neural Network Pruning [17.60353530072587]
ネットワークプルーニングは、性能を維持しながら、モデルサイズと計算コストを削減するソリューションを提供する。
現在のプルーニング法のほとんどは、非ゼロパラメータの数を減らし、空間性を改善することに重点を置いている。
本稿では,FALCONを提案する。FALCONは,モデル精度(忠実度),FLOP,スペーサ性制約を考慮に入れた,ネットワークプルーニングを最適化した新しいフレームワークである。
論文 参考訳(メタデータ) (2024-03-11T18:40:47Z) - Explicit Foundation Model Optimization with Self-Attentive Feed-Forward
Neural Units [4.807347156077897]
バックプロパゲーションを用いた反復近似法はニューラルネットワークの最適化を可能にするが、大規模に使用すると計算コストがかかる。
本稿では、ニューラルネットワークのスケーリングコストを削減し、低リソースアプリケーションに高効率な最適化を提供する、ニューラルネットワークの最適化のための効率的な代替手段を提案する。
論文 参考訳(メタデータ) (2023-11-13T17:55:07Z) - Neural Network Pruning for Real-time Polyp Segmentation [8.08470060885395]
ポリプセグメンテーションにおけるニューラルネットワークプルーニングの適用例を示す。
畳み込みフィルタの重要スコアを計算し、最小スコアを持つフィルタを除去する。
論文 参考訳(メタデータ) (2023-06-22T21:03:50Z) - On Model Compression for Neural Networks: Framework, Algorithm, and
Convergence Guarantee [10.783153208561469]
本稿では,低ランク近似と重み近似の2つのモデル圧縮手法に焦点を当てた。
本稿では,非最適化の新たな視点から,モデル圧縮のための全体論的なフレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-13T02:14:42Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳(メタデータ) (2023-03-06T18:59:13Z) - AIO-P: Expanding Neural Performance Predictors Beyond Image
Classification [22.743278613519152]
アーキテクチャの例でニューラルネットワーク予測器を事前訓練するための新しいオールインワン予測器(AIO-P)を提案する。
AIO-Pは平均絶対誤差(MAE)とスピアマンランク相関(SRCC)をそれぞれ1%以下と0.5以上で達成できる。
論文 参考訳(メタデータ) (2022-11-30T18:30:41Z) - Fast Exploration of the Impact of Precision Reduction on Spiking Neural
Networks [63.614519238823206]
ターゲットハードウェアがコンピューティングの端に達すると、スパイキングニューラルネットワーク(SNN)が実用的な選択となる。
我々は、近似誤差を伝播するそのようなモデルの能力を生かした探索手法を開発するために、インターヴァル算術(IA)モデルを用いる。
論文 参考訳(メタデータ) (2022-11-22T15:08:05Z) - Proxy Convexity: A Unified Framework for the Analysis of Neural Networks
Trained by Gradient Descent [95.94432031144716]
学習ネットワークの分析のための統合された非最適化フレームワークを提案する。
既存の保証は勾配降下により統一することができることを示す。
論文 参考訳(メタデータ) (2021-06-25T17:45:00Z) - Efficient Micro-Structured Weight Unification and Pruning for Neural
Network Compression [56.83861738731913]
ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。
既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。
ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
論文 参考訳(メタデータ) (2021-06-15T17:22:59Z) - Non-Gradient Manifold Neural Network [79.44066256794187]
ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。
非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
論文 参考訳(メタデータ) (2021-06-15T06:39:13Z) - Rapid Structural Pruning of Neural Networks with Set-based Task-Adaptive
Meta-Pruning [83.59005356327103]
既存のプルーニング技術に共通する制限は、プルーニングの前に少なくとも1回はネットワークの事前トレーニングが必要であることである。
本稿では,ターゲットデータセットの関数としてプルーニングマスクを生成することにより,大規模な参照データセット上で事前訓練されたネットワークをタスク適応的にプルークするSTAMPを提案する。
ベンチマークデータセット上での最近の先進的なプルーニング手法に対するSTAMPの有効性を検証する。
論文 参考訳(メタデータ) (2020-06-22T10:57:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。