論文の概要: Rotate the ReLU to implicitly sparsify deep networks
- arxiv url: http://arxiv.org/abs/2206.00488v1
- Date: Wed, 1 Jun 2022 13:38:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-02 12:44:28.922765
- Title: Rotate the ReLU to implicitly sparsify deep networks
- Title(参考訳): 深層ネットワークを暗黙的に分散させるReLUを回転させる
- Authors: Nancy Nayak, Sheetal Kalyani
- Abstract要約: 本稿では,ReLUアクティベーションを回転させてアーキテクチャにさらなる自由度を与える,という新しいアイデアを提案する。
トレーニングによって回転が学習されるこのアクティベーションは、タスクに重要でないネットワーク内のこれらのパラメータ/フィルタの除去をもたらすことを示す。
- 参考スコア(独自算出の注目度): 13.203765985718201
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the era of Deep Neural Network based solutions for a variety of real-life
tasks, having a compact and energy-efficient deployable model has become fairly
important. Most of the existing deep architectures use Rectifier Linear Unit
(ReLU) activation. In this paper, we propose a novel idea of rotating the ReLU
activation to give one more degree of freedom to the architecture. We show that
this activation wherein the rotation is learned via training results in the
elimination of those parameters/filters in the network which are not important
for the task. In other words, rotated ReLU seems to be doing implicit
sparsification. The slopes of the rotated ReLU activations act as coarse
feature extractors and unnecessary features can be eliminated before
retraining. Our studies indicate that features always choose to pass through a
lesser number of filters in architectures such as ResNet and its variants.
Hence, by rotating the ReLU, the weights or the filters that are not necessary
are automatically identified and can be dropped thus giving rise to significant
savings in memory and computation. Furthermore, in some cases, we also notice
that along with saving in memory and computation we also obtain improvement
over the reported performance of the corresponding baseline work in the popular
datasets such as MNIST, CIFAR-10, CIFAR-100, and SVHN.
- Abstract(参考訳): 様々な実生活タスクに対するディープニューラルネットワークベースのソリューションの時代において、コンパクトでエネルギー効率の良いデプロイ可能なモデルがかなり重要になっている。
既存のディープアーキテクチャのほとんどはRectifier Linear Unit(ReLU)アクティベーションを使用している。
本稿では,ReLUアクティベーションを回転させてアーキテクチャにさらなる自由度を与える,という新しいアイデアを提案する。
トレーニングによって回転が学習されるこのアクティベーションは、タスクに重要でないネットワーク内のこれらのパラメータ/フィルタの除去をもたらすことを示す。
言い換えれば、回転したReLUは暗黙のスパーシフィケーションを行っているようだ。
回転するreluアクティベーションの傾斜は粗い特徴抽出器として作用し、再訓練前に不要な特徴を除去することができる。
我々の研究は、常にResNetやその変種のようなアーキテクチャにおいて、より少ない数のフィルタを通過させることを選択していることを示している。
したがって、ReLUを回転させることで、不要な重みやフィルタを自動的に識別し、ドロップすることが可能となり、メモリと計算の大幅な節約につながる。
さらに、メモリと計算の節約とともに、MNIST、CIFAR-10、CIFAR-100、SVHNなどの一般的なデータセットにおいて、対応するベースライン処理の報告された性能よりも改善されていることも認識している。
関連論文リスト
- REDS: Resource-Efficient Deep Subnetworks for Dynamic Resource Constraints [2.9209462960232235]
最先端の機械学習パイプラインは、実行時に適応できないリソースに依存しないモデルを生成する。
本稿では,資源効率の高いDeep Subnetworks (REDS) を導入し,変動資源へのモデル適応に取り組む。
本稿では,サブモデルのテストセット精度の観点から,REDSの優れた性能を示す理論的結果と実証的証拠を提供する。
論文 参考訳(メタデータ) (2023-11-22T12:34:51Z) - Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。
本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。
本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文 参考訳(メタデータ) (2023-03-16T21:06:13Z) - GRAN: Ghost Residual Attention Network for Single Image Super Resolution [44.4178326950426]
本稿では,Ghost Residual Attention Block (GRAB) グループを導入し,標準的な畳み込み操作の欠点を克服する。
Ghost Moduleは、標準の畳み込みを置き換えるために線形操作を採用することで、本質的な機能の基盤となる情報を明らかにすることができる。
ベンチマークデータセットを用いて行った実験は,定性的・定量的に,本手法の優れた性能を示すものである。
論文 参考訳(メタデータ) (2023-02-28T13:26:24Z) - RevBiFPN: The Fully Reversible Bidirectional Feature Pyramid Network [3.54359747576165]
RevSiloは、最初の可逆的マルチスケール機能融合モジュールである。
完全に可逆な双方向特徴ピラミッドネットワークであるRevBiFPNを開発した。
RevBiFPNは、少ないMACと2.4倍のトレーニング時間メモリを使用して、HRNet上のAPを最大2.5%向上させる。
論文 参考訳(メタデータ) (2022-06-28T15:48:05Z) - Structured Sparsity Learning for Efficient Video Super-Resolution [99.1632164448236]
我々は、ビデオ超解像(VSR)モデルの特性に応じて、構造化スパシティ学習(SSL)と呼ばれる構造化プルーニング手法を開発する。
SSLでは,残差ブロック,リカレントネットワーク,アップサンプリングネットワークなど,VSRモデルのいくつかの重要なコンポーネントに対するプルーニングスキームを設計する。
論文 参考訳(メタデータ) (2022-06-15T17:36:04Z) - Deep Learning without Shortcuts: Shaping the Kernel with Tailored
Rectifiers [83.74380713308605]
我々は、ReLUの変種であるLeaky ReLUsと完全に互換性のある新しいタイプの変換を開発する。
実験では,ResNetsと競合する深層バニラネットワークによる検証精度を考慮し,計算コストを考慮しない手法を提案する。
論文 参考訳(メタデータ) (2022-03-15T17:49:08Z) - Edge Rewiring Goes Neural: Boosting Network Resilience via Policy
Gradient [62.660451283548724]
ResiNetは、さまざまな災害や攻撃に対する回復力のあるネットワークトポロジを発見するための強化学習フレームワークである。
ResiNetは複数のグラフに対してほぼ最適のレジリエンス向上を実現し,ユーティリティのバランスを保ちながら,既存のアプローチに比べて大きなマージンを持つことを示す。
論文 参考訳(メタデータ) (2021-10-18T06:14:28Z) - Learning specialized activation functions with the Piecewise Linear Unit [7.820667552233989]
本稿では, 注意深く設計した定式化学習法を組み込んだ, 区分線形単位 (pwlu) と呼ばれる新しい活性化関数を提案する。
特殊なアクティベーション機能を学び、ImageNetやCOCOなどの大規模データセットでSOTA性能を達成できます。
PWLUは推論時に実装も簡単で効率も良く、現実世界のアプリケーションにも広く適用できる。
論文 参考訳(メタデータ) (2021-04-08T11:29:11Z) - Improving Computational Efficiency in Visual Reinforcement Learning via
Stored Embeddings [89.63764845984076]
効率的な強化学習のためのストアド埋め込み(SEER)について紹介します。
SEERは、既存の非政治深層強化学習方法の簡単な修正です。
計算とメモリを大幅に節約しながら、SEERがRLizableエージェントのパフォーマンスを低下させないことを示します。
論文 参考訳(メタデータ) (2021-03-04T08:14:10Z) - GhostSR: Learning Ghost Features for Efficient Image Super-Resolution [49.393251361038025]
畳み込みニューラルネットワーク(CNN)に基づく単一の画像スーパーリゾリューション(SISR)システムは、膨大な計算コストを必要としながら派手なパフォーマンスを実現します。
SISRモデルの冗長な特徴(すなわちゴースト特徴)を生成するためにシフト演算を用いることを提案する。
提案モジュールに埋め込まれた非コンパクトかつ軽量なSISRモデルの両方が,ベースラインと同等の性能を発揮することを示す。
論文 参考訳(メタデータ) (2021-01-21T10:09:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。