Fugu-MT 論文翻訳(概要): Rotate the ReLU to implicitly sparsify deep networks

論文の概要: Rotate the ReLU to implicitly sparsify deep networks

arxiv url: http://arxiv.org/abs/2206.00488v1
Date: Wed, 1 Jun 2022 13:38:45 GMT
ステータス: 処理完了
システム内更新日: 2022-06-02 12:44:28.922765
Title: Rotate the ReLU to implicitly sparsify deep networks
Title（参考訳）: 深層ネットワークを暗黙的に分散させるReLUを回転させる
Authors: Nancy Nayak, Sheetal Kalyani
Abstract要約: 本稿では,ReLUアクティベーションを回転させてアーキテクチャにさらなる自由度を与える,という新しいアイデアを提案する。トレーニングによって回転が学習されるこのアクティベーションは、タスクに重要でないネットワーク内のこれらのパラメータ/フィルタの除去をもたらすことを示す。
参考スコア（独自算出の注目度）: 13.203765985718201
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In the era of Deep Neural Network based solutions for a variety of real-life tasks, having a compact and energy-efficient deployable model has become fairly important. Most of the existing deep architectures use Rectifier Linear Unit (ReLU) activation. In this paper, we propose a novel idea of rotating the ReLU activation to give one more degree of freedom to the architecture. We show that this activation wherein the rotation is learned via training results in the elimination of those parameters/filters in the network which are not important for the task. In other words, rotated ReLU seems to be doing implicit sparsification. The slopes of the rotated ReLU activations act as coarse feature extractors and unnecessary features can be eliminated before retraining. Our studies indicate that features always choose to pass through a lesser number of filters in architectures such as ResNet and its variants. Hence, by rotating the ReLU, the weights or the filters that are not necessary are automatically identified and can be dropped thus giving rise to significant savings in memory and computation. Furthermore, in some cases, we also notice that along with saving in memory and computation we also obtain improvement over the reported performance of the corresponding baseline work in the popular datasets such as MNIST, CIFAR-10, CIFAR-100, and SVHN.
Abstract（参考訳）: 様々な実生活タスクに対するディープニューラルネットワークベースのソリューションの時代において、コンパクトでエネルギー効率の良いデプロイ可能なモデルがかなり重要になっている。既存のディープアーキテクチャのほとんどはRectifier Linear Unit(ReLU)アクティベーションを使用している。本稿では,ReLUアクティベーションを回転させてアーキテクチャにさらなる自由度を与える,という新しいアイデアを提案する。トレーニングによって回転が学習されるこのアクティベーションは、タスクに重要でないネットワーク内のこれらのパラメータ/フィルタの除去をもたらすことを示す。言い換えれば、回転したReLUは暗黙のスパーシフィケーションを行っているようだ。回転するreluアクティベーションの傾斜は粗い特徴抽出器として作用し、再訓練前に不要な特徴を除去することができる。我々の研究は、常にResNetやその変種のようなアーキテクチャにおいて、より少ない数のフィルタを通過させることを選択していることを示している。したがって、ReLUを回転させることで、不要な重みやフィルタを自動的に識別し、ドロップすることが可能となり、メモリと計算の大幅な節約につながる。さらに、メモリと計算の節約とともに、MNIST、CIFAR-10、CIFAR-100、SVHNなどの一般的なデータセットにおいて、対応するベースライン処理の報告された性能よりも改善されていることも認識している。

関連論文リスト

Leaky ReLUs That Differ in Forward and Backward Pass Facilitate Activation Maximization in Deep Neural Networks [0.022344294014777957]
アクティベーション(AM)は最適な入力を生成し、トレーニングされたディープニューラルネットワークで高い応答をトリガーする機能を明らかにする。本稿では,ReLU や Leaky ReLU を含む単純な関数に対して,AM が最適入力を生成できないことを示す。本稿では,後進パスに負の勾配を持つLeaky ReLUを用いて,前進パスに,元の(通常ゼロの)傾斜を保ちながら,後方パスに高い負の勾配を持つ解を提案する。
論文参考訳（メタデータ） (2024-10-22T12:38:39Z)
REDS: Resource-Efficient Deep Subnetworks for Dynamic Resource Constraints [2.9209462960232235]
最先端の機械学習パイプラインは、実行時に適応できないリソースに依存しないモデルを生成する。本稿では,資源効率の高いDeep Subnetworks (REDS) を導入し,変動資源へのモデル適応に取り組む。本稿では,サブモデルのテストセット精度の観点から,REDSの優れた性能を示す理論的結果と実証的証拠を提供する。
論文参考訳（メタデータ） (2023-11-22T12:34:51Z)
Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文参考訳（メタデータ） (2023-03-16T21:06:13Z)
RevBiFPN: The Fully Reversible Bidirectional Feature Pyramid Network [3.54359747576165]
RevSiloは、最初の可逆的マルチスケール機能融合モジュールである。完全に可逆な双方向特徴ピラミッドネットワークであるRevBiFPNを開発した。 RevBiFPNは、少ないMACと2.4倍のトレーニング時間メモリを使用して、HRNet上のAPを最大2.5%向上させる。
論文参考訳（メタデータ） (2022-06-28T15:48:05Z)
Structured Sparsity Learning for Efficient Video Super-Resolution [99.1632164448236]
我々は、ビデオ超解像(VSR)モデルの特性に応じて、構造化スパシティ学習(SSL)と呼ばれる構造化プルーニング手法を開発する。 SSLでは,残差ブロック,リカレントネットワーク,アップサンプリングネットワークなど,VSRモデルのいくつかの重要なコンポーネントに対するプルーニングスキームを設計する。
論文参考訳（メタデータ） (2022-06-15T17:36:04Z)
Deep Learning without Shortcuts: Shaping the Kernel with Tailored Rectifiers [83.74380713308605]
我々は、ReLUの変種であるLeaky ReLUsと完全に互換性のある新しいタイプの変換を開発する。実験では,ResNetsと競合する深層バニラネットワークによる検証精度を考慮し,計算コストを考慮しない手法を提案する。
論文参考訳（メタデータ） (2022-03-15T17:49:08Z)
Edge Rewiring Goes Neural: Boosting Network Resilience via Policy Gradient [62.660451283548724]
ResiNetは、さまざまな災害や攻撃に対する回復力のあるネットワークトポロジを発見するための強化学習フレームワークである。 ResiNetは複数のグラフに対してほぼ最適のレジリエンス向上を実現し,ユーティリティのバランスを保ちながら,既存のアプローチに比べて大きなマージンを持つことを示す。
論文参考訳（メタデータ） (2021-10-18T06:14:28Z)
Learning specialized activation functions with the Piecewise Linear Unit [7.820667552233989]
本稿では, 注意深く設計した定式化学習法を組み込んだ, 区分線形単位 (pwlu) と呼ばれる新しい活性化関数を提案する。特殊なアクティベーション機能を学び、ImageNetやCOCOなどの大規模データセットでSOTA性能を達成できます。 PWLUは推論時に実装も簡単で効率も良く、現実世界のアプリケーションにも広く適用できる。
論文参考訳（メタデータ） (2021-04-08T11:29:11Z)
Improving Computational Efficiency in Visual Reinforcement Learning via Stored Embeddings [89.63764845984076]
効率的な強化学習のためのストアド埋め込み(SEER)について紹介します。 SEERは、既存の非政治深層強化学習方法の簡単な修正です。計算とメモリを大幅に節約しながら、SEERがRLizableエージェントのパフォーマンスを低下させないことを示します。
論文参考訳（メタデータ） (2021-03-04T08:14:10Z)
GhostSR: Learning Ghost Features for Efficient Image Super-Resolution [49.393251361038025]
畳み込みニューラルネットワーク(CNN)に基づく単一の画像スーパーリゾリューション(SISR)システムは、膨大な計算コストを必要としながら派手なパフォーマンスを実現します。 SISRモデルの冗長な特徴(すなわちゴースト特徴)を生成するためにシフト演算を用いることを提案する。提案モジュールに埋め込まれた非コンパクトかつ軽量なSISRモデルの両方が,ベースラインと同等の性能を発揮することを示す。
論文参考訳（メタデータ） (2021-01-21T10:09:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。