論文の概要: PEA: Improving the Performance of ReLU Networks for Free by Using
Progressive Ensemble Activations
- arxiv url: http://arxiv.org/abs/2207.14074v1
- Date: Thu, 28 Jul 2022 13:29:07 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-29 12:04:07.106491
- Title: PEA: Improving the Performance of ReLU Networks for Free by Using
Progressive Ensemble Activations
- Title（参考訳）: PEA: プログレッシブ・アンサンブル・アクティベーションによる無料ReLUネットワークの性能向上
- Authors: \'Akos Utasi
- Abstract要約: ニューラルネットワークの性能を改善するために、新しい活性化関数が提案されている。
本稿では,ReLUネットワークの性能向上に有効な手法を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years novel activation functions have been proposed to improve the
performance of neural networks, and they show superior performance compared to
the ReLU counterpart. However, there are environments, where the availability
of complex activations is limited, and usually only the ReLU is supported. In
this paper we propose methods that can be used to improve the performance of
ReLU networks by using these efficient novel activations during model training.
More specifically, we propose ensemble activations that are composed of the
ReLU and one of these novel activations. Furthermore, the coefficients of the
ensemble are neither fixed nor learned, but are progressively updated during
the training process in a way that by the end of the training only the ReLU
activations remain active in the network and the other activations can be
removed. This means that in inference time the network contains ReLU
activations only. We perform extensive evaluations on the ImageNet
classification task using various compact network architectures and various
novel activation functions. Results show 0.2-0.8% top-1 accuracy gain, which
confirms the applicability of the proposed methods. Furthermore, we demonstrate
the proposed methods on semantic segmentation and we boost the performance of a
compact segmentation network by 0.34% mIOU on the Cityscapes dataset.
- Abstract（参考訳）: 近年,ニューラルネットワークの性能向上のために新たな活性化関数が提案されている。
しかし、複雑なアクティベーションの可用性が制限され、通常はReLUのみをサポートする環境が存在する。
本稿では、モデルトレーニング中にこれらの効率的な新規アクティベーションを用いて、reluネットワークの性能を向上させる手法を提案する。
具体的には、ReLUとこれらの新しいアクティベーションの1つからなるアンサンブルアクティベーションを提案する。
さらに、アンサンブルの係数は固定も学習もしないが、トレーニングの終了までにReLU活性化のみをネットワーク内でアクティブにし、他のアクティベーションを除去できるように、トレーニングプロセス中に段階的に更新される。
これは、推論時間内にネットワークがReLUアクティベーションのみを含むことを意味する。
様々なコンパクトネットワークアーキテクチャと様々な新しい活性化関数を用いて,imagenet分類タスクの広範な評価を行う。
その結果,0.8%の精度向上が得られ,提案手法の適用性が確認された。
さらに,提案手法のセマンティックセグメンテーションを実証し,Cityscapesデータセット上で0.34%のmIOUでコンパクトセグメンテーションネットワークの性能を向上する。
関連論文リスト
- A Method on Searching Better Activation Functions [15.180864683908878]
深層ニューラルネットワークにおける静的活性化関数を設計するためのエントロピーに基づくアクティベーション関数最適化(EAFO)手法を提案する。
我々は、CRRELU(Correction Regularized ReLU)として知られるReLUから新しいアクティベーション関数を導出する。
論文 参考訳（メタデータ） (2024-05-19T03:48:05Z) - Improving Classification Neural Networks by using Absolute activation
function (MNIST/LeNET-5 example) [0.0]
ディープネットワークでは絶対的活性化は消滅や爆発的な勾配を引き起こしないため、絶対的活性化は単純なニューラルネットワークとディープニューラルネットワークの両方で使用できる。
Absolute アクティベーションに基づく LeNet のようなアーキテクチャで MNIST 問題を解くことで,予測精度を向上させることにより,ニューラルネットワーク内のトレーニングパラメータの数を著しく削減できることが示されている。
論文 参考訳（メタデータ） (2023-04-23T22:17:58Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Learning Bayesian Sparse Networks with Full Experience Replay for
Continual Learning [54.7584721943286]
継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。
既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。
我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
論文 参考訳（メタデータ） (2022-02-21T13:25:03Z) - SMU: smooth activation function for deep networks using smoothing
maximum technique [1.5267236995686555]
本稿では、Leaky ReLUのような既知のアクティベーション関数の近似に基づく新しいアクティベーション関数を提案する。
ShuffleNet V2モデルでCIFAR100データセットを6.22%改善しました。
論文 参考訳（メタデータ） (2021-11-08T17:54:08Z) - Bridging the Gap Between Target Networks and Functional Regularization [61.051716530459586]
ターゲットネットワークは暗黙の正則化器として機能し、いくつかのケースでは有益であるが、欠点もある。
本稿では,フレキシブルな関数正規化法と関数空間における凸正規化法を提案する。
この結果から,機能正規化はTarget Networksのドロップイン代替として利用でき,結果として性能が向上することが示唆された。
論文 参考訳（メタデータ） (2021-06-04T17:21:07Z) - CondenseNet V2: Sparse Feature Reactivation for Deep Networks [87.38447745642479]
高密度接続によるディープネットワークの機能再利用は、高い計算効率を達成する効果的な方法である。
スパース機能再活性化(SFR)と呼ばれる代替アプローチを提案し、再利用機能の有用性を積極的に高めることを目指しています。
提案手法は画像分類(ImageNet, CIFAR)とオブジェクト検出(MSCOCO)において,理論的効率と実用的速度の両面で有望な性能を達成できることを示す。
論文 参考訳（メタデータ） (2021-04-09T14:12:43Z) - Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。
ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。
さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
論文 参考訳（メタデータ） (2020-12-31T08:21:37Z) - ReActNet: Towards Precise Binary Neural Network with Generalized
Activation Functions [76.05981545084738]
本稿では,新たな計算コストを伴わずに,実数値ネットワークからの精度ギャップを埋めるため,バイナリネットワークを強化するためのいくつかのアイデアを提案する。
まず,パラメータフリーのショートカットを用いて,コンパクトな実数値ネットワークを修正・バイナライズすることで,ベースラインネットワークを構築する。
提案したReActNetはすべての最先端技術よりも大きなマージンで優れていることを示す。
論文 参考訳（メタデータ） (2020-03-07T02:12:02Z) - Evolutionary Optimization of Deep Learning Activation Functions [15.628118691027328]
進化的アルゴリズムは、Rectified Linear Unit(ReLU)より優れている新しいアクティベーション関数を発見できることを示す。
ReLUを活性化関数に置き換えると、統計的にネットワークの精度が向上する。
これらの新しい活性化関数は、タスク間で高いパフォーマンスを達成するために一般化される。
論文 参考訳（メタデータ） (2020-02-17T19:54:26Z) - Cooperative Initialization based Deep Neural Network Training [35.14235994478142]
本手法では,ネットワークのトレーニング中に,全ての重みパラメータの更新に複数のアクティベーション関数を用いる。
提案手法は,様々なベースラインに優れ,同時に分類や検出など,さまざまなタスクに対して優れた性能を発揮する。
論文 参考訳（メタデータ） (2020-01-05T14:08:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。