論文の概要: Evolutionary Optimization of Deep Learning Activation Functions
- arxiv url: http://arxiv.org/abs/2002.07224v2
- Date: Sat, 11 Apr 2020 15:53:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-31 11:42:42.614756
- Title: Evolutionary Optimization of Deep Learning Activation Functions
- Title（参考訳）: 深層学習活性化関数の進化的最適化
- Authors: Garrett Bingham, William Macke, and Risto Miikkulainen
- Abstract要約: 進化的アルゴリズムは、Rectified Linear Unit(ReLU)より優れている新しいアクティベーション関数を発見できることを示す。
ReLUを活性化関数に置き換えると、統計的にネットワークの精度が向上する。
これらの新しい活性化関数は、タスク間で高いパフォーマンスを達成するために一般化される。
- 参考スコア（独自算出の注目度）: 15.628118691027328
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The choice of activation function can have a large effect on the performance
of a neural network. While there have been some attempts to hand-engineer novel
activation functions, the Rectified Linear Unit (ReLU) remains the most
commonly-used in practice. This paper shows that evolutionary algorithms can
discover novel activation functions that outperform ReLU. A tree-based search
space of candidate activation functions is defined and explored with mutation,
crossover, and exhaustive search. Experiments on training wide residual
networks on the CIFAR-10 and CIFAR-100 image datasets show that this approach
is effective. Replacing ReLU with evolved activation functions results in
statistically significant increases in network accuracy. Optimal performance is
achieved when evolution is allowed to customize activation functions to a
particular task; however, these novel activation functions are shown to
generalize, achieving high performance across tasks. Evolutionary optimization
of activation functions is therefore a promising new dimension of metalearning
in neural networks.
- Abstract（参考訳）: 活性化関数の選択は、ニューラルネットワークの性能に大きな影響を与える可能性がある。
新規のアクティベーション機能を手動で操作する試みはいくつかあるが、Rectified Linear Unit (ReLU) が最も一般的に使われている。
本稿では、ReLUより優れた新規活性化関数を進化的アルゴリズムで発見できることを示す。
候補アクティベーション関数のツリーベースの検索空間を定義し、変異、クロスオーバー、徹底的な検索で探索する。
CIFAR-10とCIFAR-100の画像データセット上で、広範囲な残差ネットワークをトレーニングする実験は、このアプローチが有効であることを示している。
ReLUを活性化関数に置き換えると、統計的にネットワーク精度が向上する。
最適性能は、進化が特定のタスクにアクティベーション関数をカスタマイズできるときに達成されるが、これらの新しいアクティベーション関数は、タスク間で高いパフォーマンスを達成するように一般化される。
したがって、アクティベーション関数の進化的最適化は、ニューラルネットワークにおけるメタラーニングの新しい次元として有望である。
関連論文リスト
- Activation Function Optimization Scheme for Image Classification [20.531966402727708]
活性化関数は、ディープニューラルネットワークの力学、収束、性能に大きな影響を及ぼす。
本稿では,画像分類タスクに特化してアクティベーション関数を最適化するための進化的アプローチを提案する。
我々は、指数誤差線形ユニット(EELU)と呼ばれる一連の高パフォーマンス活性化関数を得る。
論文 参考訳（メタデータ） (2024-09-07T21:40:15Z) - A Method on Searching Better Activation Functions [15.180864683908878]
深層ニューラルネットワークにおける静的活性化関数を設計するためのエントロピーに基づくアクティベーション関数最適化(EAFO)手法を提案する。
我々は、CRRELU(Correction Regularized ReLU)として知られるReLUから新しいアクティベーション関数を導出する。
論文 参考訳（メタデータ） (2024-05-19T03:48:05Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Efficient Activation Function Optimization through Surrogate Modeling [15.219959721479835]
本稿は,3つのステップを通じて,芸術の状況を改善することを目的としている。
まず、Act-Bench-CNN、Act-Bench-ResNet、Act-Bench-ViTのベンチマークは、畳み込み、残留、ビジョントランスフォーマーアーキテクチャのトレーニングによって作成された。
第2に、ベンチマーク空間のキャラクタリゼーションが開発され、新しいサロゲートに基づく最適化手法が開発された。
論文 参考訳（メタデータ） (2023-01-13T23:11:14Z) - Offline Reinforcement Learning with Differentiable Function
Approximation is Provably Efficient [65.08966446962845]
歴史的データを用いて意思決定戦略を最適化することを目的としたオフライン強化学習は、現実の応用に広く適用されている。
微分関数クラス近似(DFA)を用いたオフライン強化学習の検討から一歩踏み出した。
最も重要なことは、悲観的な適合Q-ラーニングアルゴリズムを解析することにより、オフライン微分関数近似が有効であることを示すことである。
論文 参考訳（メタデータ） (2022-10-03T07:59:42Z) - Improved Algorithms for Neural Active Learning [74.89097665112621]
非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。
本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
論文 参考訳（メタデータ） (2022-10-02T05:03:38Z) - Transformers with Learnable Activation Functions [63.98696070245065]
我々は、Rational Activation Function (RAF) を用いて、入力データに基づいてトレーニング中の最適なアクティベーション関数を学習する。
RAFは、学習されたアクティベーション関数に従って事前学習されたモデルを分析し、解釈するための新しい研究方向を開く。
論文 参考訳（メタデータ） (2022-08-30T09:47:31Z) - Efficient Neural Network Analysis with Sum-of-Infeasibilities [64.31536828511021]
凸最適化における総和係数法に着想を得て,広範な分岐関数を持つネットワーク上での検証クエリを解析するための新しい手法を提案する。
標準ケース分析に基づく完全探索手順の拡張は、各検索状態で実行される凸手順をDeepSoIに置き換えることによって達成できる。
論文 参考訳（メタデータ） (2022-03-19T15:05:09Z) - Going Beyond Linear RL: Sample Efficient Neural Function Approximation [76.57464214864756]
2層ニューラルネットワークによる関数近似について検討する。
この結果は線形(あるいは可溶性次元)法で達成できることを大幅に改善する。
論文 参考訳（メタデータ） (2021-07-14T03:03:56Z) - Evolution of Activation Functions: An Empirical Investigation [0.30458514384586394]
本研究は、完全に新しい活性化関数の探索を自動化する進化的アルゴリズムを提案する。
これらの新しい活性化関数を、既存の一般的なアクティベーション関数と比較する。
論文 参考訳（メタデータ） (2021-05-30T20:08:20Z) - Discovering Parametric Activation Functions [17.369163074697475]
本稿では,アクティベーション機能を自動でカスタマイズする手法を提案する。
CIFAR-10とCIFAR-100の画像分類データセット上の4つの異なるニューラルネットワークアーキテクチャによる実験は、このアプローチが有効であることを示している。
論文 参考訳（メタデータ） (2020-06-05T00:25:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。