論文の概要: Discovering Parametric Activation Functions

• arxiv url: http://arxiv.org/abs/2006.03179v5
• Date: Fri, 21 Jan 2022 19:39:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-25 02:25:03.377425
• Title: Discovering Parametric Activation Functions
• Title（参考訳）: パラメトリック活性化関数の発見
• Authors: Garrett Bingham and Risto Miikkulainen
• Abstract要約: 本稿では,アクティベーション機能を自動でカスタマイズする手法を提案する。 CIFAR-10とCIFAR-100の画像分類データセット上の4つの異なるニューラルネットワークアーキテクチャによる実験は、このアプローチが有効であることを示している。
• 参考スコア（独自算出の注目度）: 17.369163074697475
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recent studies have shown that the choice of activation function can significantly affect the performance of deep learning networks. However, the benefits of novel activation functions have been inconsistent and task dependent, and therefore the rectified linear unit (ReLU) is still the most commonly used. This paper proposes a technique for customizing activation functions automatically, resulting in reliable improvements in performance. Evolutionary search is used to discover the general form of the function, and gradient descent to optimize its parameters for different parts of the network and over the learning process. Experiments with four different neural network architectures on the CIFAR-10 and CIFAR-100 image classification datasets show that this approach is effective. It discovers both general activation functions and specialized functions for different architectures, consistently improving accuracy over ReLU and other activation functions by significant margins. The approach can therefore be used as an automated optimization step in applying deep learning to new tasks.
• Abstract（参考訳）: 近年の研究では、アクティベーション関数の選択がディープラーニングネットワークの性能に大きな影響を与えることが示されている。 しかし、新しい活性化関数の利点は一貫性がなく、タスク依存であり、したがって整列線形単位(ReLU)が最も一般的に使われている。 本稿では,アクティベーション機能を自動でカスタマイズする手法を提案する。 進化的探索は、関数の一般的な形式と勾配降下を発見し、そのパラメータをネットワークのさまざまな部分と学習プロセスで最適化するために用いられる。 CIFAR-10とCIFAR-100の画像分類データセット上の4つの異なるニューラルネットワークアーキテクチャによる実験は、このアプローチが有効であることを示している。 異なるアーキテクチャに対する一般的なアクティベーション関数と特殊関数の両方を発見し、ReLUや他のアクティベーション関数の精度を著しく向上する。 したがってこのアプローチは、新しいタスクにディープラーニングを適用するための自動化された最適化ステップとして使用できる。

関連論文リスト

• Active Learning for Derivative-Based Global Sensitivity Analysis with Gaussian Processes [70.66864668709677]
  高価なブラックボックス関数のグローバル感度解析におけるアクティブラーニングの問題点を考察する。 関数評価は高価であるため,最も価値の高い実験資源の優先順位付けにアクティブラーニングを利用する。 本稿では,デリバティブに基づくグローバル感度測定の重要量を直接対象とする,新たな能動的学習獲得関数を提案する。
  論文  参考訳（メタデータ） (2024-07-13T01:41:12Z)
• APALU: A Trainable, Adaptive Activation Function for Deep Learning Networks [0.0]
  APALU(Adaptive piecewise approximated activation linear unit)を新たに導入する。 実験では、様々なタスクに広く使用されるアクティベーション関数よりも大幅に改善されている。 APALUは、限られたデータセットで手話認識タスクにおいて100%精度を達成する。
  論文  参考訳（メタデータ） (2024-02-13T06:18:42Z)
• GELU Activation Function in Deep Learning: A Comprehensive Mathematical Analysis and Performance [2.458437232470188]
  GELU活性化関数の可微分性, 有界性, 定常性, 滑らか性について検討した。 GELUは,他のアクティベーション機能と比較して優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-20T03:22:43Z)
• Offline Reinforcement Learning with Differentiable Function Approximation is Provably Efficient [65.08966446962845]
  歴史的データを用いて意思決定戦略を最適化することを目的としたオフライン強化学習は、現実の応用に広く適用されている。 微分関数クラス近似(DFA)を用いたオフライン強化学習の検討から一歩踏み出した。 最も重要なことは、悲観的な適合Q-ラーニングアルゴリズムを解析することにより、オフライン微分関数近似が有効であることを示すことである。
  論文  参考訳（メタデータ） (2022-10-03T07:59:42Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• Transformers with Learnable Activation Functions [63.98696070245065]
  我々は、Rational Activation Function (RAF) を用いて、入力データに基づいてトレーニング中の最適なアクティベーション関数を学習する。 RAFは、学習されたアクティベーション関数に従って事前学習されたモデルを分析し、解釈するための新しい研究方向を開く。
  論文  参考訳（メタデータ） (2022-08-30T09:47:31Z)
• Stabilizing Q-learning with Linear Architectures for Provably Efficient Learning [53.17258888552998]
  本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。 このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
  論文  参考訳（メタデータ） (2022-06-01T23:26:51Z)
• Evolution of Activation Functions: An Empirical Investigation [0.30458514384586394]
  本研究は、完全に新しい活性化関数の探索を自動化する進化的アルゴリズムを提案する。 これらの新しい活性化関数を、既存の一般的なアクティベーション関数と比較する。
  論文  参考訳（メタデータ） (2021-05-30T20:08:20Z)
• Learning specialized activation functions with the Piecewise Linear Unit [7.820667552233989]
  本稿では, 注意深く設計した定式化学習法を組み込んだ, 区分線形単位 (pwlu) と呼ばれる新しい活性化関数を提案する。 特殊なアクティベーション機能を学び、ImageNetやCOCOなどの大規模データセットでSOTA性能を達成できます。 PWLUは推論時に実装も簡単で効率も良く、現実世界のアプリケーションにも広く適用できる。
  論文  参考訳（メタデータ） (2021-04-08T11:29:11Z)
• Efficient Feature Transformations for Discriminative and Generative Continual Learning [98.10425163678082]
  継続的学習のための簡易タスク特化機能マップ変換戦略を提案する。 これらは新しいタスクを学習するための強力な柔軟性を提供し、ベースアーキテクチャに最小パラメータを追加することで実現される。 本手法の有効性と効率を,判別(cifar-100およびimagenet-1k)および生成的タスクの一連の実験を用いて実証する。
  論文  参考訳（メタデータ） (2021-03-25T01:48:14Z)
• Evolutionary Optimization of Deep Learning Activation Functions [15.628118691027328]
  進化的アルゴリズムは、Rectified Linear Unit(ReLU)より優れている新しいアクティベーション関数を発見できることを示す。 ReLUを活性化関数に置き換えると、統計的にネットワークの精度が向上する。 これらの新しい活性化関数は、タスク間で高いパフォーマンスを達成するために一般化される。
  論文  参考訳（メタデータ） (2020-02-17T19:54:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。