論文の概要: Adaptively Customizing Activation Functions for Various Layers
- arxiv url: http://arxiv.org/abs/2112.09442v1
- Date: Fri, 17 Dec 2021 11:23:03 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-20 14:01:18.127750
- Title: Adaptively Customizing Activation Functions for Various Layers
- Title（参考訳）: 様々な層に対する適応型アクティベーション関数のカスタマイズ
- Authors: Haigen Hu, Aizhu Liu, Qiu Guan, Xiaoxin Li, Shengyong Chen, Qianwei
Zhou
- Abstract要約: 本研究では、Sigmoid、Tanh、ReLUといった従来のアクティベーション関数にごく少数のパラメータを追加するだけで、アクティベーション関数を適応的にカスタマイズする新しい手法を提案する。
提案手法の有効性を検証するため, 収束の促進と性能向上に関する理論的, 実験的検討を行った。
その結果、提案手法は非常に単純であるが、収束速度、精度、一般化において大きな性能を有しており、ReLUやSwishのような適応関数といった他の一般的な手法を、全体的な性能の観点からほぼ全ての実験で上回っていることがわかった。
- 参考スコア（独自算出の注目度）: 10.522556291990437
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: To enhance the nonlinearity of neural networks and increase their mapping
abilities between the inputs and response variables, activation functions play
a crucial role to model more complex relationships and patterns in the data. In
this work, a novel methodology is proposed to adaptively customize activation
functions only by adding very few parameters to the traditional activation
functions such as Sigmoid, Tanh, and ReLU. To verify the effectiveness of the
proposed methodology, some theoretical and experimental analysis on
accelerating the convergence and improving the performance is presented, and a
series of experiments are conducted based on various network models (such as
AlexNet, VGGNet, GoogLeNet, ResNet and DenseNet), and various datasets (such as
CIFAR10, CIFAR100, miniImageNet, PASCAL VOC and COCO) . To further verify the
validity and suitability in various optimization strategies and usage
scenarios, some comparison experiments are also implemented among different
optimization strategies (such as SGD, Momentum, AdaGrad, AdaDelta and ADAM) and
different recognition tasks like classification and detection. The results show
that the proposed methodology is very simple but with significant performance
in convergence speed, precision and generalization, and it can surpass other
popular methods like ReLU and adaptive functions like Swish in almost all
experiments in terms of overall performance.The code is publicly available at
https://github.com/HuHaigen/Adaptively-Customizing-Activation-Functions. The
package includes the proposed three adaptive activation functions for
reproducibility purposes.
- Abstract（参考訳）: ニューラルネットワークの非線形性を高め、入力と応答変数間のマッピング能力を高めるために、アクティベーション関数はデータ内のより複雑な関係やパターンをモデル化するために重要な役割を果たす。
本研究では,sgmoid,tanh,reluといった従来のアクティベーション関数に少数のパラメータを追加するだけで,アクティベーション関数を適応的にカスタマイズする手法を提案する。
提案手法の有効性を検証するため, 収束の促進と性能向上に関する理論的および実験的分析を行い, 各種ネットワークモデル(AlexNet, VGGNet, GoogLeNet, ResNet, DenseNet)と各種データセット(CIFAR10, CIFAR100, miniImageNet, PASCAL VOC, COCO)に基づいて一連の実験を行った。
様々な最適化戦略と利用シナリオにおける妥当性と適合性をさらに検証するために、sgd、momentum、adagrad、adadelta、adamといった異なる最適化戦略と、分類や検出のような異なる認識タスクの間で比較実験も実施されている。
結果は、提案手法は非常に単純であるが、収束速度、精度、一般化において有意な性能を有しており、reluのような他の一般的な方法や、swishのような適応関数を、全体のパフォーマンスの観点からほぼすべての実験で上回ることができることを示している。
このパッケージには再現性のために提案された3つの適応活性化機能が含まれている。
関連論文リスト
- A Method on Searching Better Activation Functions [15.180864683908878]
深層ニューラルネットワークにおける静的活性化関数を設計するためのエントロピーに基づくアクティベーション関数最適化(EAFO)手法を提案する。
我々は、CRRELU(Correction Regularized ReLU)として知られるReLUから新しいアクティベーション関数を導出する。
論文 参考訳（メタデータ） (2024-05-19T03:48:05Z) - Bayesian optimization for sparse neural networks with trainable
activation functions [0.0]
パラメータを推定する必要があるトレーニング可能なアクティベーション関数を提案する。
モデル重みとアクティベーション関数パラメータの両方から学習データから自動的に推定する完全ベイズモデルを開発した。
論文 参考訳（メタデータ） (2023-04-10T08:44:44Z) - Stochastic Adaptive Activation Function [1.9199289015460212]
本研究では,単位の位置や入力の文脈に応じて,異なるしきい値と適応的なアクティベーションを促進する,シンプルで効果的なアクティベーション関数を提案する。
実験により,我々のアクティベーション関数は,多くのディープラーニングアプリケーションにおいて,より正確な予測と早期収束の利点を享受できることを示した。
論文 参考訳（メタデータ） (2022-10-21T01:57:25Z) - ECO-TR: Efficient Correspondences Finding Via Coarse-to-Fine Refinement [80.94378602238432]
粗大な処理で対応性を見出すことにより、ECO-TR(Correspondence Efficient Transformer)と呼ばれる効率的な構造を提案する。
これを実現するために、複数の変圧器ブロックは段階的に連結され、予測された座標を徐々に洗練する。
種々のスパースタスクと密マッチングタスクの実験は、既存の最先端技術に対する効率性と有効性の両方において、我々の手法の優位性を実証している。
論文 参考訳（メタデータ） (2022-09-25T13:05:33Z) - Learning specialized activation functions with the Piecewise Linear Unit [7.820667552233989]
本稿では, 注意深く設計した定式化学習法を組み込んだ, 区分線形単位 (pwlu) と呼ばれる新しい活性化関数を提案する。
特殊なアクティベーション機能を学び、ImageNetやCOCOなどの大規模データセットでSOTA性能を達成できます。
PWLUは推論時に実装も簡単で効率も良く、現実世界のアプリケーションにも広く適用できる。
論文 参考訳（メタデータ） (2021-04-08T11:29:11Z) - Efficient Feature Transformations for Discriminative and Generative
Continual Learning [98.10425163678082]
継続的学習のための簡易タスク特化機能マップ変換戦略を提案する。
これらは新しいタスクを学習するための強力な柔軟性を提供し、ベースアーキテクチャに最小パラメータを追加することで実現される。
本手法の有効性と効率を,判別(cifar-100およびimagenet-1k)および生成的タスクの一連の実験を用いて実証する。
論文 参考訳（メタデータ） (2021-03-25T01:48:14Z) - Adversarial Feature Augmentation and Normalization for Visual
Recognition [109.6834687220478]
最近のコンピュータビジョンの進歩は、分類モデルの一般化能力を改善するために、逆データ拡張を利用する。
本稿では,中間的特徴埋め込みにおける敵対的拡張を提唱する効率的かつ効率的な代替手法を提案する。
代表的なバックボーンネットワークを用いて,多様な視覚認識タスクにまたがる提案手法を検証する。
論文 参考訳（メタデータ） (2021-03-22T20:36:34Z) - Optimization-Inspired Learning with Architecture Augmentations and
Control Mechanisms for Low-Level Vision [74.9260745577362]
本稿では,GDC(Generative, Discriminative, and Corrective)の原則を集約する,最適化に着想を得た統合学習フレームワークを提案する。
フレキシブルな組み合わせで最適化モデルを効果的に解くために,3つのプロパゲーティブモジュールを構築した。
低レベル視覚タスクにおける実験は、GDCの有効性と適応性を検証する。
論文 参考訳（メタデータ） (2020-12-10T03:24:53Z) - Fine-Grained Dynamic Head for Object Detection [68.70628757217939]
本稿では,各インスタンスの異なるスケールからfpn特徴の画素レベルの組み合わせを条件付きで選択する,きめ細かい動的ヘッドを提案する。
実験は,いくつかの最先端検出ベンチマークにおける提案手法の有効性と有効性を示す。
論文 参考訳（メタデータ） (2020-12-07T08:16:32Z) - Adaptive Gradient Method with Resilience and Momentum [120.83046824742455]
レジリエンスとモメンタム(AdaRem)を用いた適応勾配法を提案する。
AdaRemは、過去の1つのパラメータの変化方向が現在の勾配の方向と一致しているかどうかに応じてパラメータワイズ学習率を調整する。
本手法は,学習速度とテスト誤差の観点から,従来の適応学習率に基づくアルゴリズムよりも優れていた。
論文 参考訳（メタデータ） (2020-10-21T14:49:00Z) - Discovering Parametric Activation Functions [17.369163074697475]
本稿では,アクティベーション機能を自動でカスタマイズする手法を提案する。
CIFAR-10とCIFAR-100の画像分類データセット上の4つの異なるニューラルネットワークアーキテクチャによる実験は、このアプローチが有効であることを示している。
論文 参考訳（メタデータ） (2020-06-05T00:25:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。