論文の概要: Unification of popular artificial neural network activation functions
- arxiv url: http://arxiv.org/abs/2302.11007v1
- Date: Tue, 21 Feb 2023 21:20:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-23 17:01:27.807850
- Title: Unification of popular artificial neural network activation functions
- Title（参考訳）: 一般的なニューラルネットワークアクティベーション機能の統一化
- Authors: Mohammad Mostafanejad
- Abstract要約: 本稿では,最も一般的なニューラルネットワーク活性化関数の統一表現について述べる。
分数計算のMittag-Leffler関数を採用することにより、フレキシブルでコンパクトな関数形式を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a unified representation of the most popular neural network
activation functions. Adopting Mittag-Leffler functions of fractional calculus,
we propose a flexible and compact functional form that is able to interpolate
between various activation functions and mitigate common problems in training
neural networks such as vanishing and exploding gradients. The presented gated
representation extends the scope of fixed-shape activation functions to their
adaptive counterparts whose shape can be learnt from the training data. The
derivatives of the proposed functional form can also be expressed in terms of
Mittag-Leffler functions making it a suitable candidate for gradient-based
backpropagation algorithms. By training LeNet-5 neural network on MNIST and
CIFAR-10 datasets, we demonstrate that adopting a unified gated representation
of activation functions offers a promising and affordable alternative to
individual built-in implementations of activation functions in conventional
machine learning frameworks.
- Abstract（参考訳）: 本稿では,最もポピュラーなニューラルネットワークアクティベーション関数の統一表現を提案する。
分数計算のmittag-leffler関数を採用することで,様々なアクティベーション関数間の補間や,勾配の消失や爆発といったニューラルネットワークのトレーニングにおける一般的な問題を軽減できる,柔軟でコンパクトな関数形式を提案する。
提示されたゲート表現は、トレーニングデータから形状を学習可能な適応型に固定形活性化関数の範囲を広げる。
提案された関数形式の導関数は、勾配に基づくバックプロパゲーションアルゴリズムの候補として適切なmittag-leffler関数を用いて表現することもできる。
MNISTとCIFAR-10データセット上でLeNet-5ニューラルネットワークをトレーニングすることにより、活性化関数の統一ゲート表現を採用することで、従来の機械学習フレームワークにおけるアクティベーション関数の個別実装に対する、有望で安価な代替手段が提供されることを示す。
関連論文リスト
- Your Network May Need to Be Rewritten: Network Adversarial Based on High-Dimensional Function Graph Decomposition [0.994853090657971]
本稿では,上記の課題に対処するネットワーク敵手法を提案する。
これはネットワーク内で異なるアクティベーション関数を使用する最初の方法である。
トレーニング効率と予測精度の両面で,標準的なアクティベーション機能よりも大幅に向上した。
論文 参考訳（メタデータ） (2024-05-04T11:22:30Z) - Adaptive Activation Functions for Predictive Modeling with Sparse
Experimental Data [2.012425476229879]
本研究では,適応的あるいは訓練可能なアクティベーション関数が,限られたデータ可用性を特徴とする設定における分類精度と予測不確実性に与える影響について検討した。
本研究は,個別の訓練可能なパラメータを持つ指数線形ユニット(ELU)やソフトプラスなどの適応活性化関数が正確かつ確実な予測モデルをもたらすことを示す。
論文 参考訳（メタデータ） (2024-02-08T04:35:09Z) - Fractional Concepts in Neural Networks: Enhancing Activation and Loss
Functions [0.7614628596146602]
本稿では,ニューラルネットワークにおける分数的概念を用いて,アクティベーションと損失関数の修正を行う手法を提案する。
これにより、ネットワーク内のニューロンがアクティベーション関数を調整して、入力データとの整合性を向上し、出力エラーを低減できる。
論文 参考訳（メタデータ） (2023-10-18T10:49:29Z) - Neural Estimation of Submodular Functions with Applications to
Differentiable Subset Selection [50.14730810124592]
サブモジュール関数と変種は、多様性とカバレッジを特徴付ける能力を通じて、データ選択と要約のための重要なツールとして登場した。
本稿では,モノトーンおよび非モノトーン部分モジュラー関数のためのフレキシブルニューラルネットワークであるFLEXSUBNETを提案する。
論文 参考訳（メタデータ） (2022-10-20T06:00:45Z) - Stabilizing Q-learning with Linear Architectures for Provably Efficient
Learning [53.17258888552998]
本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。
このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
論文 参考訳（メタデータ） (2022-06-01T23:26:51Z) - Data-Driven Learning of Feedforward Neural Networks with Different
Activation Functions [0.0]
この研究は、フィードフォワードニューラルネットワーク(FNN)学習の新しいデータ駆動手法(D-DM)の開発に寄与する。
論文 参考訳（メタデータ） (2021-07-04T18:20:27Z) - A Functional Perspective on Learning Symmetric Functions with Neural
Networks [48.80300074254758]
本研究では,測定値に基づいて定義されたニューラルネットワークの学習と表現について検討する。
正規化の異なる選択の下で近似と一般化境界を確立する。
得られたモデルは効率よく学習でき、入力サイズにまたがる一般化保証を享受できる。
論文 参考訳（メタデータ） (2020-08-16T16:34:33Z) - UNIPoint: Universally Approximating Point Processes Intensities [125.08205865536577]
学習可能な関数のクラスが任意の有効な強度関数を普遍的に近似できることを示す。
ニューラルポイントプロセスモデルであるUNIPointを実装し,各イベントの基底関数の和をパラメータ化するために,リカレントニューラルネットワークを用いた。
論文 参考訳（メタデータ） (2020-07-28T09:31:56Z) - A survey on modern trainable activation functions [0.0]
本稿では,訓練可能なアクティベーション関数の分類法を提案し,近年のモデルと過去のモデルの共通性と特異性を強調した。
提案手法の多くは、固定的な(訓練不能な)アクティベーション関数を使用するニューロン層の追加と等価であることを示す。
論文 参考訳（メタデータ） (2020-05-02T12:38:43Z) - Towards Efficient Processing and Learning with Spikes: New Approaches
for Multi-Spike Learning [59.249322621035056]
各種タスクにおける他のベースラインよりも優れた性能を示すための2つの新しいマルチスパイク学習ルールを提案する。
特徴検出タスクでは、教師なしSTDPの能力と、その制限を提示する能力を再検討する。
提案した学習ルールは,特定の制約を適用せずに,幅広い条件で確実にタスクを解くことができる。
論文 参考訳（メタデータ） (2020-05-02T06:41:20Z) - Invariant Feature Coding using Tensor Product Representation [75.62232699377877]
我々は,群不変特徴ベクトルが線形分類器を学習する際に十分な識別情報を含んでいることを証明した。
主成分分析やk平均クラスタリングにおいて,グループアクションを明示的に考慮する新たな特徴モデルを提案する。
論文 参考訳（メタデータ） (2019-06-05T07:15:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。