論文の概要: Growing Cosine Unit: A Novel Oscillatory Activation Function That Can
Speedup Training and Reduce Parameters in Convolutional Neural Networks
- arxiv url: http://arxiv.org/abs/2108.12943v1
- Date: Mon, 30 Aug 2021 01:07:05 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-31 14:21:40.836610
- Title: Growing Cosine Unit: A Novel Oscillatory Activation Function That Can
Speedup Training and Reduce Parameters in Convolutional Neural Networks
- Title（参考訳）: 成長コサインユニット:畳み込みニューラルネットワークにおけるトレーニングとパラメータの短縮を可能にする新しい振動活性化関数
- Authors: Mathew Mithra Noel, Arunkumar L, Advait Trivedi, Praneet Dutta
- Abstract要約: 畳み込みニューラルネットワークは多くの社会的に重要で経済的に重要な問題を解くことに成功した。
ディープネットワークのトレーニングを可能にする重要な発見は、Rectified Linear Unit (ReLU) アクティベーション機能の採用であった。
新しい活性化関数 C(z) = z cos z は様々なアーキテクチャ上で Sigmoids, Swish, Mish, ReLU より優れる。
- 参考スコア（独自算出の注目度）: 0.1529342790344802
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Convolution neural networks have been successful in solving many socially
important and economically significant problems. Their ability to learn complex
high-dimensional functions hierarchically can be attributed to the use of
nonlinear activation functions. A key discovery that made training deep
networks feasible was the adoption of the Rectified Linear Unit (ReLU)
activation function to alleviate the vanishing gradient problem caused by using
saturating activation functions. Since then many improved variants of the ReLU
activation have been proposed. However a majority of activation functions used
today are non-oscillatory and monotonically increasing due to their biological
plausibility. This paper demonstrates that oscillatory activation functions can
improve gradient flow and reduce network size. It is shown that oscillatory
activation functions allow neurons to switch classification (sign of output)
within the interior of neuronal hyperplane positive and negative half-spaces
allowing complex decisions with fewer neurons. A new oscillatory activation
function C(z) = z cos z that outperforms Sigmoids, Swish, Mish and ReLU on a
variety of architectures and benchmarks is presented. This new activation
function allows even single neurons to exhibit nonlinear decision boundaries.
This paper presents a single neuron solution to the famous XOR problem.
Experimental results indicate that replacing the activation function in the
convolutional layers with C(z) significantly improves performance on CIFAR-10,
CIFAR-100 and Imagenette.
- Abstract（参考訳）: 畳み込みニューラルネットワークは多くの社会的に重要で経済的に重要な問題を解決することに成功した。
複素高次元関数を階層的に学習する能力は、非線形活性化関数の使用に起因する。
深層ネットワークのトレーニングを可能とした重要な発見は、飽和活性化関数の使用による消失勾配問題を軽減するために、Rectified Linear Unit (ReLU) アクティベーション関数を採用したことである。
それ以来、多くの改良されたReLUアクティベーションが提案されている。
しかし、今日の活性化機能の大部分は、その生物学的妥当性のため、非振動性で単調に増加する。
本稿では,振動活性化関数が勾配流れを改善し,ネットワークサイズを小さくできることを示す。
振動活性化関数により、ニューロンはニューロンの高平面の正と負の半空間の内部の分類(出力の符号)を切り替え、より少ない神経細胞で複雑な決定をすることができる。
様々なアーキテクチャやベンチマークでsgmoids, swish, mish, reluよりも優れる新しい振動活性化関数 c(z) = z cos z について述べる。
この新しい活性化関数により、単一ニューロンでさえ非線形決定境界を示すことができる。
本稿では,有名なXOR問題に対する単一ニューロン解法を提案する。
CIFAR-10, CIFAR-100, Imagenetteでは, 畳み込み層の活性化関数をC(z)で置き換えることにより, 性能が著しく向上した。
関連論文リスト
- Hadamard Representations: Augmenting Hyperbolic Tangents in RL [8.647614188619315]
活性化関数は、ディープニューラルネットワークの重要なコンポーネントの1つである。
強化学習では、連続的な微分可能なアクティベーションの性能は、線形単位関数と比較して低下することが多い。
我々は、より高速な学習、死んだ神経細胞の減少、深いQ-ネットワークによる効果的なランクの向上を示す。
論文 参考訳（メタデータ） (2024-06-13T13:03:37Z) - A Significantly Better Class of Activation Functions Than ReLU Like Activation Functions [0.8287206589886881]
本稿では、ほぼ普遍的に使われているReLUlikeやSigmoidalのアクティベーション関数よりもはるかに優れたアクティベーション関数のクラスを導入する。
2つの新しいアクティベーション関数は、一般的なアクティベーション関数と大きく異なるコーンとパラボリックコーンと呼ばれる。
本稿では,多くの非線形実世界のデータセットを半空間よりも少ないハイパーストリップで分離できることを示す。
論文 参考訳（メタデータ） (2024-05-07T16:24:03Z) - TSSR: A Truncated and Signed Square Root Activation Function for Neural
Networks [5.9622541907827875]
我々は、Trncated and Signed Square Root (TSSR) 関数と呼ばれる新しいアクティベーション関数を導入する。
この関数は奇数、非線形、単調、微分可能であるため特異である。
ニューラルネットワークの数値安定性を改善する可能性がある。
論文 参考訳（メタデータ） (2023-08-09T09:40:34Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Evaluating CNN with Oscillatory Activation Function [0.0]
画像から高次元の複雑な特徴を学習できるCNNは、アクティベーション関数によって導入された非線形性である。
本稿では、発振活性化関数(GCU)と、ReLu、PReLu、Mishなどの一般的なアクティベーション関数を用いて、MNISTおよびCIFAR10データセット上でのCNNアーキテクチャALexNetの性能について検討する。
論文 参考訳（メタデータ） (2022-11-13T11:17:13Z) - Neural Estimation of Submodular Functions with Applications to
Differentiable Subset Selection [50.14730810124592]
サブモジュール関数と変種は、多様性とカバレッジを特徴付ける能力を通じて、データ選択と要約のための重要なツールとして登場した。
本稿では,モノトーンおよび非モノトーン部分モジュラー関数のためのフレキシブルニューラルネットワークであるFLEXSUBNETを提案する。
論文 参考訳（メタデータ） (2022-10-20T06:00:45Z) - Learning Bayesian Sparse Networks with Full Experience Replay for
Continual Learning [54.7584721943286]
継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。
既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。
我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
論文 参考訳（メタデータ） (2022-02-21T13:25:03Z) - Biologically Inspired Oscillating Activation Functions Can Bridge the
Performance Gap between Biological and Artificial Neurons [2.362412515574206]
本稿では,ヒト錐体ニューロンにインスパイアされた4つの新しい振動活性化関数を提案する。
振動活性化関数は、一般的なアクティベーション関数とは異なり、全ての入力に対して非飽和である。
一般的なモノトニックや非モノトニックなシングルゼロアクティベーション関数の代わりに発振活性化関数を使用すると、ニューラルネットワークはより速くトレーニングし、少ない層で分類問題を解くことができる。
論文 参考訳（メタデータ） (2021-11-07T07:31:58Z) - Comparisons among different stochastic selection of activation layers
for convolutional neural networks for healthcare [77.99636165307996]
ニューラルネットワークのアンサンブルを用いて生体医用画像の分類を行う。
ReLU, leaky ReLU, Parametric ReLU, ELU, Adaptive Piecewice Linear Unit, S-Shaped ReLU, Swish, Mish, Mexican Linear Unit, Parametric Deformable Linear Unit, Soft Root Sign。
論文 参考訳（メタデータ） (2020-11-24T01:53:39Z) - Towards Efficient Processing and Learning with Spikes: New Approaches
for Multi-Spike Learning [59.249322621035056]
各種タスクにおける他のベースラインよりも優れた性能を示すための2つの新しいマルチスパイク学習ルールを提案する。
特徴検出タスクでは、教師なしSTDPの能力と、その制限を提示する能力を再検討する。
提案した学習ルールは,特定の制約を適用せずに,幅広い条件で確実にタスクを解くことができる。
論文 参考訳（メタデータ） (2020-05-02T06:41:20Z) - Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。
コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文 参考訳（メタデータ） (2020-02-02T21:09:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。