論文の概要: Consensus Function from an $L_p^q-$norm Regularization Term for its Use
as Adaptive Activation Functions in Neural Networks
- arxiv url: http://arxiv.org/abs/2206.15017v1
- Date: Thu, 30 Jun 2022 04:48:14 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-01 14:11:29.932227
- Title: Consensus Function from an $L_p^q-$norm Regularization Term for its Use
as Adaptive Activation Functions in Neural Networks
- Title（参考訳）: ニューラルネットワークの適応活性化関数としての$L_p^q-$norm正規化項からの合意関数
- Authors: Juan Heredia-Juesas and Jos\'e \'A. Mart\'inez-Lorenzo
- Abstract要約: 本稿では,学習過程においてその形状に適応する暗黙的,パラメトリックな非線形活性化関数の定義と利用を提案する。
この事実は、ネットワーク内で最適化するパラメータの空間を増大させるが、柔軟性を高め、ニューラルネットワークの概念を一般化する。
予備的な結果は、この種の適応的アクティベーション関数によるニューラルネットワークの使用は、回帰や分類の例における誤差を減少させることを示している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The design of a neural network is usually carried out by defining the number
of layers, the number of neurons per layer, their connections or synapses, and
the activation function that they will execute. The training process tries to
optimize the weights assigned to those connections, together with the biases of
the neurons, to better fit the training data. However, the definition of the
activation functions is, in general, determined in the design process and not
modified during the training, meaning that their behavior is unrelated to the
training data set. In this paper we propose the definition and utilization of
an implicit, parametric, non-linear activation function that adapts its shape
during the training process. This fact increases the space of parameters to
optimize within the network, but it allows a greater flexibility and
generalizes the concept of neural networks. Furthermore, it simplifies the
architectural design since the same activation function definition can be
employed in each neuron, letting the training process to optimize their
parameters and, thus, their behavior. Our proposed activation function comes
from the definition of the consensus variable from the optimization of a linear
underdetermined problem with an $L_p^q$ regularization term, via the
Alternating Direction Method of Multipliers (ADMM). We define the neural
networks using this type of activation functions as $pq-$networks. Preliminary
results show that the use of these neural networks with this type of adaptive
activation functions reduces the error in regression and classification
examples, compared to equivalent regular feedforward neural networks with fixed
activation functions.
- Abstract（参考訳）: ニューラルネットワークの設計は通常、レイヤーの数、レイヤごとのニューロンの数、それらの接続やシナプス、そしてそれらが実行するアクティベーション関数を定義することによって行われる。
トレーニングプロセスは、これらの接続に割り当てられた重みを、ニューロンのバイアスとともに最適化し、トレーニングデータに適合させようとする。
しかしながら、アクティベーション関数の定義は一般に、設計プロセスにおいて決定され、トレーニング中に変更されない。
本稿では,学習過程においてその形状に適応する暗黙的,パラメトリックな非線形活性化関数の定義と利用を提案する。
この事実は、ネットワーク内で最適化するパラメータの空間を増加させるが、柔軟性を高め、ニューラルネットワークの概念を一般化する。
さらに、各ニューロンで同じ活性化関数定義を使用できるため、トレーニングプロセスがパラメータを最適化し、従ってその振る舞いを最適化できるため、アーキテクチャ設計を単純化する。
提案するアクティベーション関数は,乗算器の交互方向法(ADMM)を介して,$L_p^q$正規化項による線形不定値問題の最適化から,コンセンサス変数の定義から得られる。
このタイプの活性化関数を用いてニューラルネットワークを$pq-$networksと定義する。
予備的な結果は、この種の適応的活性化関数を用いたニューラルネットワークの使用が回帰や分類例の誤差を低減し、固定された活性化関数を持つ等価な正規フィードフォワードニューラルネットワークと比較することを示している。
関連論文リスト
- Continual Learning via Sequential Function-Space Variational Inference [65.96686740015902]
連続学習を逐次関数空間変動推論として定式化した目的を提案する。
ニューラルネットワークの予測を直接正規化する目的と比較して、提案した目的はより柔軟な変動分布を可能にする。
タスクシーケンスの範囲で、逐次関数空間変動推論によってトレーニングされたニューラルネットワークは、関連する手法でトレーニングされたネットワークよりも予測精度が良いことを実証した。
論文 参考訳（メタデータ） (2023-12-28T18:44:32Z) - Fractional Concepts in Neural Networks: Enhancing Activation and Loss
Functions [0.7614628596146602]
本稿では,ニューラルネットワークにおける分数的概念を用いて,アクティベーションと損失関数の修正を行う手法を提案する。
これにより、ネットワーク内のニューロンがアクティベーション関数を調整して、入力データとの整合性を向上し、出力エラーを低減できる。
論文 参考訳（メタデータ） (2023-10-18T10:49:29Z) - ENN: A Neural Network with DCT Adaptive Activation Functions [2.2713084727838115]
離散コサイン変換(DCT)を用いて非線形活性化関数をモデル化する新しいモデルであるExpressive Neural Network(ENN)を提案する。
このパラメータ化は、トレーニング可能なパラメータの数を低く保ち、勾配ベースのスキームに適合し、異なる学習タスクに適応する。
ENNのパフォーマンスは、いくつかのシナリオにおいて40%以上の精度のギャップを提供する、アートベンチマークの状態を上回ります。
論文 参考訳（メタデータ） (2023-07-02T21:46:30Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Permutation Equivariant Neural Functionals [92.0667671999604]
この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。
隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。
実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
論文 参考訳（メタデータ） (2023-02-27T18:52:38Z) - Data-aware customization of activation functions reduces neural network
error [0.35172332086962865]
本稿では,データ認識によるアクティベーション関数のカスタマイズにより,ニューラルネットワークのエラーが大幅に低減されることを示す。
既に精製されたニューラルネットワークにおけるカモメの活性化機能への簡単な置換は、エラーのオーダー・オブ・マグニチュードの低減につながる可能性がある。
論文 参考訳（メタデータ） (2023-01-16T23:38:37Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Graph-adaptive Rectified Linear Unit for Graph Neural Networks [64.92221119723048]
グラフニューラルネットワーク(GNN)は、従来の畳み込みを非ユークリッドデータでの学習に拡張することで、目覚ましい成功を収めた。
本稿では,周辺情報を利用した新しいパラメトリックアクティベーション機能であるグラフ適応整流線形ユニット(GRELU)を提案する。
我々は,GNNのバックボーンと様々な下流タスクによって,プラグアンドプレイGRELU法が効率的かつ効果的であることを示す包括的実験を行った。
論文 参考訳（メタデータ） (2022-02-13T10:54:59Z) - Neural Capacitance: A New Perspective of Neural Network Selection via
Edge Dynamics [85.31710759801705]
現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。
本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。
我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
論文 参考訳（メタデータ） (2022-01-11T20:53:15Z) - Neural networks with trainable matrix activation functions [1.1602089225841632]
本研究では、ReLUからエントリを一般化した行列活性化関数を構築するための体系的なアプローチを開発する。
提案した活性化関数は、重みとバイアスベクトルとともに訓練されたパラメータに依存する。
論文 参考訳（メタデータ） (2021-09-21T04:11:26Z) - Otimizacao de pesos e funcoes de ativacao de redes neurais aplicadas na
previsao de series temporais [0.0]
本稿では,ニューラルネットワークにおける自由パラメータ非対称活性化関数群の利用を提案する。
定義された活性化関数の族は普遍近似定理の要求を満たすことを示す。
ニューラルネットワークの処理ユニット間の接続の重み付けと自由パラメータを用いたこの活性化関数系のグローバル最適化手法を用いる。
論文 参考訳（メタデータ） (2021-07-29T23:32:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。