論文の概要: A Use of Even Activation Functions in Neural Networks
- arxiv url: http://arxiv.org/abs/2011.11713v1
- Date: Mon, 23 Nov 2020 20:33:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2022-09-22 01:45:02.678389
- Title: A Use of Even Activation Functions in Neural Networks
- Title（参考訳）: ニューラルネットワークにおける偶数活性化関数の利用
- Authors: Fuchang Gao and Boyu Zhang
- Abstract要約: 本稿では,データ構造に関する既存の知識や仮説を統合するために,独自のアクティベーション関数を構築する方法を提案する。
完全に接続されたレイヤの1つで偶発的なアクティベーション関数を使用することで、ニューラルネットワークの性能が向上することを示す。
- 参考スコア（独自算出の注目度）: 0.35172332086962865
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite broad interest in applying deep learning techniques to scientific
discovery, learning interpretable formulas that accurately describe scientific
data is very challenging because of the vast landscape of possible functions
and the "black box" nature of deep neural networks. The key to success is to
effectively integrate existing knowledge or hypotheses about the underlying
structure of the data into the architecture of deep learning models to guide
machine learning. Currently, such integration is commonly done through
customization of the loss functions. Here we propose an alternative approach to
integrate existing knowledge or hypotheses of data structure by constructing
custom activation functions that reflect this structure. Specifically, we study
a common case when the multivariate target function $f$ to be learned from the
data is partially exchangeable, \emph{i.e.} $f(u,v,w)=f(v,u,w)$ for $u,v\in
\mathbb{R}^d$. For instance, these conditions are satisfied for the
classification of images that is invariant under left-right flipping. Through
theoretical proof and experimental verification, we show that using an even
activation function in one of the fully connected layers improves neural
network performance. In our experimental 9-dimensional regression problems,
replacing one of the non-symmetric activation functions with the designated
"Seagull" activation function $\log(1+x^2)$ results in substantial improvement
in network performance. Surprisingly, even activation functions are seldom used
in neural networks. Our results suggest that customized activation functions
have great potential in neural networks.
- Abstract（参考訳）: 深層学習技術を科学的発見に適用することへの幅広い関心にもかかわらず、科学的データを正確に記述する解釈可能な公式の学習は非常に困難である。
成功の鍵は、データの基盤構造に関する既存の知識や仮説をディープラーニングモデルアーキテクチャに効果的に統合し、機械学習を導くことである。
現在、そのような統合は損失関数のカスタマイズを通じて一般的に行われている。
本稿では、この構造を反映したカスタムアクティベーション関数を構築することにより、データ構造の既存の知識や仮説を統合する方法を提案する。
具体的には、データから学習する多変量対象関数 $f$ が部分的に交換可能である場合、例えば $f(u,v,w)=f(v,u,w)$ for $u,v\in \mathbb{R}^d$ を考える。
例えば、これらの条件は左右反転下で不変な画像の分類に満足している。
理論実証と実験的検証により,完全結合層のうちの1つにおいて偶数活性化関数を用いることにより,ニューラルネットワークの性能が向上することを示す。
実験的な9次元回帰問題では、非対称アクティベーション関数の1つを「シーガル」アクティベーション関数 $\log(1+x^2)$ に置き換えると、ネットワーク性能が大幅に向上する。
驚くべきことに、活性化関数でさえニューラルネットワークではほとんど使われない。
その結果,カスタマイズされたアクティベーション関数はニューラルネットワークにおいて大きな可能性を秘めている。
関連論文リスト
- Global Convergence and Rich Feature Learning in $L$-Layer Infinite-Width Neural Networks under $μ$P Parametrization [66.03821840425539]
本稿では, テンソル勾配プログラム(SGD)フレームワークを用いた$L$層ニューラルネットワークのトレーニング力学について検討する。
SGDにより、これらのネットワークが初期値から大きく逸脱する線形独立な特徴を学習できることを示す。
このリッチな特徴空間は、関連するデータ情報をキャプチャし、トレーニングプロセスの収束点が世界最小であることを保証する。
論文 参考訳（メタデータ） (2025-03-12T17:33:13Z) - Do deep neural networks have an inbuilt Occam's razor? [1.1470070927586016]
構造データとOccam's razor-likeインダクティブバイアスが組み合わさった単純な関数に対する構造データは、複雑さを伴う関数の指数的成長に反することを示す。
この分析により、構造データと(コルモゴロフ)単純関数に対するOccam's razor-likeインダクティブバイアスが組み合わさって、複雑さを伴う関数の指数的成長に対抗できるほど強いことがDNNの成功の鍵であることが明らかになった。
論文 参考訳（メタデータ） (2023-04-13T16:58:21Z) - Provable Data Subset Selection For Efficient Neural Network Training [73.34254513162898]
本稿では,任意の放射基底関数ネットワーク上での入力データの損失を近似する,emphRBFNNのコアセットを構成するアルゴリズムについて紹介する。
次に、一般的なネットワークアーキテクチャやデータセット上で、関数近似とデータセットサブセットの選択に関する経験的評価を行う。
論文 参考訳（メタデータ） (2023-03-09T10:08:34Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Data-aware customization of activation functions reduces neural network
error [0.35172332086962865]
本稿では,データ認識によるアクティベーション関数のカスタマイズにより,ニューラルネットワークのエラーが大幅に低減されることを示す。
既に精製されたニューラルネットワークにおけるカモメの活性化機能への簡単な置換は、エラーのオーダー・オブ・マグニチュードの低減につながる可能性がある。
論文 参考訳（メタデータ） (2023-01-16T23:38:37Z) - Equivariance with Learned Canonicalization Functions [77.32483958400282]
正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。
実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
論文 参考訳（メタデータ） (2022-11-11T21:58:15Z) - What Can Be Learnt With Wide Convolutional Neural Networks? [69.55323565255631]
カーネルシステムにおける無限大の深層CNNについて検討する。
我々は,深部CNNが対象関数の空間スケールに適応していることを証明する。
我々は、別の深部CNNの出力に基づいて訓練された深部CNNの一般化誤差を計算して結論付ける。
論文 参考訳（メタデータ） (2022-08-01T17:19:32Z) - Consensus Function from an $L_p^q-$norm Regularization Term for its Use
as Adaptive Activation Functions in Neural Networks [0.0]
本稿では,学習過程においてその形状に適応する暗黙的,パラメトリックな非線形活性化関数の定義と利用を提案する。
この事実は、ネットワーク内で最適化するパラメータの空間を増大させるが、柔軟性を高め、ニューラルネットワークの概念を一般化する。
予備的な結果は、この種の適応的アクティベーション関数によるニューラルネットワークの使用は、回帰や分類の例における誤差を減少させることを示している。
論文 参考訳（メタデータ） (2022-06-30T04:48:14Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳（メタデータ） (2021-10-12T23:22:45Z) - Deep Learning for Functional Data Analysis with Adaptive Basis Layers [11.831982475316641]
本稿では,マイクロニューラルネットワークとして実装された各基底関数を隠蔽ユニットとする,新しいBasis Layerを用いたニューラルネットワークを提案する。
我々のアーキテクチャは、入力関数の無関係な変化ではなく、ターゲットに関連する情報にのみ焦点をあてる機能入力に、擬似次元還元を適用することを学ぶ。
論文 参考訳（メタデータ） (2021-06-19T04:05:13Z) - The Connection Between Approximation, Depth Separation and Learnability
in Neural Networks [70.55686685872008]
学習可能性と近似能力の関係について検討する。
対象関数の深いネットワークでの学習性は、より単純なクラスがターゲットを近似する能力に依存することを示す。
論文 参考訳（メタデータ） (2021-01-31T11:32:30Z) - Estimating Multiplicative Relations in Neural Networks [0.0]
対数関数の特性を用いて、積を線形表現に変換し、バックプロパゲーションを用いて学習できるアクティベーション関数のペアを提案する。
いくつかの複雑な算術関数に対してこのアプローチを一般化し、トレーニングセットとの不整合分布の精度を検証しようと試みる。
論文 参考訳（メタデータ） (2020-10-28T14:28:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。