Fugu-MT 論文翻訳(概要): Rational neural networks

論文の概要: Rational neural networks

arxiv url: http://arxiv.org/abs/2004.01902v2
Date: Wed, 30 Sep 2020 09:16:55 GMT
ステータス: 処理完了
システム内更新日: 2022-12-16 22:35:37.883983
Title: Rational neural networks
Title（参考訳）: 合理的ニューラルネットワーク
Authors: Nicolas Boull\'e, Yuji Nakatsukasa, Alex Townsend
Abstract要約: 我々は合理的な活性化機能を持つニューラルネットワークを考える。有理ニューラルネットワークが指数関数的に小さいReLUネットワークよりもスムーズな関数を効率的に近似していることを証明する。
参考スコア（独自算出の注目度）: 3.4376560669160394
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We consider neural networks with rational activation functions. The choice of the nonlinear activation function in deep learning architectures is crucial and heavily impacts the performance of a neural network. We establish optimal bounds in terms of network complexity and prove that rational neural networks approximate smooth functions more efficiently than ReLU networks with exponentially smaller depth. The flexibility and smoothness of rational activation functions make them an attractive alternative to ReLU, as we demonstrate with numerical experiments.
Abstract（参考訳）: 我々は合理的な活性化機能を持つニューラルネットワークを考える。ディープラーニングアーキテクチャにおける非線形活性化関数の選択は重要であり、ニューラルネットワークの性能に大きな影響を及ぼす。ネットワーク複雑性の観点から最適境界を定め、有理ニューラルネットワークが指数関数的に小さいreluネットワークよりも滑らかな関数を近似することを証明した。有理活性化関数の柔軟性と滑らかさは、数値実験で示すように、ReLUの代替となる。

関連論文リスト

Activations Through Extensions: A Framework To Boost Performance Of Neural Networks [6.302159507265204]
活性化関数はニューラルネットワークの非線形性であり、入力と出力の間の複雑なマッピングを学習することができる。本稿では,アクティベーション関数に関するいくつかの研究を統合するフレームワークを提案し,これらの成果を理論的に説明する。
論文参考訳（メタデータ） (2024-08-07T07:36:49Z)
Fractional Concepts in Neural Networks: Enhancing Activation and Loss Functions [0.7614628596146602]
本稿では,ニューラルネットワークにおける分数的概念を用いて,アクティベーションと損失関数の修正を行う手法を提案する。これにより、ネットワーク内のニューロンがアクティベーション関数を調整して、入力データとの整合性を向上し、出力エラーを低減できる。
論文参考訳（メタデータ） (2023-10-18T10:49:29Z)
Expressivity of Spiking Neural Networks [15.181458163440634]
本研究では,ニューロンの発射時間内に情報を符号化したスパイクニューラルネットワークの能力について検討する。 ReLUネットワークとは対照的に、スパイクニューラルネットワークは連続関数と不連続関数の両方を実現することができる。
論文参考訳（メタデータ） (2023-08-16T08:45:53Z)
Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文参考訳（メタデータ） (2023-03-06T18:59:13Z)
Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文参考訳（メタデータ） (2022-10-06T13:04:45Z)
Benefits of Overparameterized Convolutional Residual Networks: Function Approximation under Smoothness Constraint [48.25573695787407]
大規模なConvResNetは関数の値から目的関数を近似できるだけでなく、一階スムーズ性も十分に発揮できることを示す。我々の理論は、実際にディープ・ワイド・ネットワークを使うことの利点を部分的に正当化している。
論文参考訳（メタデータ） (2022-06-09T15:35:22Z)
Optimal Learning Rates of Deep Convolutional Neural Networks: Additive Ridge Functions [19.762318115851617]
深部畳み込みニューラルネットワークにおける平均2乗誤差解析について考察する。付加的なリッジ関数に対しては、畳み込みニューラルネットワークとReLUアクティベーション関数を併用した1つの完全連結層が最適極小値に到達できることが示される。
論文参考訳（メタデータ） (2022-02-24T14:22:32Z)
Deep Kronecker neural networks: A general framework for neural networks with adaptive activation functions [4.932130498861987]
我々は,適応的アクティベーション機能を持つニューラルネットワークの汎用フレームワークとして,新しいタイプのニューラルネットワークKronecker Neural Network(KNN)を提案する。適切な条件下では、KNNはフィードフォワードネットワークによる損失よりも早く損失を減少させる。
論文参考訳（メタデータ） (2021-05-20T04:54:57Z)
The Connection Between Approximation, Depth Separation and Learnability in Neural Networks [70.55686685872008]
学習可能性と近似能力の関係について検討する。対象関数の深いネットワークでの学習性は、より単純なクラスがターゲットを近似する能力に依存することを示す。
論文参考訳（メタデータ） (2021-01-31T11:32:30Z)
Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文参考訳（メタデータ） (2020-08-19T04:53:31Z)
Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。