論文の概要: Imposing Gaussian Pre-Activations in a Neural Network
- arxiv url: http://arxiv.org/abs/2205.12379v1
- Date: Tue, 24 May 2022 21:52:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-29 01:57:10.212170
- Title: Imposing Gaussian Pre-Activations in a Neural Network
- Title（参考訳）: ニューラルネットワークにおけるガウス前活性化
- Authors: Pierre Wolinski, Julyan Arbel
- Abstract要約: 本稿では,ニューラルネットワークの重みと活性化関数の分布を,すべてのプレアクティベーションがガウス的であるように修正する方法を提案する。
この作品は、ガウス以前の活動を扱う既存の作品の矛盾によって動機付けられている。
- 参考スコア（独自算出の注目度）: 2.3605348648054463
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The goal of the present work is to propose a way to modify both the
initialization distribution of the weights of a neural network and its
activation function, such that all pre-activations are Gaussian. We propose a
family of pairs initialization/activation, where the activation functions span
a continuum from bounded functions (such as Heaviside or tanh) to the identity
function.
This work is motivated by the contradiction between existing works dealing
with Gaussian pre-activations: on one side, the works in the line of the Neural
Tangent Kernels and the Edge of Chaos are assuming it, while on the other side,
theoretical and experimental results challenge this hypothesis.
The family of pairs initialization/activation we are proposing will help us
to answer this hot question: is it desirable to have Gaussian pre-activations
in a neural network?
- Abstract（参考訳）: 本研究の目的は、ニューラルネットワークの重みの初期化分布と活性化関数の両方を、すべての事前活性化がガウス的であるように修正する方法を提案することである。
本稿では,活性化関数が有界関数(Heaviside や tanh など)から恒等関数まで連続関数にまたがるペアの初期化/活性化の族を提案する。
この研究は、gaussian pre-activateds(英語版)を扱う既存の著作物との矛盾に動機づけられている:一方、神経接核の行とカオスの辺の作業はそれを仮定し、他方では理論と実験の結果がこの仮説に挑戦する。
私たちが提案しているペアの初期化/活性化のファミリーは、このホットな質問に答えるのに役立つでしょう。
関連論文リスト
- Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。
ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
論文 参考訳（メタデータ） (2023-04-17T14:23:43Z) - Function Approximation with Randomly Initialized Neural Networks for
Approximate Model Reference Adaptive Control [0.0]
近年の研究では、ReLUのような特殊活性化関数に対して、ランダムなアクティベーションの線形結合によって高い精度が得られることが示されている。
本稿では, 直接積分表現が知られていないアクティベーションを用いて, 対象関数の積分表現を形成する手段を提供する。
論文 参考訳（メタデータ） (2023-03-28T18:55:48Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Data-aware customization of activation functions reduces neural network
error [0.35172332086962865]
本稿では,データ認識によるアクティベーション関数のカスタマイズにより,ニューラルネットワークのエラーが大幅に低減されることを示す。
既に精製されたニューラルネットワークにおけるカモメの活性化機能への簡単な置換は、エラーのオーダー・オブ・マグニチュードの低減につながる可能性がある。
論文 参考訳（メタデータ） (2023-01-16T23:38:37Z) - Constrained Monotonic Neural Networks [0.685316573653194]
金融や医療といった多くの重要な分野におけるニューラルネットワークの採用は、その予測を説明する必要性によって妨げられている。
モノトニック性制約は、現実世界のシナリオで最も要求された特性の1つである。
我々は、$mathbbRn$ のコンパクト部分集合上の任意の連続単調関数を近似できることを示した。
論文 参考訳（メタデータ） (2022-05-24T04:26:10Z) - Periodic Activation Functions Induce Stationarity [19.689175123261613]
本研究では,ベイズニューラルネットワークにおける周期的活性化関数が,ネットワーク重みと翻訳不変な定常ガウス過程とを関連づけていることを示す。
一連の実験において、周期的アクティベーション関数はドメイン内のデータに匹敵する性能を示し、ドメイン外検出のための深層ニューラルネットワークにおける摂動入力に対する感度を捉える。
論文 参考訳（メタデータ） (2021-10-26T11:10:37Z) - Going Beyond Linear RL: Sample Efficient Neural Function Approximation [76.57464214864756]
2層ニューラルネットワークによる関数近似について検討する。
この結果は線形(あるいは可溶性次元)法で達成できることを大幅に改善する。
論文 参考訳（メタデータ） (2021-07-14T03:03:56Z) - Adaptive Rational Activations to Boost Deep Reinforcement Learning [68.10769262901003]
我々は、合理的が適応可能なアクティベーション機能に適合する理由と、ニューラルネットワークへの含意が重要である理由を動機付けている。
人気アルゴリズムに(繰り返しの)アクティベーションを組み込むことで,アタリゲームにおいて一貫した改善がもたらされることを実証する。
論文 参考訳（メタデータ） (2021-02-18T14:53:12Z) - And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。
そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。
MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
論文 参考訳（メタデータ） (2021-02-15T08:19:05Z) - Variational Monte Carlo calculations of $\mathbf{A\leq 4}$ nuclei with
an artificial neural-network correlator ansatz [62.997667081978825]
光核の基底状態波動関数をモデル化するためのニューラルネットワーク量子状態アンサッツを導入する。
我々は、Aleq 4$核の結合エネルギーと点核密度を、上位のピオンレス実効場理論から生じるものとして計算する。
論文 参考訳（メタデータ） (2020-07-28T14:52:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。