論文の概要: Gaussian Pre-Activations in Neural Networks: Myth or Reality?
- arxiv url: http://arxiv.org/abs/2205.12379v4
- Date: Tue, 29 Apr 2025 06:18:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-02 19:15:51.418958
- Title: Gaussian Pre-Activations in Neural Networks: Myth or Reality?
- Title（参考訳）: ニューラルネットワークにおけるガウス事前活動:神話か現実か?
- Authors: Pierre Wolinski, Julyan Arbel,
- Abstract要約: 我々は、ネットワークの深さを通して事前活性化がガウス的であることを保証するために、アクティベーション関数と分布のファミリーを構築する。
また、Edge of Chaosの行の主張を批判的にレビューし、正確なEdge of Chaos分析を構築します。
我々の研究は、議論の多かった疑問に答えるための、原則化されたフレームワークを提供する: プレアクティベーションがガウスであることが保証されるニューラルネットワークのトレーニングを初期化することが望ましいか?
- 参考スコア（独自算出の注目度）: 1.049712834719005
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The study of feature propagation at initialization in neural networks lies at the root of numerous initialization designs. An assumption very commonly made in the field states that the pre-activations are Gaussian. Although this convenient Gaussian hypothesis can be justified when the number of neurons per layer tends to infinity, it is challenged by both theoretical and experimental works for finite-width neural networks. Our major contribution is to construct a family of pairs of activation functions and initialization distributions that ensure that the pre-activations remain Gaussian throughout the network's depth, even in narrow neural networks. In the process, we discover a set of constraints that a neural network should fulfill to ensure Gaussian pre-activations. Additionally, we provide a critical review of the claims of the Edge of Chaos line of works and build an exact Edge of Chaos analysis. We also propose a unified view on pre-activations propagation, encompassing the framework of several well-known initialization procedures. Finally, our work provides a principled framework for answering the much-debated question: is it desirable to initialize the training of a neural network whose pre-activations are ensured to be Gaussian? Our code is available on GitHub: https://github.com/p-wol/gaussian-preact/ .
- Abstract（参考訳）: ニューラルネットワークの初期化における特徴伝播の研究は、多くの初期化設計の根本にある。
場における仮定は、プレアクティベーションがガウス的であることを示すのが一般的である。
この便利なガウス仮説は、層ごとのニューロンの数が無限大になる傾向にあるときに正当化できるが、有限幅ニューラルネットワークに関する理論的および実験的な研究には疑問がある。
我々の主な貢献は、狭いニューラルネットワークであっても、ネットワークの深さを通して事前活性化がガウス的であることを保証するために、アクティベーション関数と初期化分布の組を構築することである。
その過程で、ニューラルネットワークが満たすべき制約の集合を発見し、ガウスの事前アクティベーションを保証する。
さらに、我々は、Edge of Chaosの行の主張を批判的にレビューし、正確なEdge of Chaos分析を構築します。
我々はまた、いくつかのよく知られた初期化手順の枠組みを包含して、事前活性化の伝播に関する統一的な見解を提案する。
最後に、我々の研究は、多くの議論に答えるための原則化されたフレームワークを提供する: プレアクティベーションがガウスであることが保証されるニューラルネットワークのトレーニングを初期化することが望ましいか?
私たちのコードはGitHubで入手できる。
関連論文リスト
- Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。
また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。
この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
論文 参考訳（メタデータ） (2024-05-24T06:30:36Z) - Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。
ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
論文 参考訳（メタデータ） (2023-04-17T14:23:43Z) - Function Approximation with Randomly Initialized Neural Networks for
Approximate Model Reference Adaptive Control [0.0]
近年の研究では、ReLUのような特殊活性化関数に対して、ランダムなアクティベーションの線形結合によって高い精度が得られることが示されている。
本稿では, 直接積分表現が知られていないアクティベーションを用いて, 対象関数の積分表現を形成する手段を提供する。
論文 参考訳（メタデータ） (2023-03-28T18:55:48Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳（メタデータ） (2023-02-01T03:18:07Z) - Data-aware customization of activation functions reduces neural network
error [0.35172332086962865]
本稿では,データ認識によるアクティベーション関数のカスタマイズにより,ニューラルネットワークのエラーが大幅に低減されることを示す。
既に精製されたニューラルネットワークにおけるカモメの活性化機能への簡単な置換は、エラーのオーダー・オブ・マグニチュードの低減につながる可能性がある。
論文 参考訳（メタデータ） (2023-01-16T23:38:37Z) - Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。
我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。
ニューラルネットの様々な特性をこの新しいカーネルで研究する。
論文 参考訳（メタデータ） (2023-01-01T02:11:39Z) - Consistency of Neural Networks with Regularization [0.0]
本稿では,ニューラルネットワークの規則化による一般的な枠組みを提案し,その一貫性を実証する。
双曲関数(Tanh)と整形線形単位(ReLU)の2種類の活性化関数が検討されている。
論文 参考訳（メタデータ） (2022-06-22T23:33:39Z) - Constrained Monotonic Neural Networks [0.685316573653194]
金融や医療といった多くの重要な分野におけるニューラルネットワークの採用は、その予測を説明する必要性によって妨げられている。
モノトニック性制約は、現実世界のシナリオで最も要求された特性の1つである。
我々は、$mathbbRn$ のコンパクト部分集合上の任意の連続単調関数を近似できることを示した。
論文 参考訳（メタデータ） (2022-05-24T04:26:10Z) - On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。
特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
論文 参考訳（メタデータ） (2022-03-27T15:22:19Z) - Critical Initialization of Wide and Deep Neural Networks through Partial
Jacobians: General Theory and Applications [6.579523168465526]
ネットワークの固有ヤコビアン(enmphpartial Jacobians)を導入し、層$l$におけるプレアクティベーションの微分として定義し、層$l_0leq l$におけるプレアクティベーションについて述べる。
我々は,部分ジャコビアンのノルムに対する再帰関係を導出し,これらの関係を利用して,LayerNormおよび/または残留接続を用いたディープ・完全連結ニューラルネットワークの臨界度を解析する。
論文 参考訳（メタデータ） (2021-11-23T20:31:42Z) - Periodic Activation Functions Induce Stationarity [19.689175123261613]
本研究では,ベイズニューラルネットワークにおける周期的活性化関数が,ネットワーク重みと翻訳不変な定常ガウス過程とを関連づけていることを示す。
一連の実験において、周期的アクティベーション関数はドメイン内のデータに匹敵する性能を示し、ドメイン外検出のための深層ニューラルネットワークにおける摂動入力に対する感度を捉える。
論文 参考訳（メタデータ） (2021-10-26T11:10:37Z) - Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity
on Pruned Neural Networks [79.74580058178594]
目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。
本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
論文 参考訳（メタデータ） (2021-10-12T01:11:07Z) - Hybrid Bayesian Neural Networks with Functional Probabilistic Layers [0.6091702876917281]
機能不確実性を符号化する機能的確率層を持つハイブリッドベイズニューラルネットワークを提案する。
GPflusはガウス的プロセス層を提供する新しいライブラリである。
論文 参考訳（メタデータ） (2021-07-14T21:25:53Z) - Going Beyond Linear RL: Sample Efficient Neural Function Approximation [76.57464214864756]
2層ニューラルネットワークによる関数近似について検討する。
この結果は線形(あるいは可溶性次元)法で達成できることを大幅に改善する。
論文 参考訳（メタデータ） (2021-07-14T03:03:56Z) - BNNpriors: A library for Bayesian neural network inference with
different prior distributions [32.944046414823916]
bnnpriorsはベイズニューラルネットワーク上で最先端のマルコフ連鎖モンテカルロ推論を可能にする。
これは、新しいカスタムプリエントの設計と実装を容易にするモジュラーアプローチに従っている。
ベイズ系ニューラルネットワークにおける冷後効果の性質に関する基礎的発見を容易にした。
論文 参考訳（メタデータ） (2021-05-14T17:11:04Z) - Adaptive Rational Activations to Boost Deep Reinforcement Learning [68.10769262901003]
我々は、合理的が適応可能なアクティベーション機能に適合する理由と、ニューラルネットワークへの含意が重要である理由を動機付けている。
人気アルゴリズムに(繰り返しの)アクティベーションを組み込むことで,アタリゲームにおいて一貫した改善がもたらされることを実証する。
論文 参考訳（メタデータ） (2021-02-18T14:53:12Z) - And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。
そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。
MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
論文 参考訳（メタデータ） (2021-02-15T08:19:05Z) - The Ridgelet Prior: A Covariance Function Approach to Prior
Specification for Bayesian Neural Networks [4.307812758854161]
ネットワークの出力空間における擬似ガウス過程を近似したネットワークのパラメータに対する事前分布を構築する。
これにより、ベイズニューラルネットワークが共分散関数が十分正則である任意のガウス過程を近似できるという性質が確立される。
論文 参考訳（メタデータ） (2020-10-16T16:39:45Z) - Variational Monte Carlo calculations of $\mathbf{A\leq 4}$ nuclei with
an artificial neural-network correlator ansatz [62.997667081978825]
光核の基底状態波動関数をモデル化するためのニューラルネットワーク量子状態アンサッツを導入する。
我々は、Aleq 4$核の結合エネルギーと点核密度を、上位のピオンレス実効場理論から生じるものとして計算する。
論文 参考訳（メタデータ） (2020-07-28T14:52:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。