Fugu-MT 論文翻訳(概要): Stochastic Neural Networks with Infinite Width are Deterministic

論文の概要: Stochastic Neural Networks with Infinite Width are Deterministic

arxiv url: http://arxiv.org/abs/2201.12724v1
Date: Sun, 30 Jan 2022 04:52:31 GMT
ステータス: 処理完了
システム内更新日: 2022-02-01 15:12:55.363954
Title: Stochastic Neural Networks with Infinite Width are Deterministic
Title（参考訳）: 無限幅確率ニューラルネットワークは決定論的である
Authors: Liu Ziyin, Hanlin Zhang, Xiangming Meng, Yuting Lu, Eric Xing, Masahito Ueda
Abstract要約: 使用中のニューラルネットワークの主要なタイプであるニューラルネットワークについて研究する。最適化されたニューラルネットワークの幅が無限大になる傾向があるため、トレーニングセットの予測分散はゼロになる。
参考スコア（独自算出の注目度）: 7.07065078444922
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This work theoretically studies stochastic neural networks, a main type of neural network in use. Specifically, we prove that as the width of an optimized stochastic neural network tends to infinity, its predictive variance on the training set decreases to zero. Two common examples that our theory applies to are neural networks with dropout and variational autoencoders. Our result helps better understand how stochasticity affects the learning of neural networks and thus design better architectures for practical problems.
Abstract（参考訳）: この研究は、使用中の主要なタイプのニューラルネットワークである確率ニューラルネットワークを理論的に研究する。具体的には、最適化確率的ニューラルネットワークの幅が無限大になる傾向があるため、トレーニングセットにおける予測的分散はゼロに減少することを示す。我々の理論が当てはまる一般的な例は、ドロップアウトと変分オートエンコーダを持つニューラルネットワークである。この結果は、ニューラルネットワークの学習に確率性がどのように影響するかをより深く理解し、実用的な問題に対するより良いアーキテクチャを設計するのに役立つ。

関連論文リスト

Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文参考訳（メタデータ） (2024-03-18T18:01:01Z)
Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文参考訳（メタデータ） (2023-07-20T13:34:11Z)
Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
論文参考訳（メタデータ） (2023-03-07T18:59:38Z)
Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文参考訳（メタデータ） (2023-03-06T18:59:13Z)
Permutation Equivariant Neural Functionals [92.0667671999604]
この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
論文参考訳（メタデータ） (2023-02-27T18:52:38Z)
Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文参考訳（メタデータ） (2022-10-06T13:04:45Z)
Consistency of Neural Networks with Regularization [0.0]
本稿では,ニューラルネットワークの規則化による一般的な枠組みを提案し,その一貫性を実証する。双曲関数(Tanh)と整形線形単位(ReLU)の2種類の活性化関数が検討されている。
論文参考訳（メタデータ） (2022-06-22T23:33:39Z)
Fourier Neural Networks for Function Approximation [2.840363325289377]
ニューラルネットワークが普遍近似器であることは広く証明されている。特に、狭いニューラルネットワークが、ディープニューラルネットワークによって実装されている関数を近似するために、ネットワークは指数関数的に多数のニューロンを取ることが証明されている。
論文参考訳（メタデータ） (2021-10-21T09:30:26Z)
Deep Kronecker neural networks: A general framework for neural networks with adaptive activation functions [4.932130498861987]
我々は,適応的アクティベーション機能を持つニューラルネットワークの汎用フレームワークとして,新しいタイプのニューラルネットワークKronecker Neural Network(KNN)を提案する。適切な条件下では、KNNはフィードフォワードネットワークによる損失よりも早く損失を減少させる。
論文参考訳（メタデータ） (2021-05-20T04:54:57Z)
Fast Adaptation with Linearized Neural Networks [35.43406281230279]
ニューラルネットワークの線形化の帰納的バイアスについて検討し,全ネットワーク関数の驚くほどよい要約であることを示した。この発見に触発されて,これらの帰納的バイアスをネットワークのヤコビアンから設計されたカーネルを通してガウス過程に埋め込む手法を提案する。この設定では、領域適応は不確実性推定を伴う解釈可能な後方推論の形式を取る。
論文参考訳（メタデータ） (2021-03-02T03:23:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。