Fugu-MT 論文翻訳(概要): Dependence between Bayesian neural network units

論文の概要: Dependence between Bayesian neural network units

arxiv url: http://arxiv.org/abs/2111.14397v1
Date: Mon, 29 Nov 2021 09:32:09 GMT
ステータス: 処理完了
システム内更新日: 2021-11-30 16:23:44.094719
Title: Dependence between Bayesian neural network units
Title（参考訳）: ベイズ型ニューラルネットワークユニットの依存性
Authors: Mariia Vladimirova (STATIFY), Julyan Arbel (STATIFY), St\'ephane Girard (STATIFY)
Abstract要約: 実用的有限幅ベイズニューラルネットワークにおける隠れ単位依存特性に光を当てることを目的としている。理論的結果に加えて,隠れた単位依存特性に対する深さと幅の影響を実験的に評価した。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The connection between Bayesian neural networks and Gaussian processes gained a lot of attention in the last few years, with the flagship result that hidden units converge to a Gaussian process limit when the layers width tends to infinity. Underpinning this result is the fact that hidden units become independent in the infinite-width limit. Our aim is to shed some light on hidden units dependence properties in practical finite-width Bayesian neural networks. In addition to theoretical results, we assess empirically the depth and width impacts on hidden units dependence properties.
Abstract（参考訳）: ベイズニューラルネットワークとガウス過程の接続はここ数年で注目され、層幅が無限大になる傾向にあるとき、隠れた単位がガウス過程の限界に収束するというフラッグシップの結果が得られた。この結果の根底にあるのは、隠れた単位が無限幅の極限で独立になるという事実である。我々の目標は、実用的な有限幅ベイズニューラルネットワークにおける隠れた単位依存特性に光を当てることである。理論的結果に加えて,隠れた単位依存特性に対する深さと幅の影響を実験的に評価した。

関連論文リスト

Proportional infinite-width infinite-depth limit for deep linear neural networks [0.16385815610837165]
大規模ネットワークのコンテキストにおけるランダムパラメータを持つ線形ニューラルネットワークの分布特性について検討し,各層あたりのニューロン数に比例して層数が分散することを示した。出力間の相関を保った非ガウス分布を導出し, 深さと幅の両方が分岐するが, 一定比を維持するような比例極限を探索する。
論文参考訳（メタデータ） (2024-11-22T11:25:52Z)
Commutative Width and Depth Scaling in Deep Neural Networks [6.019182604573028]
本論文は,深部ニューラルネットワークにおける無限幅および深度限界の可換性に関するシリーズの2番目である。我々は、正式に可換性フレームワークを導入、定義し、ニューラルネットワークの設計とスケーリングにその影響について論じる。
論文参考訳（メタデータ） (2023-10-02T22:39:09Z)
Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文参考訳（メタデータ） (2023-07-20T13:34:11Z)
On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
論文参考訳（メタデータ） (2022-03-27T15:22:19Z)
Depth induces scale-averaging in overparameterized linear Bayesian neural networks [20.864082353441685]
ディープベイズニューラルネットワークにおける推論は無限幅極限においてのみ完全に理解される。ここでは,有限深度線形ベイズニューラルネットワークをガウス過程予測器のデータ依存スケール混合として,出力チャネルにわたって解釈する。
論文参考訳（メタデータ） (2021-11-23T15:48:47Z)
Bayesian neural network unit priors and generalized Weibull-tail property [2.578242050187029]
最近の研究は、有限ベイズニューラルネットワークが内部表現を柔軟に適応するため、無限のニューラルネットワークよりも優れていることを示唆している。我々の主な成果は、隠れたユニットの尾の正確な記述であり、ユニットの先行がより深くなったことを示している。この発見は、有限ベイズニューラルネットワークの隠れたユニットの挙動に光を当てる。
論文参考訳（メタデータ） (2021-10-06T16:12:37Z)
Redundant representations help generalization in wide neural networks [71.38860635025907]
様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
論文参考訳（メタデータ） (2021-06-07T10:18:54Z)
Tight Bounds on the Smallest Eigenvalue of the Neural Tangent Kernel for Deep ReLU Networks [21.13299067136635]
深部ReLUネットワークに対するNTK行列の最小固有値に厳密な境界を与える。有限幅設定では、我々が考えるネットワークアーキテクチャは非常に一般的である。
論文参考訳（メタデータ） (2020-12-21T19:32:17Z)
Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
論文参考訳（メタデータ） (2020-07-31T01:57:47Z)
Bayesian Deep Ensembles via the Neural Tangent Kernel [49.569912265882124]
我々は、ニューラルタンジェントカーネル(NTK)のレンズを通して、ディープアンサンブルとガウス過程(GP)の関連を探索する。そこで本研究では,各アンサンブルメンバーに対して,計算可能でランダム化され,訓練不能な関数を追加することで,標準的なディープアンサンブルトレーニングに簡単な修正を加える。我々はベイズ深部アンサンブルが無限幅極限における標準深部アンサンブルよりも保守的な予測を行うことを証明した。
論文参考訳（メタデータ） (2020-07-11T22:10:52Z)
On Random Kernels of Residual Architectures [93.94469470368988]
ResNets と DenseNets のニューラルタンジェントカーネル (NTK) に対して有限幅および深さ補正を導出する。その結果,ResNetsでは,深さと幅が同時に無限大となるとNTKへの収束が生じる可能性が示唆された。しかし、DenseNetsでは、NTKの幅が無限大になる傾向があるため、その限界への収束が保証されている。
論文参考訳（メタデータ） (2020-01-28T16:47:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。