Fugu-MT 論文翻訳(概要): Width and Depth Limits Commute in Residual Networks

論文の概要: Width and Depth Limits Commute in Residual Networks

arxiv url: http://arxiv.org/abs/2302.00453v1
Date: Wed, 1 Feb 2023 13:57:32 GMT
ステータス: 処理完了
システム内更新日: 2023-02-02 12:57:43.114218
Title: Width and Depth Limits Commute in Residual Networks
Title（参考訳）: 残留ネットワークにおける幅と深さ制限
Authors: Soufiane Hayou, Greg Yang
Abstract要約: 接続をスキップするディープニューラルネットワークにおいて、幅と深さを無限大にすると、その制限がどう取られるかに関わらず、同じ共分散構造が得られることを示す。このことは、標準無限幅奥行きアプローチが、幅と同じ順序の深さのネットワークに対しても実用的な洞察を与える理由を説明する。理論的な結果と良好な一致を示す広範囲なシミュレーションを行う。
参考スコア（独自算出の注目度）: 26.97391529844503
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We show that taking the width and depth to infinity in a deep neural network with skip connections, when branches are scaled by $1/\sqrt{depth}$ (the only nontrivial scaling), result in the same covariance structure no matter how that limit is taken. This explains why the standard infinite-width-then-depth approach provides practical insights even for networks with depth of the same order as width. We also demonstrate that the pre-activations, in this case, have Gaussian distributions which has direct applications in Bayesian deep learning. We conduct extensive simulations that show an excellent match with our theoretical findings.
Abstract（参考訳）: 枝が1/\sqrt{depth}$(1/\sqrt{depth}$(唯一の非自明なスケーリング)にスケールされると、その制限がどう取られても、同じ共分散構造が得られることを示す。これは、標準の無限幅深さアプローチが、幅と同じ深さのネットワークに対しても実用的な洞察を提供する理由を説明する。また,この場合,事前活性化はガウス分布を持ち,ベイズ深層学習に直接応用できることを示した。理論的な結果と良好な一致を示す広範囲なシミュレーションを行う。

関連論文リスト

Robust Learning in Bayesian Parallel Branching Graph Neural Networks: The Narrow Width Limit [4.373803477995854]
ベイズ並列分岐グラフニューラルネットワーク(BPB-GNN)の幅制限について検討する。 BPB-GNNの幅がトレーニング例の数に比べて有意に小さい場合、各ブランチはより堅牢な学習を示す。本結果は,並列分岐ネットワークにおいて,新たに定義された狭帯域方式を特徴付けるものである。
論文参考訳（メタデータ） (2024-07-26T15:14:22Z)
Neural networks: deep, shallow, or in between? [0.6043356028687779]
我々は、幅W、深さl、リプシッツ活性化関数を持つフィードフォワードニューラルネットワークの出力によるバナッハ空間からのコンパクト部分集合の近似誤差を推定する。モーモ対数係数は、エントロピー数の速度が無限大となるニューラルネットワークに対してのみ達成可能であることを示す。
論文参考訳（メタデータ） (2023-10-11T04:50:28Z)
Commutative Width and Depth Scaling in Deep Neural Networks [6.019182604573028]
本論文は,深部ニューラルネットワークにおける無限幅および深度限界の可換性に関するシリーズの2番目である。我々は、正式に可換性フレームワークを導入、定義し、ニューラルネットワークの設計とスケーリングにその影響について論じる。
論文参考訳（メタデータ） (2023-10-02T22:39:09Z)
Quantitative CLTs in Deep Neural Networks [12.845031126178593]
ランダムなガウス重みとバイアスを持つ完全連結ニューラルネットワークの分布について検討する。我々は、大まかではあるが有限の$n$および任意の固定されたネットワーク深さで有効な正規近似の量的境界を得る。我々の境界は、それまでの文献で利用できたものよりも、ネットワーク幅に依存しているという点で厳格に強い。
論文参考訳（メタデータ） (2023-07-12T11:35:37Z)
Feature-Learning Networks Are Consistent Across Widths At Realistic Scales [72.27228085606147]
様々なアーキテクチャやデータセットにわたる特徴学習ニューラルネットワークのダイナミクスに対する幅の影響について検討する。トレーニングの初期、オンラインデータでトレーニングされた広範なニューラルネットワークは、損失曲線が同じであるだけでなく、トレーニング全体を通じてポイントワイドなテスト予測に一致している。しかし、より狭いネットワークのアンサンブルは、単一のワイドネットワークよりも性能が劣っている。
論文参考訳（メタデータ） (2023-05-28T17:09:32Z)
Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
論文参考訳（メタデータ） (2022-12-29T20:57:46Z)
Unified Field Theory for Deep and Recurrent Neural Networks [56.735884560668985]
本稿では,再帰的ネットワークと深層ネットワークの両方に対する平均場理論の統一的,体系的な導出について述べる。平均場理論への収束は、ディープネットワークよりもリカレントネットワークの方が典型的に遅い。提案手法はガウス過程が1/n$の体系的展開の最下位次数であることを示す。
論文参考訳（メタデータ） (2021-12-10T15:06:11Z)
The Limitations of Large Width in Neural Networks: A Deep Gaussian Process Perspective [34.67386186205545]
本稿では、ニューラルネットワークの一般化による容量と幅をディープガウス過程(ディープGP)に分離する。驚くべきことに、非パラメトリックディープGPでさえガウス過程に収束し、表現力の増大なしに事実上より浅くなることを証明する。 GP動作を制限する前にテストセットのパフォーマンスを最大化する「スイートスポット」があることが、非パラメトリックディープGPの場合、幅 = 1 または幅 = 2 で発生する適応性を妨げている。
論文参考訳（メタデータ） (2021-06-11T17:58:58Z)
A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
論文参考訳（メタデータ） (2021-01-12T00:40:45Z)
Bayesian Deep Ensembles via the Neural Tangent Kernel [49.569912265882124]
我々は、ニューラルタンジェントカーネル(NTK)のレンズを通して、ディープアンサンブルとガウス過程(GP)の関連を探索する。そこで本研究では,各アンサンブルメンバーに対して,計算可能でランダム化され,訓練不能な関数を追加することで,標準的なディープアンサンブルトレーニングに簡単な修正を加える。我々はベイズ深部アンサンブルが無限幅極限における標準深部アンサンブルよりも保守的な予測を行うことを証明した。
論文参考訳（メタデータ） (2020-07-11T22:10:52Z)
On Random Kernels of Residual Architectures [93.94469470368988]
ResNets と DenseNets のニューラルタンジェントカーネル (NTK) に対して有限幅および深さ補正を導出する。その結果,ResNetsでは,深さと幅が同時に無限大となるとNTKへの収束が生じる可能性が示唆された。しかし、DenseNetsでは、NTKの幅が無限大になる傾向があるため、その限界への収束が保証されている。
論文参考訳（メタデータ） (2020-01-28T16:47:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。