Fugu-MT 論文翻訳(概要): Implicit Acceleration and Feature Learning inInfinitely Wide Neural Networks with Bottlenecks

論文の概要: Implicit Acceleration and Feature Learning inInfinitely Wide Neural Networks with Bottlenecks

arxiv url: http://arxiv.org/abs/2107.00364v1
Date: Thu, 1 Jul 2021 11:00:43 GMT
ステータス: 処理完了
システム内更新日: 2021-07-02 19:29:42.976553
Title: Implicit Acceleration and Feature Learning inInfinitely Wide Neural Networks with Bottlenecks
Title（参考訳）: ボトルネック付き無限広ニューラルネットワークにおける入射加速と特徴学習
Authors: Etai Littwin, Omid Saremi, Shuangfei Zhai, Vimal Thilak, Hanlin Goh, Joshua M. Susskind, Greg Yang
Abstract要約: 無限ネットワークにおける単一ボトルネックは、純粋に無限ネットワークと比較してトレーニングを劇的に加速することを示す。無限大の深い線形モデルと類似性を描くことで加速現象を議論する。
参考スコア（独自算出の注目度）: 22.27535858376529
License: http://creativecommons.org/publicdomain/zero/1.0/
Abstract: We analyze the learning dynamics of infinitely wide neural networks with a finite sized bottle-neck. Unlike the neural tangent kernel limit, a bottleneck in an otherwise infinite width network al-lows data dependent feature learning in its bottle-neck representation. We empirically show that a single bottleneck in infinite networks dramatically accelerates training when compared to purely in-finite networks, with an improved overall performance. We discuss the acceleration phenomena by drawing similarities to infinitely wide deep linear models, where the acceleration effect of a bottleneck can be understood theoretically.
Abstract（参考訳）: 有限サイズのボトルネックを用いて無限大ニューラルネットワークの学習ダイナミクスを分析する。ニューラルネットワークカーネルの限界とは異なり、無限幅ネットワークにおけるボトルネックは、ボトルネック表現におけるデータ依存的特徴学習を遅くする。無限ネットワークにおける単一ボトルネックは、純粋に無限ネットワークと比較してトレーニングを劇的に加速し、全体的なパフォーマンスが向上することを示す。ボトルネックの加速度効果を理論的に理解できる無限大のディープリニアモデルと類似性を引き出すことで加速度現象を考察する。

関連論文リスト

Speed Limits for Deep Learning [67.69149326107103]
熱力学の最近の進歩は、初期重量分布から完全に訓練されたネットワークの最終分布への移動速度の制限を可能にする。線形および線形化可能なニューラルネットワークに対して,これらの速度制限に対する解析式を提供する。 NTKスペクトルとラベルのスペクトル分解に関するいくつかの妥当なスケーリング仮定を考えると、学習はスケーリングの意味で最適である。
論文参考訳（メタデータ） (2023-07-27T06:59:46Z)
Feature-Learning Networks Are Consistent Across Widths At Realistic Scales [72.27228085606147]
様々なアーキテクチャやデータセットにわたる特徴学習ニューラルネットワークのダイナミクスに対する幅の影響について検討する。トレーニングの初期、オンラインデータでトレーニングされた広範なニューラルネットワークは、損失曲線が同じであるだけでなく、トレーニング全体を通じてポイントワイドなテスト予測に一致している。しかし、より狭いネットワークのアンサンブルは、単一のワイドネットワークよりも性能が劣っている。
論文参考訳（メタデータ） (2023-05-28T17:09:32Z)
Dynamics of Finite Width Kernel and Prediction Fluctuations in Mean Field Neural Networks [47.73646927060476]
広義だが有限な特徴学習ニューラルネットワークにおける有限幅効果のダイナミクスを解析する。我々の結果は、特徴学習の強みにおいて非摂動的である。
論文参考訳（メタデータ） (2023-04-06T23:11:49Z)
Simple initialization and parametrization of sinusoidal networks via their kernel bandwidth [92.25666446274188]
従来の活性化機能を持つネットワークの代替として、活性化を伴う正弦波ニューラルネットワークが提案されている。まず,このような正弦波ニューラルネットワークの簡易版を提案する。次に、ニューラルタンジェントカーネルの観点からこれらのネットワークの挙動を分析し、そのカーネルが調整可能な帯域幅を持つ低域フィルタを近似することを実証する。
論文参考訳（メタデータ） (2022-11-26T07:41:48Z)
Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文参考訳（メタデータ） (2022-05-11T17:43:54Z)
Multirate Training of Neural Networks [0.0]
視覚およびNLPにおける様々な伝達学習アプリケーションに対して、ほぼ半分の時間でディープニューラルネットワークを微調整できることを示す。本稿では,異なる時間スケールで全ネットワークをトレーニングすることで,データに存在するさまざまな特徴を同時に学習するマルチレート手法を提案する。
論文参考訳（メタデータ） (2021-06-20T22:44:55Z)
The Principles of Deep Learning Theory [19.33681537640272]
この本は、実践的妥当性の深いニューラルネットワークを理解するための効果的な理論アプローチを開発する。これらのネットワークがトレーニングから非自明な表現を効果的に学習する方法について説明する。トレーニングネットワークのアンサンブルの有効モデル複雑性を,奥行き比が支配していることを示す。
論文参考訳（メタデータ） (2021-06-18T15:00:00Z)
Computational Separation Between Convolutional and Fully-Connected Networks [35.39956227364153]
我々は、畳み込みネットワークがデータの局所性をどのように活用し、完全に接続されたネットワークに対して計算上の優位性を実現するかを示す。具体的には,勾配差を学習した畳み込みネットワークを用いて,効率よく解ける問題群を示す。
論文参考訳（メタデータ） (2020-10-03T14:24:59Z)
Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文参考訳（メタデータ） (2020-08-19T04:53:31Z)
Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
論文参考訳（メタデータ） (2020-07-31T01:57:47Z)
The Surprising Simplicity of the Early-Time Learning Dynamics of Neural Networks [43.860358308049044]
研究において、これらの共通認識は、学習の初期段階において完全に誤りであることを示す。この驚くべき単純さは、畳み込みアーキテクチャを持つより多くのレイヤを持つネットワークで持続することができる、と私たちは主張する。
論文参考訳（メタデータ） (2020-06-25T17:42:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。