Fugu-MT 論文翻訳(概要): Les Houches Lectures on Deep Learning at Large & Infinite Width

論文の概要: Les Houches Lectures on Deep Learning at Large & Infinite Width

arxiv url: http://arxiv.org/abs/2309.01592v1
Date: Mon, 4 Sep 2023 13:21:18 GMT
ステータス: 処理完了
システム内更新日: 2023-09-06 18:32:28.237705
Title: Les Houches Lectures on Deep Learning at Large & Infinite Width
Title（参考訳）: Les Houchs氏が大規模かつ無限の幅でのディープラーニングの講義を語る
Authors: Yasaman Bahri, Boris Hanin
Abstract要約: 講義は、ディープニューラルネットワークの無限幅制限と大幅規則に焦点を当てている。対象とするトピックには、これらのネットワークの様々な統計的および動的特性が含まれる。
参考スコア（独自算出の注目度）: 14.587391655296319
License: http://creativecommons.org/licenses/by/4.0/
Abstract: These lectures, presented at the 2022 Les Houches Summer School on Statistical Physics and Machine Learning, focus on the infinite-width limit and large-width regime of deep neural networks. Topics covered include various statistical and dynamical properties of these networks. In particular, the lecturers discuss properties of random deep neural networks; connections between trained deep neural networks, linear models, kernels, and Gaussian processes that arise in the infinite-width limit; and perturbative and non-perturbative treatments of large but finite-width networks, at initialization and after training.
Abstract（参考訳）: 2022年 les houches summer school on statistical physics and machine learning で発表されたこれらの講義は、無限幅限界と深層ニューラルネットワークの大幅レジームに焦点を当てている。対象とするトピックには、これらのネットワークの様々な統計的および動的特性が含まれる。特に、講義者はランダム深層ニューラルネットワークの性質、トレーニングされたディープニューラルネットワーク、線形モデル、カーネル、および無限幅極限で発生するガウス過程の接続、そして、初期化とトレーニング後の大規模だが有限幅ネットワークの摂動的かつ非摂動的処理について論じる。

関連論文リスト

TASI Lectures on Physics for Machine Learning [0.0]
注記は、TASI 2024で行った、機械学習のための物理学に関する講義に基づいている。ニューラルネットワーク理論は、ネットワーク表現性、統計、ダイナミクスに基づいて組織化されている。
論文参考訳（メタデータ） (2024-07-31T18:00:22Z)
Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
本稿では,重み空間学習におけるSANEアプローチを紹介する。ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
論文参考訳（メタデータ） (2024-06-14T13:12:07Z)
Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文参考訳（メタデータ） (2023-07-20T13:34:11Z)
Feature-Learning Networks Are Consistent Across Widths At Realistic Scales [72.27228085606147]
様々なアーキテクチャやデータセットにわたる特徴学習ニューラルネットワークのダイナミクスに対する幅の影響について検討する。トレーニングの初期、オンラインデータでトレーニングされた広範なニューラルネットワークは、損失曲線が同じであるだけでなく、トレーニング全体を通じてポイントワイドなテスト予測に一致している。しかし、より狭いネットワークのアンサンブルは、単一のワイドネットワークよりも性能が劣っている。
論文参考訳（メタデータ） (2023-05-28T17:09:32Z)
Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文参考訳（メタデータ） (2023-02-01T03:18:07Z)
Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
論文参考訳（メタデータ） (2022-12-29T20:57:46Z)
Meta-Principled Family of Hyperparameter Scaling Strategies [9.89901717499058]
広範かつ深いニューラルネットワークのための動的オブザーバブル(ネットワーク出力、ニューラルタンジェントカーネル、ニューラルタンジェントカーネルの差分)のスケーリングを計算する。文献で調べた無限幅制限は、相互接続されたウェブの異なる角に対応する。
論文参考訳（メタデータ） (2022-10-10T18:00:01Z)
On neural network kernels and the storage capacity problem [16.244541005112747]
広層木状ニューラルネットワークにおける記憶容量問題と,広層ニューラルネットワークのカーネル限界に関する文献の急速な発展との間にある関係を整理する。
論文参考訳（メタデータ） (2022-01-12T19:47:30Z)
Asymptotics of representation learning in finite Bayesian neural networks [19.809493085603673]
有限ネットワークの学習された隠蔽層表現は無限ネットワークの固定表現と異なることを示す。その結果,ベイジアンニューラルネットワークがどの特徴を表現できるかを解明し始めた。
論文参考訳（メタデータ） (2021-06-01T17:30:30Z)
Learning Contact Dynamics using Physically Structured Neural Networks [81.73947303886753]
ディープニューラルネットワークと微分方程式の接続を用いて、オブジェクト間の接触ダイナミクスを表現するディープネットワークアーキテクチャのファミリを設計する。これらのネットワークは,ノイズ観測から不連続な接触事象をデータ効率良く学習できることを示す。以上の結果から,タッチフィードバックの理想化形態は,この学習課題を扱いやすくするための重要な要素であることが示唆された。
論文参考訳（メタデータ） (2021-02-22T17:33:51Z)
Mathematical Models of Overparameterized Neural Networks [25.329225766892126]
我々は,2層ニューラルネットワークの解析に焦点をあて,重要な数学的モデルを説明する。次に、ディープニューラルネットワークと現在の研究方向を理解するための課題について論じる。
論文参考訳（メタデータ） (2020-12-27T17:48:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。