論文の概要: Notes on Deep Learning Theory
- arxiv url: http://arxiv.org/abs/2012.05760v1
- Date: Thu, 10 Dec 2020 15:44:18 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-15 06:36:52.029854
- Title: Notes on Deep Learning Theory
- Title(参考訳): 深層学習理論の留意点
- Authors: Eugene A. Golikov
- Abstract要約: 以下は、私が2020年秋にモスクワ物理技術研究所(MIPT)とYandex School of Data Analysis(YSDA)で行った講義のノートである。
- 参考スコア(独自算出の注目度): 7.6146285961466
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: These are the notes for the lectures that I was giving during Fall 2020 at
the Moscow Institute of Physics and Technology (MIPT) and at the Yandex School
of Data Analysis (YSDA). The notes cover some aspects of initialization, loss
landscape, generalization, and a neural tangent kernel theory. While many other
topics (e.g. expressivity, a mean-field theory, a double descent phenomenon)
are missing in the current version, we plan to add them in future revisions.
- Abstract(参考訳): これは、私が2020年秋にモスクワ物理技術研究所(MIPT)とYandex School of Data Analysis(YSDA)で行った講義のメモです。
このノートは初期化、損失ランドスケープ、一般化、ニューラルネットワークカーネル理論のいくつかの側面をカバーしている。
他の多くの話題(例:
表現性,平均場理論,二重降下現象)は現在のバージョンでは欠落しており,今後の改訂で追加する予定である。
関連論文リスト
- Mathematics of Neural Networks (Lecture Notes Graduate Course) [0.0]
このコースは、大学院レベルの数学の学生のためのニューラルネットワークの導入を目的としている。
講義ノートは、適度な数学のバックグラウンドを持つすべての学生にアクセスできるよう、可能な限り自己完結型にされた。
このコースには、Jupyterノートブックのセットという形でのコーディングチュートリアルや課題も含まれていた。
論文 参考訳(メタデータ) (2024-03-06T08:45:29Z) - Relaxation of first-class constraints and the quantization of gauge
theories: from "matter without matter" to the reappearance of time in quantum
gravity [75.38606213726906]
第一級位相空間の制約は、新しい自由度値の修正と解釈すれば緩和することができる。
このアイデアはフォックとシュテッケルベルクに遡り、理論のゲージ対称性の制限につながった。
特に正準量子重力の場合、フォック-シュテッケルベルクのアプローチは、いわゆる時間の問題に関係している。
論文 参考訳(メタデータ) (2024-02-19T19:00:02Z) - GenEFT: Understanding Statics and Dynamics of Model Generalization via
Effective Theory [16.876961991785507]
ニューラルネットワークの一般化の静的性と動的性に光を遮る効果的な理論フレームワークを提案する。
我々はデコーダが弱すぎても強すぎないGoldilocksゾーンの一般化を見出した。
次に、潜在空間表現を相互作用粒子(応答)としてモデル化する表現学習のダイナミクスに関する効果的な理論を導入する。
論文 参考訳(メタデータ) (2024-02-08T18:51:55Z) - Trustworthy Machine Learning [57.08542102068706]
信頼に値する機械学習(TML)に関する教科書は、TMLの4つの重要なトピックの理論的および技術的な背景をカバーしている。
本稿では、上記の分野に関する重要な古典的・現代的な研究論文について論じ、その基礎となる直観を解明し、接続する。
論文 参考訳(メタデータ) (2023-10-12T11:04:17Z) - Kernels, Data & Physics [0.43748379918040853]
ノートは、機械学習における問題に対するいわゆるNTKアプローチについて議論する。
主にデータ蒸留や対向ロバスト性といった実践的な応用に焦点が当てられている。
論文 参考訳(メタデータ) (2023-07-05T23:51:05Z) - Beyond spectral gap (extended): The role of the topology in
decentralized learning [58.48291921602417]
機械学習モデルのデータ並列最適化では、労働者はモデルの推定値を改善するために協力する。
現在の理論では、コラボレーションはトレーニング単独よりも学習率が大きいことを説明していない。
本稿では,疎結合分散最適化の正確な図面を描くことを目的とする。
論文 参考訳(メタデータ) (2023-01-05T16:53:38Z) - Rethinking Fano's Inequality in Ensemble Learning [17.948799609068214]
我々は、複数のモデル予測が最終的な予測に組み合わされたときに失われた情報を考慮に入れなかったと論じる。
実システムに関する広範な実験を通じて,提案した理論を実証的に検証し,実証する。
論文 参考訳(メタデータ) (2022-05-25T11:44:13Z) - Learning Neural Hamiltonian Dynamics: A Methodological Overview [109.40968389896639]
Hamiltonian dynamicsは、ニューラルネットワークに正確な長期予測、解釈可能性、データ効率の学習を与える。
我々は最近提案したハミルトンニューラルネットワークモデルについて、特に方法論に焦点を当てて体系的に調査した。
論文 参考訳(メタデータ) (2022-02-28T22:54:39Z) - A Reflection on Learning from Data: Epistemology Issues and Limitations [1.8047694351309205]
本稿では,データから得られた知識の問題点と限界について考察する。
この論文は、一般的な数学的理論を用いてプロセスを記述する際の欠点について、いくつかの光を当てている。
さらに、データから学ぶことに特化した理論の必要性を強調している。
論文 参考訳(メタデータ) (2021-07-28T11:05:34Z) - Holographic tensor network models and quantum error correction: A
topical review [78.28647825246472]
ホログラフィックの双対性の研究の最近の進歩は、量子情報理論の概念や技術と結びついている。
特に成功したアプローチは、テンソルネットワークによるホログラフィック特性のキャプチャである。
論文 参考訳(メタデータ) (2021-02-04T14:09:21Z) - Recent advances in deep learning theory [104.01582662336256]
本稿では,近年のディープラーニング理論の進歩をレビューし,整理する。
文献は,(1)深層学習の一般化可能性を分析する複雑性とキャパシティに基づくアプローチ,(2)勾配降下とその変種をモデル化するための微分方程式とその力学系,(3)動的システムの軌道を駆動する損失景観の幾何学的構造,(5)ネットワークアーキテクチャにおけるいくつかの特別な構造の理論的基礎,の6つのグループに分類される。
論文 参考訳(メタデータ) (2020-12-20T14:16:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。