Fugu-MT 論文翻訳(概要): Notes on Deep Learning Theory

論文の概要: Notes on Deep Learning Theory

arxiv url: http://arxiv.org/abs/2012.05760v1
Date: Thu, 10 Dec 2020 15:44:18 GMT
ステータス: 処理完了
システム内更新日: 2021-05-15 06:36:52.029854
Title: Notes on Deep Learning Theory
Title（参考訳）: 深層学習理論の留意点
Authors: Eugene A. Golikov
Abstract要約: 以下は、私が2020年秋にモスクワ物理技術研究所(MIPT)とYandex School of Data Analysis(YSDA)で行った講義のノートである。
参考スコア（独自算出の注目度）: 7.6146285961466
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: These are the notes for the lectures that I was giving during Fall 2020 at the Moscow Institute of Physics and Technology (MIPT) and at the Yandex School of Data Analysis (YSDA). The notes cover some aspects of initialization, loss landscape, generalization, and a neural tangent kernel theory. While many other topics (e.g. expressivity, a mean-field theory, a double descent phenomenon) are missing in the current version, we plan to add them in future revisions.
Abstract（参考訳）: これは、私が2020年秋にモスクワ物理技術研究所(MIPT)とYandex School of Data Analysis(YSDA)で行った講義のメモです。このノートは初期化、損失ランドスケープ、一般化、ニューラルネットワークカーネル理論のいくつかの側面をカバーしている。他の多くの話題(例: 表現性,平均場理論,二重降下現象)は現在のバージョンでは欠落しており,今後の改訂で追加する予定である。

関連論文リスト

Exact, Tractable Gauss-Newton Optimization in Deep Reversible Architectures Reveal Poor Generalization [52.16435732772263]
多くのアプリケーションにおいて、ディープニューラルネットワークのトレーニングを加速する2階最適化が示されている。しかし、二階法の一般化特性についてはいまだ議論が続いている。我々は、Gauss-Newton (GN) の正確な更新が、ディープアーキテクチャのクラスにおいて、牽引可能な形式を取ることを初めて示す。
論文参考訳（メタデータ） (2024-11-12T17:58:40Z)
Lecture Notes on Linear Neural Networks: A Tale of Optimization and Generalization in Deep Learning [14.909298522361306]
ノートは、深層学習の数学的理解に関するプリンストン大学の上級講座の一部として、2021年3月にNCが行った講義に基づいている。彼らは線形ニューラルネットワークの理論(NC、NR、共同研究者によって開発された)を提示し、ディープラーニングの最適化と一般化の研究における基礎モデルである。
論文参考訳（メタデータ） (2024-08-25T08:24:48Z)
TASI Lectures on Physics for Machine Learning [0.0]
注記は、TASI 2024で行った、機械学習のための物理学に関する講義に基づいている。ニューラルネットワーク理論は、ネットワーク表現性、統計、ダイナミクスに基づいて組織化されている。
論文参考訳（メタデータ） (2024-07-31T18:00:22Z)
Foundations and Frontiers of Graph Learning Theory [81.39078977407719]
グラフ学習の最近の進歩は、複雑な構造を持つデータを理解し分析する方法に革命をもたらした。グラフニューラルネットワーク(GNN)、すなわちグラフ表現を学習するために設計されたニューラルネットワークアーキテクチャは、一般的なパラダイムとなっている。本稿では,グラフ学習モデルに固有の近似と学習行動に関する理論的基礎とブレークスルーについて概説する。
論文参考訳（メタデータ） (2024-07-03T14:07:41Z)
Lecture notes on rough paths and applications to machine learning [4.886382552259227]
第一原理からシグネチャのコア理論を開発し、その後、このアプローチの最近の一般的な応用について調査する。このノートは、インペリアル・カレッジ・ロンドン(英語版)の2人の著者によるコースに基づいている。
論文参考訳（メタデータ） (2024-04-09T19:25:16Z)
Mathematics of Neural Networks (Lecture Notes Graduate Course) [0.0]
このコースは、大学院レベルの数学の学生のためのニューラルネットワークの導入を目的としている。講義ノートは、適度な数学のバックグラウンドを持つすべての学生にアクセスできるよう、可能な限り自己完結型にされた。このコースには、Jupyterノートブックのセットという形でのコーディングチュートリアルや課題も含まれていた。
論文参考訳（メタデータ） (2024-03-06T08:45:29Z)
Trustworthy Machine Learning [57.08542102068706]
信頼に値する機械学習(TML)に関する教科書は、TMLの4つの重要なトピックの理論的および技術的な背景をカバーしている。本稿では、上記の分野に関する重要な古典的・現代的な研究論文について論じ、その基礎となる直観を解明し、接続する。
論文参考訳（メタデータ） (2023-10-12T11:04:17Z)
Beyond spectral gap (extended): The role of the topology in decentralized learning [58.48291921602417]
機械学習モデルのデータ並列最適化では、労働者はモデルの推定値を改善するために協力する。現在の理論では、コラボレーションはトレーニング単独よりも学習率が大きいことを説明していない。本稿では,疎結合分散最適化の正確な図面を描くことを目的とする。
論文参考訳（メタデータ） (2023-01-05T16:53:38Z)
Rethinking Fano's Inequality in Ensemble Learning [17.948799609068214]
我々は、複数のモデル予測が最終的な予測に組み合わされたときに失われた情報を考慮に入れなかったと論じる。実システムに関する広範な実験を通じて,提案した理論を実証的に検証し,実証する。
論文参考訳（メタデータ） (2022-05-25T11:44:13Z)
Learning Neural Hamiltonian Dynamics: A Methodological Overview [109.40968389896639]
Hamiltonian dynamicsは、ニューラルネットワークに正確な長期予測、解釈可能性、データ効率の学習を与える。我々は最近提案したハミルトンニューラルネットワークモデルについて、特に方法論に焦点を当てて体系的に調査した。
論文参考訳（メタデータ） (2022-02-28T22:54:39Z)
Recent advances in deep learning theory [104.01582662336256]
本稿では,近年のディープラーニング理論の進歩をレビューし,整理する。文献は,(1)深層学習の一般化可能性を分析する複雑性とキャパシティに基づくアプローチ,(2)勾配降下とその変種をモデル化するための微分方程式とその力学系,(3)動的システムの軌道を駆動する損失景観の幾何学的構造,(5)ネットワークアーキテクチャにおけるいくつかの特別な構造の理論的基礎,の6つのグループに分類される。
論文参考訳（メタデータ） (2020-12-20T14:16:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。