Fugu-MT 論文翻訳(概要): TASI Lectures on Physics for Machine Learning

論文の概要: TASI Lectures on Physics for Machine Learning

arxiv url: http://arxiv.org/abs/2408.00082v1
Date: Wed, 31 Jul 2024 18:00:22 GMT
ステータス: 処理完了
システム内更新日: 2024-08-05 00:27:00.024541
Title: TASI Lectures on Physics for Machine Learning
Title（参考訳）: 機械学習のための物理に関するTASI講義
Authors: Jim Halverson,
Abstract要約: 注記は、TASI 2024で行った、機械学習のための物理学に関する講義に基づいている。ニューラルネットワーク理論は、ネットワーク表現性、統計、ダイナミクスに基づいて組織化されている。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: These notes are based on lectures I gave at TASI 2024 on Physics for Machine Learning. The focus is on neural network theory, organized according to network expressivity, statistics, and dynamics. I present classic results such as the universal approximation theorem and neural network / Gaussian process correspondence, and also more recent results such as the neural tangent kernel, feature learning with the maximal update parameterization, and Kolmogorov-Arnold networks. The exposition on neural network theory emphasizes a field theoretic perspective familiar to theoretical physicists. I elaborate on connections between the two, including a neural network approach to field theory.
Abstract（参考訳）: これらのノートは、TASI 2024で行ったScience for Machine Learningの講義に基づいている。ニューラルネットワーク理論は、ネットワーク表現性、統計、ダイナミクスに基づいて組織化されている。本稿では、普遍近似定理やニューラルネットワーク/ガウス過程対応などの古典的な結果や、ニューラルタンジェントカーネル、最大更新パラメータ化による特徴学習、コルモゴロフ・アルノルドネットワークなどの最近の結果を紹介する。ニューラルネットワーク理論の展示は、理論物理学者に精通した場の理論的な視点を強調している。フィールド理論へのニューラルネットワークアプローチを含む、この2つの関係について詳しく説明します。

関連論文リスト

Collective variables of neural networks: empirical time evolution and scaling laws [0.535514140374842]
実験的なニューラル・タンジェント・カーネルのスペクトル、特にエントロピーとトレースのスペクトルに対する特定の測定により、ニューラルネットワークが学習した表現についての洞察が得られることを示す。結果は、トランスフォーマー、オートエンコーダ、グラフニューラルネットワーク、強化学習研究など、より複雑なネットワークで示される前に、まずテストケースで実証される。
論文参考訳（メタデータ） (2024-10-09T21:37:14Z)
Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
論文参考訳（メタデータ） (2024-05-24T06:30:36Z)
Conditional computation in neural networks: principles and research trends [48.14569369912931]
本稿では,ニューラルネットワークの設計にテクトコンディショナリ計算を適用するという,新たな領域の原理とアイデアを要約する。特に、入力に条件付きで計算グラフの一部を動的に活性化または非活性化するニューラルネットワークに焦点を当てる。
論文参考訳（メタデータ） (2024-03-12T11:56:38Z)
Connecting NTK and NNGP: A Unified Theoretical Framework for Neural Network Learning Dynamics in the Kernel Regime [7.136205674624813]
ニューラルネットワークの学習過程を無限の幅制限で理解するための包括的フレームワークを提供する。我々は、勾配駆動学習と拡散学習という、異なる時間スケールで特徴づけられる2つの学習フェーズを同定する。
論文参考訳（メタデータ） (2023-09-08T18:00:01Z)
The semantic landscape paradigm for neural networks [0.0]
本稿では,ニューラルネットワークのトレーニング力学を記述する概念的および数学的枠組みであるセマンティックランドスケープパラダイムを紹介する。具体的には,グルーキングとスケールの出現はパーコレーション現象と関連し,ニューラルネットワークのスケーリング法則はグラフ上のランダムウォークの統計から説明できることを示す。
論文参考訳（メタデータ） (2023-07-18T18:48:54Z)
Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文参考訳（メタデータ） (2023-02-01T03:18:07Z)
Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
論文参考訳（メタデータ） (2022-09-16T06:36:06Z)
What can linearized neural networks actually say about generalization? [67.83999394554621]
ある無限大のニューラルネットワークにおいて、ニューラル・タンジェント・カーネル(NTK)理論は一般化を完全に特徴づける。線形近似は、ニューラルネットワークの特定のタスクの学習複雑性を確実にランク付けできることを示す。我々の研究は、将来の理論的研究を刺激する新しい深層学習現象の具体例を提供する。
論文参考訳（メタデータ） (2021-06-12T13:05:11Z)
Learning Contact Dynamics using Physically Structured Neural Networks [81.73947303886753]
ディープニューラルネットワークと微分方程式の接続を用いて、オブジェクト間の接触ダイナミクスを表現するディープネットワークアーキテクチャのファミリを設計する。これらのネットワークは,ノイズ観測から不連続な接触事象をデータ効率良く学習できることを示す。以上の結果から,タッチフィードバックの理想化形態は,この学習課題を扱いやすくするための重要な要素であることが示唆された。
論文参考訳（メタデータ） (2021-02-22T17:33:51Z)
Mathematical Models of Overparameterized Neural Networks [25.329225766892126]
我々は,2層ニューラルネットワークの解析に焦点をあて,重要な数学的モデルを説明する。次に、ディープニューラルネットワークと現在の研究方向を理解するための課題について論じる。
論文参考訳（メタデータ） (2020-12-27T17:48:31Z)
Mastering high-dimensional dynamics with Hamiltonian neural networks [0.0]
マップ・ビルディング・パースペクティブは、従来のニューラルネットワークよりもハミルトニアン・ニューラル・ネットワークの優位性を解明する。その結果、データ、次元、ニューラルネットワーク学習性能の臨界関係を明らかにした。
論文参考訳（メタデータ） (2020-07-28T21:14:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。