Fugu-MT 論文翻訳(概要): Stochastic weight matrix dynamics during learning and Dyson Brownian motion

論文の概要: Stochastic weight matrix dynamics during learning and Dyson Brownian motion

arxiv url: http://arxiv.org/abs/2407.16427v1
Date: Tue, 23 Jul 2024 12:25:50 GMT
ステータス: 処理完了
システム内更新日: 2024-07-25 17:52:45.654673
Title: Stochastic weight matrix dynamics during learning and Dyson Brownian motion
Title（参考訳）: 学習時の確率的重み行列ダイナミクスとダイソンブラウン運動
Authors: Gert Aarts, Biagio Lucini, Chanju Park,
Abstract要約: 学習アルゴリズムにおける重み行列の更新はダイソン・ブラウン運動の枠組みに記述できることを示す。ガス分布の普遍的特徴と非普遍的特徴を議論し,教師-学生モデルにおいて,Wigner surmise と Wigner 半円を明示的に同定する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We demonstrate that the update of weight matrices in learning algorithms can be described in the framework of Dyson Brownian motion, thereby inheriting many features of random matrix theory. We relate the level of stochasticity to the ratio of the learning rate and the mini-batch size, providing more robust evidence to a previously conjectured scaling relationship. We discuss universal and non-universal features in the resulting Coulomb gas distribution and identify the Wigner surmise and Wigner semicircle explicitly in a teacher-student model and in the (near-)solvable case of the Gaussian restricted Boltzmann machine.
Abstract（参考訳）: 学習アルゴリズムにおける重み行列の更新は、ダイソン・ブラウン運動の枠組みで記述できることを示し、ランダム行列理論の多くの特徴を継承する。我々は,確率性のレベルを学習率とミニバッチサイズの比率に関連付け,従来予想されていたスケーリング関係に対してより堅牢な証拠を提供する。結果のクーロンガス分布における普遍的および非普遍的特徴について議論し、教師-学生モデルおよびガウス制限ボルツマンマシンの(ほぼ)解決可能な場合において、ウィグナー半円とウィグナー半円を明示的に同定する。

関連論文リスト

Dyson Brownian motion and random matrix dynamics of weight matrices during learning [0.0]
まず、ダイソン・ブラウン運動を用いて、ダイナミクスを汎用的に記述できることを実証する。レベルは学習率とミニバッチサイズに比例して示される。次に,初期化時の固有値に対するマルテンコ・パストゥル分布から学習終了時の付加構造との組合せへの進化に続く変圧器の重み行列ダイナミクスについて検討する。
論文参考訳（メタデータ） (2024-11-20T18:05:39Z)
Quantum tomography of helicity states for general scattering processes [55.2480439325792]
量子トモグラフィーは、物理学における量子系の密度行列$rho$を計算するのに欠かせない道具となっている。一般散乱過程におけるヘリシティ量子初期状態の再構成に関する理論的枠組みを提案する。
論文参考訳（メタデータ） (2023-10-16T21:23:42Z)
Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood Estimation for Latent Gaussian Models [69.22568644711113]
我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
論文参考訳（メタデータ） (2023-06-05T21:08:34Z)
Kernel Density Matrices for Probabilistic Deep Learning [8.486487001779416]
量子力学において、密度行列は量子系の状態を記述する最も一般的な方法である。本稿では,確率的深層学習,カーネル密度行列に対する新しいアプローチを提案する。これは連続確率変数と離散確率変数の両方の結合確率分布を表現するためのより単純で効果的なメカニズムを提供する。
論文参考訳（メタデータ） (2023-05-26T12:59:58Z)
Discrete Lagrangian Neural Networks with Automatic Symmetry Discovery [3.06483729892265]
離散ラグランジアンとその対称性群を運動の離散観測から学習する枠組みを導入する。学習過程はラグランジアンの形を制限せず、速度や運動量の観測や予測を必要とせず、コスト項も含んでいる。
論文参考訳（メタデータ） (2022-11-20T00:46:33Z)
Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。この問題は楕円分布のペナルティ化された最大推定値として表される。楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
論文参考訳（メタデータ） (2022-10-21T13:19:45Z)
Graph Polynomial Convolution Models for Node Classification of Non-Homophilous Graphs [52.52570805621925]
本研究では,高階グラフ畳み込みからの効率的な学習と,ノード分類のための隣接行列から直接学習する。得られたモデルが新しいグラフと残留スケーリングパラメータをもたらすことを示す。提案手法は,非親和性パラメータのノード分類における精度の向上を実証する。
論文参考訳（メタデータ） (2022-09-12T04:46:55Z)
Learning Lattice Quantum Field Theories with Equivariant Continuous Flows [10.124564216461858]
格子場理論の高次元確率分布から抽出する機械学習手法を提案する。提案手法を$phi4$理論で検証し,提案したフローベース手法のサンプリング効率を体系的に上回っていることを示す。
論文参考訳（メタデータ） (2022-07-01T09:20:05Z)
Machine Learning S-Wave Scattering Phase Shifts Bypassing the Radial Schr\"odinger Equation [77.34726150561087]
本稿では, 畳み込みニューラルネットワークを用いて, 正確な散乱s波位相シフトを得られる機械学習モデルの実証を行う。我々は、ハミルトニアンが物理的に動機づけられた記述子の構築において、いかにして指導原理として機能するかについて議論する。
論文参考訳（メタデータ） (2021-06-25T17:25:38Z)
Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。分散による離散乗法雑音のパラメータによく現れることを示す。最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
論文参考訳（メタデータ） (2020-06-11T09:58:01Z)
A Dynamical Mean-Field Theory for Learning in Restricted Boltzmann Machines [2.8021833233819486]
ボルツマンマシンにおける磁化計算のためのメッセージパッシングアルゴリズムを定義する。安定性基準の下でのアルゴリズムのグローバル収束を証明し,数値シミュレーションとの良好な一致を示す収束率を計算する。
論文参考訳（メタデータ） (2020-05-04T15:19:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。