Fugu-MT 論文翻訳(概要): Random Matrix Theory for Stochastic Gradient Descent

論文の概要: Random Matrix Theory for Stochastic Gradient Descent

arxiv url: http://arxiv.org/abs/2412.20496v1
Date: Sun, 29 Dec 2024 15:21:13 GMT
ステータス: 翻訳完了
システム内更新日: 2024-12-31 16:03:52.408025
Title: Random Matrix Theory for Stochastic Gradient Descent
Title（参考訳）: 確率的グラディエントDescenceのランダム行列理論
Authors: Chanju Park, Matteo Favoni, Biagio Lucini, Gert Aarts,
Abstract要約: 機械学習アルゴリズムにおける学習のダイナミクスを調べることは、アプローチが成功する方法と理由を理解する上で、最重要事項である。ここでは、ダイソン・ブラウン運動の枠組みを用いて、ランダム行列理論からウェイト行列ダイナミクスを記述する。学習速度(ステップサイズ)とバッチサイズの間の線形スケーリングルールを導出し、重み行列力学の普遍的および非普遍的側面を同定する。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: Investigating the dynamics of learning in machine learning algorithms is of paramount importance for understanding how and why an approach may be successful. The tools of physics and statistics provide a robust setting for such investigations. Here we apply concepts from random matrix theory to describe stochastic weight matrix dynamics, using the framework of Dyson Brownian motion. We derive the linear scaling rule between the learning rate (step size) and the batch size, and identify universal and non-universal aspects of weight matrix dynamics. We test our findings in the (near-)solvable case of the Gaussian Restricted Boltzmann Machine and in a linear one-hidden-layer neural network.
Abstract（参考訳）: 機械学習アルゴリズムにおける学習のダイナミクスを調査することは、アプローチが成功する方法と理由を理解する上で、最重要事項である。物理学と統計学の道具は、そのような調査のために堅牢な設定を提供する。ここでは、ダイソン・ブラウン運動の枠組みを用いて確率的重み行列ダイナミクスを記述するためにランダム行列理論の概念を適用する。学習速度(ステップサイズ)とバッチサイズの間の線形スケーリングルールを導出し、重み行列力学の普遍的および非普遍的側面を同定する。我々は,ガウス制限ボルツマンマシンの(ほぼ)解決可能な事例と,線形一重層ニューラルネットワークを用いて実験を行った。

関連論文リスト

Dyson Brownian motion and random matrix dynamics of weight matrices during learning [0.0]
まず、ダイソン・ブラウン運動を用いて、ダイナミクスを汎用的に記述できることを実証する。レベルは学習率とミニバッチサイズに比例して示される。次に,初期化時の固有値に対するマルテンコ・パストゥル分布から学習終了時の付加構造との組合せへの進化に続く変圧器の重み行列ダイナミクスについて検討する。
論文参考訳（メタデータ） (2024-11-20T18:05:39Z)
Stochastic weight matrix dynamics during learning and Dyson Brownian motion [0.0]
学習アルゴリズムにおける重み行列の更新はダイソン・ブラウン運動の枠組みに記述できることを示す。ガス分布の普遍的特徴と非普遍的特徴を議論し,教師-学生モデルにおいて,Wigner surmise と Wigner 半円を明示的に同定する。
論文参考訳（メタデータ） (2024-07-23T12:25:50Z)
Recent and Upcoming Developments in Randomized Numerical Linear Algebra for Machine Learning [49.0767291348921]
RandNLA (Randomized Numerical Linear Algebra) は、ランダムネスを用いてユビキタス行列問題に対する改良アルゴリズムを開発する分野である。この記事では、これらの開発状況を踏まえた自己完結したRandNLAの概要を紹介する。
論文参考訳（メタデータ） (2024-06-17T02:30:55Z)
Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood Estimation for Latent Gaussian Models [69.22568644711113]
我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
論文参考訳（メタデータ） (2023-06-05T21:08:34Z)
Capturing dynamical correlations using implicit neural representations [85.66456606776552]
実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
論文参考訳（メタデータ） (2023-04-08T07:55:36Z)
Test Set Sizing Via Random Matrix Theory [91.3755431537592]
本稿ではランダム行列理論の手法を用いて、単純な線形回帰に対して理想的なトレーニング-テストデータ分割を求める。それは「理想」を整合性計量を満たすものとして定義し、すなわち経験的モデル誤差は実際の測定ノイズである。本論文は,任意のモデルのトレーニングとテストサイズを,真に最適な方法で解決した最初の論文である。
論文参考訳（メタデータ） (2021-12-11T13:18:33Z)
Learning a Compressive Sensing Matrix with Structural Constraints via Maximum Mean Discrepancy Optimization [17.104994036477308]
本稿では,圧縮センシング関連回復問題に対する測定行列を得るための学習に基づくアルゴリズムを提案する。ニューラルネットワーク関連のトピックにおけるこのようなメトリクスの最近の成功は、機械学習に基づく問題の解決策を動機付けている。
論文参考訳（メタデータ） (2021-10-14T08:35:54Z)
Shallow Representation is Deep: Learning Uncertainty-aware and Worst-case Random Feature Dynamics [1.1470070927586016]
本稿では,不確実な系モデルを普遍核ヒルベルト空間における未知あるいは不確実な滑らかな関数とみなす。パラメータの不確かさのあるランダムな特徴を用いて1段階の動的関数を直接近似することにより、力学系全体を多層ニューラルネットワークとみなす。
論文参考訳（メタデータ） (2021-06-24T14:48:12Z)
Efficient construction of tensor-network representations of many-body Gaussian states [59.94347858883343]
本稿では,多体ガウス状態のテンソルネットワーク表現を効率よく,かつ制御可能な誤差で構築する手法を提案する。これらの状態には、量子多体系の研究に欠かせないボゾン系およびフェルミオン系二次ハミルトン系の基底状態と熱状態が含まれる。
論文参考訳（メタデータ） (2020-08-12T11:30:23Z)
Stochastic Flows and Geometric Optimization on the Orthogonal Group [52.50121190744979]
直交群 $O(d)$ 上の幾何駆動最適化アルゴリズムの新しいクラスを示す。提案手法は,深層,畳み込み,反復的なニューラルネットワーク,強化学習,フロー,メトリック学習など,機械学習のさまざまな分野に適用可能であることを示す。
論文参考訳（メタデータ） (2020-03-30T15:37:50Z)
Understanding the dynamics of message passing algorithms: a free probability heuristics [2.8021833233819486]
本研究では,大規模系の極限における密結合行列を持つ確率モデルに対する推論アルゴリズムの挙動を解析する。玩具Isingモデルでは,有効記憶の消失特性やアルゴリズムの解析収束率などの過去の結果を復元することができる。
論文参考訳（メタデータ） (2020-02-03T19:50:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。