論文の概要: Disordered Dynamics in High Dimensions: Connections to Random Matrices and Machine Learning

• arxiv url: http://arxiv.org/abs/2601.01010v2
• Date: Fri, 09 Jan 2026 14:50:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-12 13:49:32.176631
• Title: Disordered Dynamics in High Dimensions: Connections to Random Matrices and Machine Learning
• Title（参考訳）: 高次元における障害ダイナミクス--ランダム行列と機械学習との関係
• Authors: Blake Bordelon, Cengiz Pehlevan,
• Abstract要約: ランダム行列によって駆動される高次元力学系について概説する。 機械学習理論における学習と一般化の単純なモデルへの応用に焦点を当てる。
• 参考スコア（独自算出の注目度）: 52.26396748560348
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We provide an overview of high dimensional dynamical systems driven by random matrices, focusing on applications to simple models of learning and generalization in machine learning theory. Using both cavity method arguments and path integrals, we review how the behavior of a coupled infinite dimensional system can be characterized as a stochastic process for each single site of the system. We provide a pedagogical treatment of dynamical mean field theory (DMFT), a framework that can be flexibly applied to these settings. The DMFT single site stochastic process is fully characterized by a set of (two-time) correlation and response functions. For linear time-invariant systems, we illustrate connections between random matrix resolvents and the DMFT response. We demonstrate applications of these ideas to machine learning models such as gradient flow, stochastic gradient descent on random feature models and deep linear networks in the feature learning regime trained on random data. We demonstrate how bias and variance decompositions (analysis of ensembling/bagging etc) can be computed by averaging over subsets of the DMFT noise variables. From our formalism we also investigate how linear systems driven with random non-Hermitian matrices (such as random feature models) can exhibit non-monotonic loss curves with training time, while Hermitian matrices with the matching spectra do not, highlighting a different mechanism for non-monotonicity than small eigenvalues causing instability to label noise. Lastly, we provide asymptotic descriptions of the training and test loss dynamics for randomly initialized deep linear neural networks trained in the feature learning regime with high-dimensional random data. In this case, the time translation invariance structure is lost and the hidden layer weights are characterized as spiked random matrices.
• Abstract（参考訳）: 本稿では,ランダム行列によって駆動される高次元力学系の概要を述べる。機械学習理論における単純な学習モデルと一般化への応用に焦点をあてる。 空洞法と経路積分の両方を用いて、結合した無限次元系の挙動が、系の各部位の確率過程として特徴づけられるかを検討する。 本稿では,動的平均場理論(DMFT)の教育的扱いについて述べる。 DMFT単サイト確率過程は、(2回)相関関数と応答関数のセットによって完全に特徴づけられる。 線形時間不変系では、ランダム行列分解剤とDMFT応答の接続を記述する。 ランダムな特徴モデルに対する勾配流、確率的勾配勾配勾配、およびランダムなデータに基づいて訓練された特徴学習システムにおける深層線形ネットワークなどの機械学習モデルへのこれらのアイデアの応用を実証する。 DMFTノイズ変数のサブセットを平均化することにより、バイアスと分散分解(アンサンブル/バッギングなどの解析)がどのように計算できるかを実証する。 我々の定式化から、ランダムな非エルミート行列(例えば、ランダムな特徴モデル)で駆動される線形系は、トレーニング時間とともに非単調な損失曲線を示すが、一致するスペクトルを持つエルミート行列は、ラベルノイズに不安定を引き起こす小さな固有値とは異なる非単調性のメカニズムを強調する。 最後に、高次元ランダムデータを用いた特徴学習システムで訓練されたランダム初期化深部線形ニューラルネットワークのトレーニングとテスト損失ダイナミクスについて、漸近的に記述する。 この場合、時間変換不変構造が失われ、隠れた層重みがスパイクランダム行列として特徴づけられる。

関連論文リスト

• Learning Nonlinear Dynamics in Physical Modelling Synthesis using Neural Ordinary Differential Equations [13.755383470312001]
  モード分解は、通常の微分方程式の結合非線形系につながる。 応用機械学習手法の最近の研究は、データからラップされた動的システムを自動的にモデル化するために使われてきた。 本稿では,システムの非線形ダイナミクスを再現するために,モデルをトレーニングできることを示す。
  論文  参考訳（メタデータ） (2025-05-15T17:17:21Z)
• Learning Stochastic Dynamical Systems with Structured Noise [12.056775765064266]
  大規模データセットが利用できるため、ノイズを伴う観測から学習モデルを学ぶことへの関心が高まっている。 ノイズが特異なSDE系のドリフト項と拡散項の両方を学習するための非パラメトリックフレームワークを提案する。 提案手法の有効性を実証するために,軌道データを用いた推定器を構築するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-03-03T00:40:53Z)
• HyperSINDy: Deep Generative Modeling of Nonlinear Stochastic Governing Equations [5.279268784803583]
  本稿では,データからのスパース制御方程式の深部生成モデルを用いた動的モデリングフレームワークHyperSINDyを紹介する。 一度訓練すると、HyperSINDyは、係数が白色雑音によって駆動される微分方程式を介して力学を生成する。 実験では、HyperSINDyはデータと一致するように学習度をスケーリングすることで、基底的真理支配方程式を復元する。
  論文  参考訳（メタデータ） (2023-10-07T14:41:59Z)
• Capturing dynamical correlations using implicit neural representations [85.66456606776552]
  実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。 そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
  論文  参考訳（メタデータ） (2023-04-08T07:55:36Z)
• Formal Controller Synthesis for Markov Jump Linear Systems with Uncertain Dynamics [64.72260320446158]
  マルコフジャンプ線形系に対する制御器の合成法を提案する。 本手法は,MJLSの離散(モードジャンピング)と連続(確率線形)の両方の挙動を捉える有限状態抽象化に基づいている。 本手法を複数の現実的なベンチマーク問題,特に温度制御と航空機の配送問題に適用する。
  論文  参考訳（メタデータ） (2022-12-01T17:36:30Z)
• Capturing Actionable Dynamics with Structured Latent Ordinary Differential Equations [68.62843292346813]
  本稿では,その潜在表現内でのシステム入力の変動をキャプチャする構造付き潜在ODEモデルを提案する。 静的変数仕様に基づいて,本モデルではシステムへの入力毎の変動要因を学習し,潜在空間におけるシステム入力の影響を分離する。
  論文  参考訳（メタデータ） (2022-02-25T20:00:56Z)
• Uncertainty quantification in a mechanical submodel driven by a Wasserstein-GAN [0.0]
  本稿では,機械学習やデータ駆動手法における非線形手法の利用が重要であることを示す。 このような応用にはGAN(Generative Adversarial Networks)が適しており、Wasserstein-GANには勾配ペナルティのバリエーションがある。
  論文  参考訳（メタデータ） (2021-10-26T13:18:06Z)
• Fluctuation-dissipation Type Theorem in Stochastic Linear Learning [2.8292841621378844]
  ゆらぎ散逸定理(英: fluctuation-dissipation theorem, FDT)は、一階微分方程式の単純かつ強力な結果である。 入力ベクトルが学習対象となる線形行列によって出力ベクトルに写像される線形学習力学は、全バッチ勾配降下スキームを勾配降下のものと置き換えるときにランゲヴィン力学を忠実に模倣する検証版を持つ。 我々は,MNIST, CIFAR-10, CIFAR-10などの機械学習データセットにおける線形学習力学の一般化検証とその妥当性を導出する。
  論文  参考訳（メタデータ） (2021-06-04T02:54:26Z)
• Using Data Assimilation to Train a Hybrid Forecast System that Combines Machine-Learning and Knowledge-Based Components [52.77024349608834]
  利用可能なデータがノイズの多い部分測定の場合,カオスダイナミクスシステムのデータ支援予測の問題を検討する。 動的システムの状態の部分的測定を用いることで、不完全な知識ベースモデルによる予測を改善するために機械学習モデルを訓練できることを示す。
  論文  参考訳（メタデータ） (2021-02-15T19:56:48Z)
• Learning with Density Matrices and Random Features [44.98964870180375]
  密度行列は、量子系の統計状態を記述する。 量子系の量子的不確実性と古典的不確実性の両方を表現することは強力な形式主義である。 本稿では,機械学習モデルのビルディングブロックとして密度行列をどのように利用できるかを検討する。
  論文  参考訳（メタデータ） (2021-02-08T17:54:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。