論文の概要: Random Matrix Theory for Deep Learning: Beyond Eigenvalues of Linear Models

• arxiv url: http://arxiv.org/abs/2506.13139v1
• Date: Mon, 16 Jun 2025 06:54:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:47.589476
• Title: Random Matrix Theory for Deep Learning: Beyond Eigenvalues of Linear Models
• Title（参考訳）: ディープラーニングのためのランダム行列理論:線形モデルの固有値を超えて
• Authors: Zhenyu Liao, Michael W. Mahoney,
• Abstract要約: 現代の機械学習(ML)とディープニューラルネットワーク(DNN)は高次元のデータを扱うことが多い。 特に、データ次元、サンプルサイズ、モデルパラメータの数がすべて大きな比例規則は、新しく、時には直感に反する振る舞いを引き起こす。 本稿では、線形モデルの固有値に基づく解析を超えて従来のランダム行列理論(RMT)を拡張し、非線形MLモデルによる課題に対処する。
• 参考スコア（独自算出の注目度）: 51.85815025140659
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern Machine Learning (ML) and Deep Neural Networks (DNNs) often operate on high-dimensional data and rely on overparameterized models, where classical low-dimensional intuitions break down. In particular, the proportional regime where the data dimension, sample size, and number of model parameters are all large and comparable, gives rise to novel and sometimes counterintuitive behaviors. This paper extends traditional Random Matrix Theory (RMT) beyond eigenvalue-based analysis of linear models to address the challenges posed by nonlinear ML models such as DNNs in this regime. We introduce the concept of High-dimensional Equivalent, which unifies and generalizes both Deterministic Equivalent and Linear Equivalent, to systematically address three technical challenges: high dimensionality, nonlinearity, and the need to analyze generic eigenspectral functionals. Leveraging this framework, we provide precise characterizations of the training and generalization performance of linear models, nonlinear shallow networks, and deep networks. Our results capture rich phenomena, including scaling laws, double descent, and nonlinear learning dynamics, offering a unified perspective on the theoretical understanding of deep learning in high dimensions.
• Abstract（参考訳）: 現代の機械学習(ML)とディープニューラルネットワーク(DNN)は、しばしば高次元データで動作し、古典的な低次元の直観が分解される過パラメータ化モデルに依存している。 特に、データ次元、サンプルサイズ、モデルパラメータの数が全て大きく匹敵する比例規則は、新しく、時には反直観的な振る舞いを引き起こす。 本稿では、線形モデルの固有値に基づく解析を超えて従来のランダム行列理論(RMT)を拡張し、DNNのような非線形MLモデルによるこの問題に対処する。 決定論的同値と線形同値の両方を統一・一般化した高次元等価の概念を導入し,高次元性,非線形性,一般固有スペクトル汎関数の解析の必要性という3つの技術的課題に体系的に対処する。 この枠組みを利用して、線形モデル、非線形浅層ネットワーク、深層ネットワークのトレーニングおよび一般化性能を正確に評価する。 この結果は、スケーリング法則、二重降下、非線形学習力学などの豊富な現象を捉え、高次元における深層学習の理論的理解に関する統一的な視点を提供する。

関連論文リスト

• Generalized Factor Neural Network Model for High-dimensional Regression [50.554377879576066]
  複素・非線形・雑音に隠れた潜在低次元構造を持つ高次元データセットをモデル化する課題に取り組む。 我々のアプローチは、非パラメトリック回帰、因子モデル、高次元回帰のためのニューラルネットワークの概念のシームレスな統合を可能にする。
  論文  参考訳（メタデータ） (2025-02-16T23:13:55Z)
• A Riemannian Framework for Learning Reduced-order Lagrangian Dynamics [18.151022395233152]
  本稿では,物理的に整合した低次動的パラメータを学習するための新しい幾何学的ネットワークアーキテクチャを提案する。 本手法は,剛性および変形性システムの高次元力学の高精度な長期予測を可能にする。
  論文  参考訳（メタデータ） (2024-10-24T15:53:21Z)
• A Dynamic Linear Bias Incorporation Scheme for Nonnegative Latent Factor Analysis [5.029743143286546]
  HDIデータは、ソーシャルネットワークサービスシステムのようなビッグデータ関連のアプリケーションでよく見られる。 非負の潜在因子分析(NLFA)モデルはこの問題に対処する上で優位性を持つことが証明されている。 本稿では,動的線形バイアス包含方式を革新的に提案する。
  論文  参考訳（メタデータ） (2023-09-19T13:48:26Z)
• Kernel Methods and Multi-layer Perceptrons Learn Linear Models in High Dimensions [25.635225717360466]
  完全連結ネットワークのニューラルカーネルを含む多数のカーネルに対して、カーネル法は特定の高次元状態における線形モデルと同等にしか機能しないことを示す。 高次元解析には、独立な特徴以外のデータに対するより複雑なモデルが必要である。
  論文  参考訳（メタデータ） (2022-01-20T09:35:46Z)
• Post-mortem on a deep learning contest: a Simpson's paradox and the complementary roles of scale metrics versus shape metrics [61.49826776409194]
  我々は、ニューラルネットワーク(NN)モデルの一般化精度を予測するために、コンテストで公に利用可能にされたモデルのコーパスを分析する。 メトリクスが全体としてよく機能するが、データのサブパーティションではあまり機能しない。 本稿では,データに依存しない2つの新しい形状指標と,一連のNNのテスト精度の傾向を予測できるデータ依存指標を提案する。
  論文  参考訳（メタデータ） (2021-06-01T19:19:49Z)
• Rank-R FNN: A Tensor-Based Learning Model for High-Order Data Classification [69.26747803963907]
  Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。 まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。 Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
  論文  参考訳（メタデータ） (2021-04-11T16:37:32Z)
• Hessian Eigenspectra of More Realistic Nonlinear Models [73.31363313577941]
  私たちは、非線形モデルの広いファミリーのためのヘッセン固有スペクトルの言語的特徴付けを行います。 我々の分析は、より複雑な機械学習モデルで観察される多くの顕著な特徴の起源を特定するために一歩前進する。
  論文  参考訳（メタデータ） (2021-03-02T06:59:52Z)
• DynNet: Physics-based neural architecture design for linear and nonlinear structural response modeling and prediction [2.572404739180802]
  本研究では,線形および非線形な多自由度系の力学を学習できる物理に基づくリカレントニューラルネットワークモデルを提案する。 このモデルは、変位、速度、加速度、内部力を含む完全な応答のセットを推定することができる。
  論文  参考訳（メタデータ） (2020-07-03T17:05:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。