論文の概要: Generalization in Representation Models via Random Matrix Theory: Application to Recurrent Networks

• arxiv url: http://arxiv.org/abs/2511.02401v1
• Date: Tue, 04 Nov 2025 09:30:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-10 21:00:44.525824
• Title: Generalization in Representation Models via Random Matrix Theory: Application to Recurrent Networks
• Title（参考訳）: ランダム行列理論による表現モデルの一般化:リカレントネットワークへの応用
• Authors: Yessin Moakher, Malik Tiomoko, Cosme Louart, Zhenyu Liao,
• Abstract要約: まず,固定された特徴表現(凍結中間層)と学習可能な読み出し層を用いたモデルの一般化誤差について検討する。 一般化誤差に対する閉形式式を導出するためにランダム行列理論を適用する。 次に、この解析を繰り返し表現に適用し、その性能を特徴付ける簡潔な公式を得る。
• 参考スコア（独自算出の注目度）: 7.721672385781673
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We first study the generalization error of models that use a fixed feature representation (frozen intermediate layers) followed by a trainable readout layer. This setting encompasses a range of architectures, from deep random-feature models to echo-state networks (ESNs) with recurrent dynamics. Working in the high-dimensional regime, we apply Random Matrix Theory to derive a closed-form expression for the asymptotic generalization error. We then apply this analysis to recurrent representations and obtain concise formula that characterize their performance. Surprisingly, we show that a linear ESN is equivalent to ridge regression with an exponentially time-weighted (''memory'') input covariance, revealing a clear inductive bias toward recent inputs. Experiments match predictions: ESNs win in low-sample, short-memory regimes, while ridge prevails with more data or long-range dependencies. Our methodology provides a general framework for analyzing overparameterized models and offers insights into the behavior of deep learning networks.
• Abstract（参考訳）: まず,固定された特徴表現(凍結中間層)と学習可能な読み出し層を用いたモデルの一般化誤差について検討する。 この設定は、深いランダム機能モデルから、リカレントダイナミクスを備えたエコー状態ネットワーク(ESN)まで、様々なアーキテクチャを含んでいる。 高次元状態において、漸近的一般化誤差に対する閉形式式を導出するためにランダム行列理論を適用する。 次に、この解析を繰り返し表現に適用し、それらの性能を特徴付ける簡潔な公式を得る。 意外なことに、線形ESNは指数的に時間重み付き('Memory'')入力共分散を持つリッジ回帰と等価であり、最近の入力に対する明らかな帰納バイアスが明らかである。 実験は予測にマッチする: ESNは低サンプリング、短メモリのレシエーションで勝利し、リッジはより多くのデータや長距離依存関係で優位である。 提案手法は,過パラメータモデル解析のための一般的なフレームワークを提供し,ディープラーニングネットワークの動作に関する洞察を提供する。

関連論文リスト

• Recurrent Stochastic Configuration Networks with Hybrid Regularization for Nonlinear Dynamics Modelling [3.8719670789415925]
  リカレント・コンフィグレーション・ネットワーク(RSCN)は不確実性のある非線形力学系をモデル化する大きな可能性を示している。 本稿では,ネットワークの学習能力と一般化性能を両立させるために,ハイブリッド正規化を備えたRCCNを提案する。
  論文  参考訳（メタデータ） (2024-11-26T03:06:39Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  リッジ回帰に関する最近の結果について統一的な視点を提示する。 我々は、物理とディープラーニングの背景を持つ読者を対象に、ランダム行列理論と自由確率の基本的なツールを使用する。 我々の結果は拡張され、初期のスケーリング法則のモデルについて統一的な視点を提供する。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• How (Implicit) Regularization of ReLU Neural Networks Characterizes the Learned Function -- Part II: the Multi-D Case of Two Layers with Random First Layer [2.1485350418225244]
  本稿では,ReLUアクティベーションを伴うランダム化した浅層NNの一般化挙動を,正確なマクロ解析により解析する。 RSNは、無限に多くの方向が考慮される一般化加法モデル(GAM)型回帰に対応することを示す。
  論文  参考訳（メタデータ） (2023-03-20T21:05:47Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Hierarchical regularization networks for sparsification based learning on noisy datasets [0.0]
  階層は、連続的により微細なスケールで特定される近似空間から従う。 各スケールでのモデル一般化を促進するため,複数次元にわたる新規な射影型ペナルティ演算子も導入する。 その結果、合成データセットと実データセットの両方において、データ削減およびモデリング戦略としてのアプローチの性能が示された。
  論文  参考訳（メタデータ） (2020-06-09T18:32:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。