論文の概要: Generalization in Representation Models via Random Matrix Theory: Application to Recurrent Networks

• arxiv url: http://arxiv.org/abs/2511.02401v1
• Date: Tue, 04 Nov 2025 09:30:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-10 21:00:44.525824
• Title: Generalization in Representation Models via Random Matrix Theory: Application to Recurrent Networks
• Title（参考訳）: ランダム行列理論による表現モデルの一般化:リカレントネットワークへの応用
• Authors: Yessin Moakher, Malik Tiomoko, Cosme Louart, Zhenyu Liao,
• Abstract要約: まず,固定された特徴表現(凍結中間層)と学習可能な読み出し層を用いたモデルの一般化誤差について検討する。 一般化誤差に対する閉形式式を導出するためにランダム行列理論を適用する。 次に、この解析を繰り返し表現に適用し、その性能を特徴付ける簡潔な公式を得る。
• 参考スコア（独自算出の注目度）: 7.721672385781673
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We first study the generalization error of models that use a fixed feature representation (frozen intermediate layers) followed by a trainable readout layer. This setting encompasses a range of architectures, from deep random-feature models to echo-state networks (ESNs) with recurrent dynamics. Working in the high-dimensional regime, we apply Random Matrix Theory to derive a closed-form expression for the asymptotic generalization error. We then apply this analysis to recurrent representations and obtain concise formula that characterize their performance. Surprisingly, we show that a linear ESN is equivalent to ridge regression with an exponentially time-weighted (''memory'') input covariance, revealing a clear inductive bias toward recent inputs. Experiments match predictions: ESNs win in low-sample, short-memory regimes, while ridge prevails with more data or long-range dependencies. Our methodology provides a general framework for analyzing overparameterized models and offers insights into the behavior of deep learning networks.
• Abstract（参考訳）: まず,固定された特徴表現(凍結中間層)と学習可能な読み出し層を用いたモデルの一般化誤差について検討する。 この設定は、深いランダム機能モデルから、リカレントダイナミクスを備えたエコー状態ネットワーク(ESN)まで、様々なアーキテクチャを含んでいる。 高次元状態において、漸近的一般化誤差に対する閉形式式を導出するためにランダム行列理論を適用する。 次に、この解析を繰り返し表現に適用し、それらの性能を特徴付ける簡潔な公式を得る。 意外なことに、線形ESNは指数的に時間重み付き('Memory'')入力共分散を持つリッジ回帰と等価であり、最近の入力に対する明らかな帰納バイアスが明らかである。 実験は予測にマッチする: ESNは低サンプリング、短メモリのレシエーションで勝利し、リッジはより多くのデータや長距離依存関係で優位である。 提案手法は,過パラメータモデル解析のための一般的なフレームワークを提供し,ディープラーニングネットワークの動作に関する洞察を提供する。

関連論文リスト

• Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
  独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。 本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。 我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
  論文  参考訳（メタデータ） (2025-05-21T07:16:44Z)
• Recurrent Stochastic Configuration Networks with Hybrid Regularization for Nonlinear Dynamics Modelling [3.8719670789415925]
  リカレント・コンフィグレーション・ネットワーク(RSCN)は不確実性のある非線形力学系をモデル化する大きな可能性を示している。 本稿では,ネットワークの学習能力と一般化性能を両立させるために,ハイブリッド正規化を備えたRCCNを提案する。
  論文  参考訳（メタデータ） (2024-11-26T03:06:39Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  リッジ回帰に関する最近の結果について統一的な視点を提示する。 我々は、物理とディープラーニングの背景を持つ読者を対象に、ランダム行列理論と自由確率の基本的なツールを使用する。 我々の結果は拡張され、初期のスケーリング法則のモデルについて統一的な視点を提供する。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Koopman Kernel Regression [6.116741319526748]
  クープマン作用素理論は線形時間不変(LTI)ODEによる予測のキャラクタリゼーションに有効なパラダイムであることを示す。 我々は、LTI力学系への変換のみにまたがる、普遍的なクープマン不変核再生ヒルベルト空間(RKHS)を導出する。 実験では、Koopman演算子やシーケンシャルデータ予測器と比較して予測性能が優れていることを示した。
  論文  参考訳（メタデータ） (2023-05-25T16:22:22Z)
• How (Implicit) Regularization of ReLU Neural Networks Characterizes the Learned Function -- Part II: the Multi-D Case of Two Layers with Random First Layer [2.1485350418225244]
  本稿では,ReLUアクティベーションを伴うランダム化した浅層NNの一般化挙動を,正確なマクロ解析により解析する。 RSNは、無限に多くの方向が考慮される一般化加法モデル(GAM)型回帰に対応することを示す。
  論文  参考訳（メタデータ） (2023-03-20T21:05:47Z)
• A predictive physics-aware hybrid reduced order model for reacting flows [65.73506571113623]
  反応流問題の解法として,新しいハイブリッド型予測次数モデル (ROM) を提案する。 自由度は、数千の時間的点から、対応する時間的係数を持ついくつかのPODモードへと減少する。 時間係数を予測するために、2つの異なるディープラーニングアーキテクチャがテストされている。
  論文  参考訳（メタデータ） (2023-01-24T08:39:20Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Efficient Semi-Implicit Variational Inference [65.07058307271329]
  効率的でスケーラブルな半単純外挿 (SIVI) を提案する。 本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
  論文  参考訳（メタデータ） (2021-01-15T11:39:09Z)
• CASTLE: Regularization via Auxiliary Causal Graph Discovery [89.74800176981842]
  因果構造学習(CASTLE)の正規化を導入し,変数間の因果関係を共同学習することでニューラルネットワークの正規化を提案する。 CASTLEは因果的隣り合いを持つ因果的DAGの特徴のみを効率的に再構成する一方、再構成ベース正規化器は全ての入力特徴を過度に再構成する。
  論文  参考訳（メタデータ） (2020-09-28T09:49:38Z)
• Hierarchical regularization networks for sparsification based learning on noisy datasets [0.0]
  階層は、連続的により微細なスケールで特定される近似空間から従う。 各スケールでのモデル一般化を促進するため,複数次元にわたる新規な射影型ペナルティ演算子も導入する。 その結果、合成データセットと実データセットの両方において、データ削減およびモデリング戦略としてのアプローチの性能が示された。
  論文  参考訳（メタデータ） (2020-06-09T18:32:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。