論文の概要: A Random Matrix Perspective of Echo State Networks: From Precise Bias--Variance Characterization to Optimal Regularization
- arxiv url: http://arxiv.org/abs/2509.22011v1
- Date: Fri, 26 Sep 2025 07:47:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-29 20:57:54.278218
- Title: A Random Matrix Perspective of Echo State Networks: From Precise Bias--Variance Characterization to Optimal Regularization
- Title（参考訳）: エコー状態ネットワークのランダム行列視点:精密バイアス特性から最適正則化へ
- Authors: Yessin Moakher, Malik Tiomoko, Cosme Louart, Zhenyu Liao,
- Abstract要約: 本研究では,重み付き線形教師託宣で設定した教師生徒を対象に,Echo State Networks (ESNs) の厳密な分析を行った。
入力統計値、オラクルベクトル、リッジ正規化パラメータの関数として、バイアス、分散、平均二乗誤差(MSE)の閉形式式を導出する。
- 参考スコア（独自算出の注目度）: 7.721672385781673
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a rigorous asymptotic analysis of Echo State Networks (ESNs) in a teacher student setting with a linear teacher with oracle weights. Leveraging random matrix theory, we derive closed form expressions for the asymptotic bias, variance, and mean-squared error (MSE) as functions of the input statistics, the oracle vector, and the ridge regularization parameter. The analysis reveals two key departures from classical ridge regression: (i) ESNs do not exhibit double descent, and (ii) ESNs attain lower MSE when both the number of training samples and the teacher memory length are limited. We further provide an explicit formula for the optimal regularization in the identity input covariance case, and propose an efficient numerical scheme to compute the optimum in the general case. Together, these results offer interpretable theory and practical guidelines for tuning ESNs, helping reconcile recent empirical observations with provable performance guarantees
- Abstract（参考訳）: 本報告では, 学生の耳介重み付きリニア・教師設定における, エコー状態ネットワーク(ESN)の厳密な漸近分析について述べる。
確率行列理論を応用して、入力統計量、オラクルベクトル、リッジ正規化パラメータの関数として、漸近バイアス、分散、平均二乗誤差(MSE)の閉形式式を導出する。
この分析により、古典的な尾根回帰から2つの重要な出発点が明らかになった。
(i)ESNは二重降下を示さず、
(II)トレーニングサンプル数と教師記憶長の両方が制限された場合,EMSはMSEを低下させる。
さらに、ID入力共分散ケースにおける最適正則化の明示的な式を提案し、一般の場合の最適値を計算するための効率的な数値スキームを提案する。
これらの結果は、ESNをチューニングするための解釈可能な理論と実践的なガイドラインを提供し、証明可能な性能保証を伴う最近の経験的観察の調整を支援する。
関連論文リスト
- Optimal Condition for Initialization Variance in Deep Neural Networks: An SGD Dynamics Perspective [0.0]
勾配降下(SGD)は機械学習(ML)における最も基本的な最適化アルゴリズムの1つである。
この方程式から導かれる準定常分布とクルバック・リーブラー(KL)の発散による初期分布の関係について検討する。
MNISTおよびFashion-MNISTデータセット上で、古典的なSGDを用いて完全に接続されたニューラルネットワークをトレーニングすることにより、理論的結果を実験的に確認する。
論文 参考訳（メタデータ） (2025-08-18T11:18:12Z) - Convergence of Implicit Gradient Descent for Training Two-Layer Physics-Informed Neural Networks [4.554284689395686]
暗黙的勾配降下(IGD)は、ある種のマルチスケール問題を扱う場合、共通勾配降下(GD)アルゴリズムより優れている。
IGDは線形収束速度で大域的最適解に収束することを示す。
論文 参考訳（メタデータ） (2024-07-03T06:10:41Z) - Asymptotically Unbiased Instance-wise Regularized Partial AUC
Optimization: Theory and Algorithm [101.44676036551537]
One-way partial AUC (OPAUC) と Two-way partial AUC (TPAUC) はバイナリ分類器の平均性能を測定する。
既存の手法のほとんどはPAUCをほぼ最適化するしかなく、制御不能なバイアスにつながる。
本稿では,分散ロバスト最適化AUCによるPAUC問題の簡易化について述べる。
論文 参考訳（メタデータ） (2022-10-08T08:26:22Z) - Double Descent in Random Feature Models: Precise Asymptotic Analysis for
General Convex Regularization [4.8900735721275055]
より広い凸正規化項のクラスの下で回帰の一般化を正確に表現する。
我々は,本フレームワークの予測能力を数値的に示すとともに,非漸近的状態においても予測されたテスト誤差が正確であることを実験的に示す。
論文 参考訳（メタデータ） (2022-04-06T08:59:38Z) - Learning Stochastic Graph Neural Networks with Constrained Variance [18.32587282139282]
グラフニューラルネットワーク(Graph Neural Network, SGNN)は、ランダムグラフ上のデータから表現を学習する情報処理アーキテクチャである。
本稿では,SGNNに対する分散制約付き最適化問題を提案し,予測性能と偏差のバランスをとる。
降下したSGNNパラメータと昇降した双対変数を更新することで問題を解く。
論文 参考訳（メタデータ） (2022-01-29T15:55:58Z) - On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。
本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。
理論的にも経験的にも二重降下現象を観察する。
論文 参考訳（メタデータ） (2021-10-13T17:47:39Z) - Efficient Semi-Implicit Variational Inference [65.07058307271329]
効率的でスケーラブルな半単純外挿 (SIVI) を提案する。
本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
論文 参考訳（メタデータ） (2021-01-15T11:39:09Z) - Stochastic Learning Approach to Binary Optimization for Optimal Design
of Experiments [0.0]
本稿では,偏微分方程式などの数学モデルによるベイズ逆問題に対する最適実験設計 (OED) のための二項最適化への新しいアプローチを提案する。
OEDユーティリティ関数、すなわち正規化された最適性勾配はベルヌーイ分布に対する期待の形で目的関数にキャストされる。
この目的を確率的最適化ルーチンを用いて最適な観測方針を求めることで解決する。
論文 参考訳（メタデータ） (2021-01-15T03:54:12Z) - Understanding Implicit Regularization in Over-Parameterized Single Index
Model [55.41685740015095]
我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。
暗黙正則化現象の理論的保証を提供する。
論文 参考訳（メタデータ） (2020-07-16T13:27:47Z) - Asymptotic Analysis of an Ensemble of Randomly Projected Linear
Discriminants [94.46276668068327]
[1]では、ランダムに投影された線形判別式のアンサンブルを用いてデータセットを分類する。
我々は,計算コストのかかるクロスバリデーション推定器の代替として,誤分類確率の一貫した推定器を開発する。
また、実データと合成データの両方で投影次元を調整するための推定器の使用を実証する。
論文 参考訳（メタデータ） (2020-04-17T12:47:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。