論文の概要: Separation capacity of linear reservoirs with random connectivity matrix
- arxiv url: http://arxiv.org/abs/2404.17429v3
- Date: Fri, 21 Mar 2025 03:21:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-24 14:54:11.628807
- Title: Separation capacity of linear reservoirs with random connectivity matrix
- Title（参考訳）: ランダム接続行列を用いた線形貯水池の分離容量
- Authors: Youness Boutaib,
- Abstract要約: ランダムな線形貯水池の容量を定量化し、異なる入力時系列を分離可能な貯水池状態にマッピングする。
I.d.の場合、貯水池マトリックスの成分が1/sqrtN$の正確な係数でスケールされたときに、大きな貯水池との最適分離が一貫して達成されることを確かめる。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: A natural hypothesis for the success of reservoir computing in generic tasks is the ability of the untrained reservoir to map different input time series to separable reservoir states - a property we term separation capacity. We provide a rigorous mathematical framework to quantify this capacity for random linear reservoirs, showing that it is fully characterised by the spectral properties of the generalised matrix of moments of the random reservoir connectivity matrix. Our analysis focuses on reservoirs with Gaussian connectivity matrices, both symmetric and i.i.d., although the techniques extend naturally to broader classes of random matrices. In the symmetric case, the generalised matrix of moments is a Hankel matrix. Using classical estimates from random matrix theory, we establish that separation capacity deteriorates over time and that, for short inputs, optimal separation in large reservoirs is achieved when the matrix entries are scaled with a factor $\rho_T/\sqrt{N}$, where $N$ is the reservoir dimension and $\rho_T$ depends on the maximum input length. In the i.i.d.\ case, we establish that optimal separation with large reservoirs is consistently achieved when the entries of the reservoir matrix are scaled with the exact factor $1/\sqrt{N}$, which aligns with common implementations of reservoir computing. We further give upper bounds on the quality of separation as a function of the length of the time series. We complement this analysis with an investigation of the likelihood of this separation and its consistency under different architectural choices.
- Abstract（参考訳）: 一般的なタスクにおける貯水池計算の成功の自然な仮説は、訓練されていない貯水池が異なる入力時系列を分離可能な貯水池状態にマッピングする能力である。
ランダムな線形貯水池におけるこの容量を定量化するための厳密な数学的枠組みを提供し、これはランダムな貯水池接続行列のモーメントの一般化行列のスペクトル特性によって完全に特徴づけられることを示す。
我々の分析は、対称行列とi.d.の両方のガウス接続行列を持つ貯水池に焦点をあてるが、この手法は自然により広いランダム行列のクラスに拡張される。
対称の場合、モーメントの一般化行列はハンケル行列である。
ランダム行列理論の古典的推定値を用いて、分離能力は時間とともに劣化し、短い入力では、行列エントリが$\rho_T/\sqrt{N}$でスケールされたときに大きな貯水池の最適分離が達成され、$N$は貯水池次元であり、$\rho_T$は最大入力長さに依存する。
i.d.\の場合、貯水池行列のエントリが1/\sqrt{N}$でスケールされたときに、大きな貯水池との最適分離が一貫して達成されることを確立し、貯水池計算の一般的な実装と整合する。
さらに、時系列の長さの関数としての分離の質について上限を与える。
この分析を補完し、異なるアーキテクチャ選択の下で、この分離とその一貫性の可能性を調査する。
関連論文リスト
- Sparse PCA with Oracle Property [115.72363972222622]
新規な正規化を伴うスパースPCAの半定緩和に基づく推定器群を提案する。
我々は、家族内の別の推定器が、スパースPCAの標準半定緩和よりも、より急激な収束率を達成することを証明した。
論文 参考訳（メタデータ） (2023-12-28T02:52:54Z) - Leverage Score Sampling for Tensor Product Matrices in Input Sparsity
Time [54.65688986250061]
我々は,$q$-foldカラムワイドテンソル積の$q$行列に対応するグラム行列を近似するための入力空間時間サンプリングアルゴリズムを提案する。
我々のサンプリング技術は、合計時間でデータセット$X$に同時に適用できる$q$部分相関ランダムプロジェクションのコレクションに依存している。
論文 参考訳（メタデータ） (2022-02-09T15:26:03Z) - On Linear Separability under Linear Compression with Applications to
Hard Support Vector Machine [0.0]
内部積の歪みが元のデータ生成分布の2乗辺よりも小さい限り線形分離性が維持されることを示す。
応用として、ランダムなガウス行列の(i)圧縮長と(ii)ハードSVMを用いた圧縮学習における一般化誤差を導出する。
論文 参考訳（メタデータ） (2022-02-02T16:23:01Z) - Mean-Square Analysis with An Application to Optimal Dimension Dependence
of Langevin Monte Carlo [60.785586069299356]
この研究は、2-ワッサーシュタイン距離におけるサンプリング誤差の非同相解析のための一般的な枠組みを提供する。
我々の理論解析は数値実験によってさらに検証される。
論文 参考訳（メタデータ） (2021-09-08T18:00:05Z) - Near-Optimal Algorithms for Linear Algebra in the Current Matrix
Multiplication Time [46.31710224483631]
既存の定数係数近似のスケッチ次元における対数的要素について、Nelson and Nguyen (FOCS, 2013) の主な開問題を回避する方法を示す。
私たちが使用している重要なテクニックは、不確実性原理と抽出子に基づくIndykの明示的なマッピングです。
ランク計算と列の線形独立部分集合の探索という基本的な問題に対して、我々のアルゴリズムはCheung, Kwok, Lau (JACM, 2013)を改良し、それぞれ定数係数と$log(n)$-factorの範囲内で最適である。
論文 参考訳（メタデータ） (2021-07-16T19:34:10Z) - Correlations and commuting transfer matrices in integrable unitary
circuits [0.0]
本稿では,ヤン・バクスター方程式を満たすR-行列を基底ゲートとして選択し,相関関数を伝達行列形式により表現できるユニタリ回路を考える。
いずれの場合も、ベーテ方程式は積分可能なスピン-1 鎖 SU(2) 対称性に還元され、相関関数の計算に必要な固有状態の総数は大幅に減少する。
論文 参考訳（メタデータ） (2021-06-01T17:10:28Z) - Sequential Estimation of Convex Divergences using Reverse Submartingales
and Exchangeable Filtrations [31.088836418378534]
本稿では,分布間の凸発散の逐次推定手法を提案する。
我々のアプローチの技術的基盤は、経験的凸の発散が(部分的に順序づけられた)逆潜水星であることの観察にある。
これらの技術は、信頼配列と凸発散の両方に関する既存の文献に強力な追加であるように見える。
論文 参考訳（メタデータ） (2021-03-16T18:22:14Z) - Reservoir Computers Modal Decomposition and Optimization [0.0]
我々は貯水池の力学をモードに分解し、互いに独立して計算することができる。
次に、固有値は適切な設計と最適化が可能なパラメータであるパラメトリックなアプローチをとる。
個々のモードの操作は、固有値または時間シフトの観点で、トレーニングエラーの劇的な減少につながる可能性があることを示しています。
論文 参考訳（メタデータ） (2021-01-13T23:30:21Z) - Fused-Lasso Regularized Cholesky Factors of Large Nonstationary
Covariance Matrices of Longitudinal Data [0.0]
大きな共分散行列のコレスキー因子のサブ対角線の滑らかさは、時系列および長手データに対する自己回帰モデルの非定常度の度合いと密接に関連している。
行ごとに分離するColesky因子のスパース推定アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-07-22T02:38:16Z) - Robustly Learning any Clusterable Mixture of Gaussians [55.41573600814391]
本研究では,高次元ガウス混合系の対向ロバスト条件下での効率的な学習性について検討する。
理論的に最適に近い誤り証明である$tildeO(epsilon)$の情報を、$epsilon$-corrupted $k$-mixtureで学習するアルゴリズムを提供する。
我々の主な技術的貢献は、ガウス混合系からの新しい頑健な識別可能性証明クラスターであり、これは正方形の定度証明システムによって捉えることができる。
論文 参考訳（メタデータ） (2020-05-13T16:44:12Z) - Relative Error Bound Analysis for Nuclear Norm Regularized Matrix Completion [101.83262280224729]
我々は、原子核ノルム正規化行列補完に対する相対誤差を開発する。
未知行列の最適低ランク近似を回復するための相対上界を導出する。
論文 参考訳（メタデータ） (2015-04-26T13:12:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。