論文の概要: Data-Specific Hyper-Parameter Design: A Paradigm Shift in Reservoir Computing
- arxiv url: http://arxiv.org/abs/2605.25221v1
- Date: Sun, 24 May 2026 19:13:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-26 19:50:19.029527
- Title: Data-Specific Hyper-Parameter Design: A Paradigm Shift in Reservoir Computing
- Title(参考訳): データ固有のハイパーパラメータ設計:貯留層コンピューティングにおけるパラダイムシフト
- Authors: G Manjunath, Juan-Pablo Ortega, Alma van der Merwe,
- Abstract要約: 貯水池の計算は通常、大規模でランダムに生成された貯水池に依存し、単純でしばしば線形な読み出しを可能にする。
決定論的力学系によって生成される入力の幾何学的視点から貯水池の設計原理を開発する。
数値実験は任意の貯水池構造に対して一貫した性能向上を示す。
- 参考スコア(独自算出の注目度): 3.4002388038666105
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reservoir computing typically relies on large, randomly generated reservoirs, enabling simple, often linear readouts. Over the past two decades, most constructions have exploited the freedom to select the reservoir, constrained primarily by stability conditions based on state contraction or memory capacity. However, these designs are largely independent of the input data and learning objective, resulting in a trial-and-error methodology driven by randomness. In high dimensions, the reservoir acts as a random embedding of the input history, implicitly relying on Johnson--Lindenstrauss--type concentration phenomena to preserve information. In contrast, we develop reservoir design principles from a geometric perspective for inputs generated by deterministic dynamical systems. Rather than relying on random embeddings, we require reservoir state increments to align within a cone around an input-determined vector subspace, and prove that such a cone concentration reduces ridge-regression training error. When the cone angle is small, the variance of reservoir states concentrates in the input-determined subspace, improving conditioning of the empirical second-moment matrix and strengthening alignment between dominant covariance directions and the state-target cross-covariance. For echo state networks, we provide a constructive approach to reservoir design. The reservoir matrix is chosen so that associated Krylov-chain directions remain nearly closed within an input-determined subspace while permitting controlled mixing in its orthogonal complement. We also provide a spectral diagnostic for ridge regression training that identifies when reservoir geometry concentrates predictive information into a few dominant covariance modes and when ``spectral pollution'' inhibits forecasting. Numerical experiments demonstrate consistent performance gains over arbitrary reservoir constructions.
- Abstract(参考訳): 貯水池の計算は通常、大規模でランダムに生成された貯水池に依存し、単純でしばしば線形な読み出しを可能にする。
過去20年間、ほとんどの建設物は貯水池の選択の自由を利用してきた。
しかし、これらの設計は入力データと学習目的から大きく独立しており、ランダム性によって駆動される試行錯誤の手法となっている。
高次元では、貯水池は入力履歴のランダムな埋め込みとして機能し、情報を保存するためにジョンソン-リンデンシュトラウス型濃度現象に暗黙的に依存する。
対照的に、決定論的力学系によって生成される入力の幾何学的視点から貯水池の設計原理を開発する。
ランダムな埋め込みに頼るのではなく、入力決定されたベクトル部分空間の周りの円錐内を保留状態の増分が整列し、そのような円錐濃度がリッジ回帰訓練誤差を減少させることを示す必要がある。
円錐角が小さい場合、貯留状態の分散は入力決定部分空間に集中し、経験的第二モーメント行列の条件付けを改善し、支配的共分散方向と状態目標クロス共分散との整合性を強化する。
エコー状態ネットワークに対しては,貯水池設計のための構築的アプローチを提供する。
貯水池行列は、関連するクリロフ鎖方向が入力決定部分空間内でほぼ閉じているように選択され、直交補空間において制御混合が許される。
また,貯水池形状が予測情報をいくつかの支配的共分散モードに集中させる場合と,「スペクトル汚染」が予測を阻害する場合を識別する尾根回帰訓練のためのスペクトル診断を行う。
数値実験は任意の貯水池構造に対して一貫した性能向上を示す。
関連論文リスト
- Binary Flow Matching: Prediction-Loss Space Alignment for Robust Learning [23.616336786063552]
フローマッチングは、生成モデリングの強力なフレームワークとして登場した。
速度に基づく目的と結合した場合に発生する潜在構造ミスマッチを同定する。
信号空間に対する目的の再調整が特異重み付けを排除していることを示す。
論文 参考訳(メタデータ) (2026-02-11T02:02:30Z) - Memory-Conditioned Flow-Matching for Stable Autoregressive PDE Rollouts [0.0]
自己回帰生成型PDEソルバは1歩前進し、長いロールアウトでドリフトする。
未解決変数の除去はマルコフ項で完全に解決された進化をもたらすことを示す。
次に、条件生成誤差からメモリ近似を分離する離散的なGrnwallロールアウト境界を導出する。
論文 参考訳(メタデータ) (2026-02-06T13:21:52Z) - Phase-space entropy at acquisition reflects downstream learnability [54.4100065023873]
楽器分解位相空間に基づく取得レベルスカラー$S_mathcal B$を提案する。
本稿では, (S_mathcal B) が周期サンプリングの位相空間コヒーレンスを正確に同定できることを理論的に示す。
$|S_mathcal B|$は一貫してサンプリングジオメトリをランク付けし、トレーニングなしで下流での再構築/認識の困難を予測します。
論文 参考訳(メタデータ) (2025-12-22T10:03:51Z) - Invariant Representations via Wasserstein Correlation Maximization [0.6554326244334866]
本研究では、教師なし表現学習におけるワッサースタイン相関の活用について検討する。
入力と分布の相関を最大化するために訓練された(オート)エンコーダが代わりに圧縮機として機能することがわかった。
また、最適輸送に基づく依存度測定のための様々な理論的結果も確立する。
論文 参考訳(メタデータ) (2025-05-16T21:11:51Z) - Disentangled Interleaving Variational Encoding [1.132458063021286]
本稿では,変分オートエンコーダの潜時空間において,元の入力を限界値と条件値の確率分布に分解する原理的手法を提案する。
提案モデルであるDeep Disentangled Interleaving Variationalを提案する。
コーダ(DeepDIVE)は、元の入力から切り離された特徴を学習し、埋め込み空間にクラスタを形成する。
2つの公開データセットの実験は、DeepDIVEが元の入力をアンタングルし、元のVAEよりも予測精度が良いことを示している。
論文 参考訳(メタデータ) (2025-01-15T10:50:54Z) - Machine learning in and out of equilibrium [58.88325379746631]
我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。
我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。
本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
論文 参考訳(メタデータ) (2023-06-06T09:12:49Z) - Disentanglement via Latent Quantization [60.37109712033694]
本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。
本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
論文 参考訳(メタデータ) (2023-05-28T06:30:29Z) - Featurized Density Ratio Estimation [82.40706152910292]
本研究では,2つの分布を推定前の共通特徴空間にマッピングするために,可逆生成モデルを活用することを提案する。
この偉業化は、学習された入力空間の密度比が任意に不正確な場合、潜在空間において密度が密接な関係をもたらす。
同時に、特徴写像の可逆性は、特徴空間で計算された比が入力空間で計算された比と同値であることを保証する。
論文 参考訳(メタデータ) (2021-07-05T18:30:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。