論文の概要: Data-Specific Hyper-Parameter Design: A Paradigm Shift in Reservoir Computing
- arxiv url: http://arxiv.org/abs/2605.25221v1
- Date: Sun, 24 May 2026 19:13:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-26 19:50:19.029527
- Title: Data-Specific Hyper-Parameter Design: A Paradigm Shift in Reservoir Computing
- Title(参考訳): データ固有のハイパーパラメータ設計:貯留層コンピューティングにおけるパラダイムシフト
- Abstract要約: 貯水池の計算は通常、大規模でランダムに生成された貯水池に依存し、単純でしばしば線形な読み出しを可能にする。
決定論的力学系によって生成される入力の幾何学的視点から貯水池の設計原理を開発する。
数値実験は任意の貯水池構造に対して一貫した性能向上を示す。
- 参考スコア(独自算出の注目度): 3.4002388038666105
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reservoir computing typically relies on large, randomly generated reservoirs, enabling simple, often linear readouts. Over the past two decades, most constructions have exploited the freedom to select the reservoir, constrained primarily by stability conditions based on state contraction or memory capacity. However, these designs are largely independent of the input data and learning objective, resulting in a trial-and-error methodology driven by randomness. In high dimensions, the reservoir acts as a random embedding of the input history, implicitly relying on Johnson--Lindenstrauss--type concentration phenomena to preserve information. In contrast, we develop reservoir design principles from a geometric perspective for inputs generated by deterministic dynamical systems. Rather than relying on random embeddings, we require reservoir state increments to align within a cone around an input-determined vector subspace, and prove that such a cone concentration reduces ridge-regression training error. When the cone angle is small, the variance of reservoir states concentrates in the input-determined subspace, improving conditioning of the empirical second-moment matrix and strengthening alignment between dominant covariance directions and the state-target cross-covariance. For echo state networks, we provide a constructive approach to reservoir design. The reservoir matrix is chosen so that associated Krylov-chain directions remain nearly closed within an input-determined subspace while permitting controlled mixing in its orthogonal complement. We also provide a spectral diagnostic for ridge regression training that identifies when reservoir geometry concentrates predictive information into a few dominant covariance modes and when ``spectral pollution'' inhibits forecasting. Numerical experiments demonstrate consistent performance gains over arbitrary reservoir constructions.
- Abstract(参考訳): 貯水池の計算は通常、大規模でランダムに生成された貯水池に依存し、単純でしばしば線形な読み出しを可能にする。
過去20年間、ほとんどの建設物は貯水池の選択の自由を利用してきた。
しかし、これらの設計は入力データと学習目的から大きく独立しており、ランダム性によって駆動される試行錯誤の手法となっている。
高次元では、貯水池は入力履歴のランダムな埋め込みとして機能し、情報を保存するためにジョンソン-リンデンシュトラウス型濃度現象に暗黙的に依存する。
対照的に、決定論的力学系によって生成される入力の幾何学的視点から貯水池の設計原理を開発する。
ランダムな埋め込みに頼るのではなく、入力決定されたベクトル部分空間の周りの円錐内を保留状態の増分が整列し、そのような円錐濃度がリッジ回帰訓練誤差を減少させることを示す必要がある。
円錐角が小さい場合、貯留状態の分散は入力決定部分空間に集中し、経験的第二モーメント行列の条件付けを改善し、支配的共分散方向と状態目標クロス共分散との整合性を強化する。
エコー状態ネットワークに対しては,貯水池設計のための構築的アプローチを提供する。
貯水池行列は、関連するクリロフ鎖方向が入力決定部分空間内でほぼ閉じているように選択され、直交補空間において制御混合が許される。
また,貯水池形状が予測情報をいくつかの支配的共分散モードに集中させる場合と,「スペクトル汚染」が予測を阻害する場合を識別する尾根回帰訓練のためのスペクトル診断を行う。
数値実験は任意の貯水池構造に対して一貫した性能向上を示す。
関連論文リスト
- Feasibility and Memory Mechanisms of Chern-Simons Context Reservoir Computation [0.0]
我々は,Chern-Simonsコンテキスト貯水池が有効な計算基板であるかどうかを検討する。
ゲージ比の影響から一般的な貯水池の挙動を分離するため、4つの整合モデルを比較した。
一般的な貯水池の優越性よりも、幾何や秩序に敏感な処理にタスク固有の利点を見出す。
論文 参考訳(メタデータ) (2026-09-10T17:45:30Z) - Predicting When Random Low-Dimensional Reparameterizations Train Neural Networks [3.980892205755342]
本稿では、曲率スペクトルと基準解の変位プロファイルの両方からランダムスライス残差を予測できる配向分解2次マスター式を提案する。
次にRandom Mapping Networks (RaMaN)を導入し, 予測潜在次元を, 構造化アダマールあるいはシード再生ガウス写像を用いてインスタンス化する。
RaMaNは、測定された遷移位置を追尾し、変位方向が重要となるとき、向きに依存しない近似を上回ります。
論文 参考訳(メタデータ) (2026-08-12T21:09:54Z) - Lindblad-Inspired Multi-Timescale Reservoir Computing with Separable Rotation and Dissipation [0.08057006406834467]
我々は、構造化状態空間モデリングでオープンシステム力学の原理を橋渡しする古典的なリンドブラッドにインスパイアされたマルチタイムスケール貯水池を導入する。
本手法は, 標準, 漏れ, 深度, ゲート, サイクル, 次世代貯水池に対して10種以上で評価した。
ベンチマークスイート全体にわたって,提案した貯留層は,有界NARMA-20上での最良の固定貯留層性能と,ローレンツ-63上での最低平均誤差を達成している。
論文 参考訳(メタデータ) (2026-07-27T18:48:32Z) - Binary Flow Matching: Prediction-Loss Space Alignment for Robust Learning [23.616336786063552]
フローマッチングは、生成モデリングの強力なフレームワークとして登場した。
速度に基づく目的と結合した場合に発生する潜在構造ミスマッチを同定する。
信号空間に対する目的の再調整が特異重み付けを排除していることを示す。
論文 参考訳(メタデータ) (2026-02-11T02:02:30Z) - Memory-Conditioned Flow-Matching for Stable Autoregressive PDE Rollouts [0.0]
自己回帰生成型PDEソルバは1歩前進し、長いロールアウトでドリフトする。
未解決変数の除去はマルコフ項で完全に解決された進化をもたらすことを示す。
次に、条件生成誤差からメモリ近似を分離する離散的なGrnwallロールアウト境界を導出する。
論文 参考訳(メタデータ) (2026-02-06T13:21:52Z) - Phase-space entropy at acquisition reflects downstream learnability [54.4100065023873]
楽器分解位相空間に基づく取得レベルスカラー$S_mathcal B$を提案する。
本稿では, (S_mathcal B) が周期サンプリングの位相空間コヒーレンスを正確に同定できることを理論的に示す。
$|S_mathcal B|$は一貫してサンプリングジオメトリをランク付けし、トレーニングなしで下流での再構築/認識の困難を予測します。
論文 参考訳(メタデータ) (2025-12-22T10:03:51Z) - Invariant Representations via Wasserstein Correlation Maximization [0.6554326244334866]
本研究では、教師なし表現学習におけるワッサースタイン相関の活用について検討する。
入力と分布の相関を最大化するために訓練された(オート)エンコーダが代わりに圧縮機として機能することがわかった。
また、最適輸送に基づく依存度測定のための様々な理論的結果も確立する。
論文 参考訳(メタデータ) (2025-05-16T21:11:51Z) - Disentangled Interleaving Variational Encoding [1.132458063021286]
本稿では,変分オートエンコーダの潜時空間において,元の入力を限界値と条件値の確率分布に分解する原理的手法を提案する。
提案モデルであるDeep Disentangled Interleaving Variationalを提案する。
コーダ(DeepDIVE)は、元の入力から切り離された特徴を学習し、埋め込み空間にクラスタを形成する。
2つの公開データセットの実験は、DeepDIVEが元の入力をアンタングルし、元のVAEよりも予測精度が良いことを示している。
論文 参考訳(メタデータ) (2025-01-15T10:50:54Z) - Machine learning in and out of equilibrium [58.88325379746631]
我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。
我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。
本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
論文 参考訳(メタデータ) (2023-06-06T09:12:49Z) - Disentanglement via Latent Quantization [60.37109712033694]
本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。
本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
論文 参考訳(メタデータ) (2023-05-28T06:30:29Z) - Distributed Sketching for Randomized Optimization: Exact
Characterization, Concentration and Lower Bounds [54.51566432934556]
我々はヘシアンの形成が困難である問題に対する分散最適化法を検討する。
ランダム化されたスケッチを利用して、問題の次元を減らし、プライバシを保ち、非同期分散システムにおけるストラグラーレジリエンスを改善します。
論文 参考訳(メタデータ) (2022-03-18T05:49:13Z) - Featurized Density Ratio Estimation [82.40706152910292]
本研究では,2つの分布を推定前の共通特徴空間にマッピングするために,可逆生成モデルを活用することを提案する。
この偉業化は、学習された入力空間の密度比が任意に不正確な場合、潜在空間において密度が密接な関係をもたらす。
同時に、特徴写像の可逆性は、特徴空間で計算された比が入力空間で計算された比と同値であることを保証する。
論文 参考訳(メタデータ) (2021-07-05T18:30:26Z) - Discrete Variational Attention Models for Language Generation [51.88612022940496]
本稿では,言語における離散性に起因する注意機構のカテゴリー分布を考慮した離散的変動注意モデルを提案する。
離散性の特質により,提案手法の訓練は後部崩壊に支障を来さない。
論文 参考訳(メタデータ) (2020-04-21T05:49:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。