論文の概要: Empirical Boundaries of Reservoir Computing for Few-Shot Sequence Pattern Tasks

• arxiv url: http://arxiv.org/abs/2610.19997v1
• Date: Wed, 14 Oct 2026 11:12:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.119991
• Title: Empirical Boundaries of Reservoir Computing for Few-Shot Sequence Pattern Tasks
• Title（参考訳）: 半ショットシーケンスパターンタスクのための貯留層計算の実証的境界
• Abstract要約: 本稿では,Echo State Networks (ESNs) の分布, アーキテクチャ, 最適化の変種を実験的に解析する。 パターン補完や単純なコピーなどのメモリタスクには,線形状態の保存が不可欠であることを示す。 本研究では,Deep ESNにおいて,構造的タスクにおいて従来の読み出しよりも優れるレイヤ間の共有読み出し機構を評価する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Efficient sequence modeling remains a fundamental challenge in machine learning. Despite the success of Transformers, recurrent neural networks (RNNs) have recently re-emerged as efficient alternatives. Particularly, Echo State Networks (ESNs) offer a compelling framework of randomized RNNs that have been extensively studied for time-series forecasting and dynamical systems. This paper presents an empirical analysis of distributional, architectural, and optimization variants of ESNs evaluated on few-shot sequence-to-sequence (seq2seq) pattern tasks. These synthetic tasks utilize discrete symbol sequences, characterized by delays, inactive phases, and triggered markers to isolate and evaluate memory and pattern recognition capabilities. The minimality of these tasks is crucial to understand the strengths and limitations of machine learning models. Furthermore, when the input signal utilizes a one-hot encoding, ESN dynamics are governed strictly by their weight distributions, offering an ideal lens through which to study reservoir computing. Our findings map the performance boundaries of ESNs relative to state-of-the-art (SOTA) models. We show that preserving a linear state regime is vital for memory tasks, such as pattern completion or simple copy. We propose a data-dependent modulation mechanism for nonlinear input injection into the reservoir (G-ESN). G-ESN functions as a statistical filter capable of solving tasks that conventional ESNs cannot (the adding problem and bracket matching). Finally, for Deep ESNs, we evaluate a shared readout mechanism across layers that outperforms conventional concatenated readouts on structural tasks, including selective copy, sorting problem, and bracket matching.
• Abstract（参考訳）: 効率的なシーケンスモデリングは、機械学習における根本的な課題である。 Transformerの成功にもかかわらず、リカレントニューラルネットワーク(RNN)は最近、効率的な代替手段として再登場している。 特に、Echo State Networks(ESN)は、時系列予測と動的システムのために広く研究されているランダム化されたRNNの魅力的なフレームワークを提供する。 本稿では,数ショットシーケンス・ツー・シーケンス(seq2seq)パターンタスクで評価されたESNの分布,アーキテクチャ,最適化の変種について,実証分析を行った。 これらの合成タスクは、遅延、不活性な位相を特徴とする離散的なシンボルシーケンスを利用し、メモリとパターン認識能力を分離し評価するためのマーカーをトリガーする。 これらのタスクの最小化は、機械学習モデルの長所と短所を理解するために不可欠である。 さらに、入力信号がワンホット符号化を利用する場合、ESNダイナミクスはその重み分布によって厳密に制御され、貯水池計算を研究するための理想的なレンズを提供する。 本研究は,SOTA(State-of-the-art)モデルと比較し,ESNの性能境界を図示する。 パターン補完や単純なコピーなどのメモリタスクには,線形状態の保存が不可欠であることを示す。 貯水池(G-ESN)への非線形入力注入のためのデータ依存変調機構を提案する。 G-ESN は従来の ESN では不可能なタスクを解くことのできる統計フィルタとして機能する(加算問題とブラケットマッチング)。 最後に、Deep ESNにおいて、選択コピー、ソート問題、ブラケットマッチングを含む構造的タスクにおいて、従来の連結読み出しよりも優れるレイヤ間の共有読み出し機構を評価する。

関連論文リスト

• Data-Driven Deep MIMO Detection:Network Architectures and Generalization Analysis [50.20709408241935]
  本稿では,ネットワーク・オブ・MLPにおける完全データ駆動型DeepSIC検出の検証を提案する。 このようなアーキテクチャでは、グラフニューラルネットワーク(GNN)を使用したグラフベースのメッセージパッシングプロセスとして、DeepSICをアップグレードすることができる。 GNNSICは、訓練可能なパラメータが大幅に少ないDeepSICに匹敵する優れた表現性を達成する。
  論文  参考訳（メタデータ） (2026-02-13T04:38:51Z)
• Deep Hierarchical Learning with Nested Subspace Networks [53.71337604556311]
  大規模ニューラルネットワークのためのNested Subspace Networks (NSN)を提案する。 NSNは、単一のモデルを連続した計算予算の範囲で動的かつきめ細かな調整を可能にする。 我々は,NSNを訓練済みのLLMに外科的に適用し,スムーズで予測可能な計算性能フロンティアを解き放つことができることを示した。
  論文  参考訳（メタデータ） (2025-09-22T15:13:14Z)
• Introducing Interval Neural Networks for Uncertainty-Aware System Identification [2.8391355909797644]
  本稿では,システム同定(SysID)タスクにおける不確実性定量化(UQ)を実現するために,INN(Interval Neural Networks)の構築と学習を行うフレームワークを提案する。 INNは、事前訓練されたニューラルネットワークの学習可能なパラメータ(LP)を確率論的仮定に頼ることなく、インターバル値のLPに変換することによって導出される。 我々は,Long Short-Term Memory (LSTM) とNeural Ordinary Differential Equations (Neural ODEs) を Interval LSTM (ILSTM) と Interval NODE (INODE) アーキテクチャに拡張し,SysID に応用するための数学的基盤を提供する。
  論文  参考訳（メタデータ） (2025-04-26T08:16:46Z)
• Recurrent Stochastic Configuration Networks for Temporal Data Analytics [3.8719670789415925]
  本稿では,問題解決のためのコンフィグレーションネットワーク(RSCN)のリカレントバージョンを開発する。 我々は、初期RCCNモデルを構築し、その後、オンラインで出力重みを更新する。 数値的な結果は,提案したRCCNが全データセットに対して良好に動作することを示す。
  論文  参考訳（メタデータ） (2024-06-21T03:21:22Z)
• Spintronics for image recognition: performance benchmarking via ultrafast data-driven simulations [4.2412715094420665]
  単一スピントロニクスナノ構造を用いたエコー状態ネットワーク(ESN)による画像分類の実証を行った。 我々は、STVO力学をシミュレートするために、データ駆動型Thiele方程式アプローチと呼ばれる超高速なデータ駆動シミュレーションフレームワークを用いる。 我々は、MNIST、EMNIST-letters、Fashion MNISTデータセットで分類課題を解決するために、この手法をうまく適用することで、ソリューションの汎用性を示す。
  論文  参考訳（メタデータ） (2023-08-10T18:09:44Z)
• Sparse Modular Activation for Efficient Sequence Modeling [94.11125833685583]
  線形状態空間モデルと自己アテンション機構を組み合わせた最近のモデルでは、様々なシーケンスモデリングタスクにおいて顕著な結果が示されている。 現在のアプローチでは、アテンションモジュールを静的かつ均一に入力シーケンスのすべての要素に適用し、最適以下の品質効率のトレードオフをもたらす。 SMA(Sparse Modular Activation)は,ニューラルネットワークが配列要素のサブモジュールを異なる方法でスパースに活性化する機構である。
  論文  参考訳（メタデータ） (2023-06-19T23:10:02Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Batch-Ensemble Stochastic Neural Networks for Out-of-Distribution Detection [55.028065567756066]
  Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイすることの重要性から、マシンラーニングコミュニティから注目を集めている。 本稿では,特徴量の分布をモデル化した不確実な定量化手法を提案する。 バッチアンサンブルニューラルネットワーク(BE-SNN)の構築と機能崩壊問題の克服を目的として,効率的なアンサンブル機構,すなわちバッチアンサンブルを組み込んだ。 We show that BE-SNNs yield superior performance on the Two-Moons dataset, the FashionMNIST vs MNIST dataset, FashionM。
  論文  参考訳（メタデータ） (2022-06-26T16:00:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。