論文の概要: Echo Flow Networks

• arxiv url: http://arxiv.org/abs/2509.24122v1
• Date: Sun, 28 Sep 2025 23:38:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.645635
• Title: Echo Flow Networks
• Title（参考訳）: Echo Flow Networks
• Authors: Hongbo Liu, Jia Xu,
• Abstract要約: 非線形読み出しを伴うEcho State Networks (X-ESNs) グループで構成されるフレームワークである Echo Flow Networks (EFNs) を紹介する。 EFNは、PatchTSTのような主要なメソッドに比べて最大4倍高速なトレーニングと3倍のモデルサイズを実現している。 当社のフレームワークのインスタンス化のひとつであるEchoFormerは、5つのベンチマークデータセットで、常に新しい最先端のパフォーマンスを実現しています。
• 参考スコア（独自算出の注目度）: 4.298381633106637
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: At the heart of time-series forecasting (TSF) lies a fundamental challenge: how can models efficiently and effectively capture long-range temporal dependencies across ever-growing sequences? While deep learning has brought notable progress, conventional architectures often face a trade-off between computational complexity and their ability to retain accumulative information over extended horizons. Echo State Networks (ESNs), a class of reservoir computing models, have recently regained attention for their exceptional efficiency, offering constant memory usage and per-step training complexity regardless of input length. This makes them particularly attractive for modeling extremely long-term event history in TSF. However, traditional ESNs fall short of state-of-the-art performance due to their limited nonlinear capacity, which constrains both their expressiveness and stability. We introduce Echo Flow Networks (EFNs), a framework composed of a group of extended Echo State Networks (X-ESNs) with MLP readouts, enhanced by our novel Matrix-Gated Composite Random Activation (MCRA), which enables complex, neuron-specific temporal dynamics, significantly expanding the network's representational capacity without compromising computational efficiency. In addition, we propose a dual-stream architecture in which recent input history dynamically selects signature reservoir features from an infinite-horizon memory, leading to improved prediction accuracy and long-term stability. Extensive evaluations on five benchmarks demonstrate that EFNs achieve up to 4x faster training and 3x smaller model size compared to leading methods like PatchTST, reducing forecasting error from 43% to 35%, a 20% relative improvement. One instantiation of our framework, EchoFormer, consistently achieves new state-of-the-art performance across five benchmark datasets: ETTh, ETTm, DMV, Weather, and Air Quality.
• Abstract（参考訳）: 時系列予測(TSF)の中心には、基本的な課題がある。モデルを効率的に効果的に、かつ効果的に、成長を続けるシーケンス間の長距離の時間的依存関係をキャプチャするには、どうすればよいのか? ディープラーニングは顕著な進歩をもたらしたが、従来のアーキテクチャは計算複雑性と、拡張された地平線上で累積情報を保持できる能力とのトレードオフに直面している。 貯水池コンピューティングモデルのクラスであるEcho State Networks (ESNs) は、最近、メモリ使用量とステップ毎のトレーニングの複雑さを入力長に関係なく提供し、その異常な効率を再び注目している。 これは、TSFにおける非常に長期にわたるイベント履歴をモデリングする上で特に魅力的である。 しかし、従来のESNは、表現力と安定性の両方を制約する非線形容量が限られているため、最先端の性能に欠ける。 計算効率を損なうことなくネットワークの表現能力を大幅に拡張し,複雑でニューロン特異的な時間的ダイナミクスを可能にする新しいマトリックスゲート複合ランダムアクティブ化(MCRA)によって強化された,拡張されたエコー状態ネットワーク(X-ESNs)からなるフレームワークであるEcho Flow Networks (EFNs)を紹介する。 さらに、最近の入力履歴が無限水平メモリから署名貯水池の特徴を動的に選択し、予測精度と長期安定性を向上するデュアルストリームアーキテクチャを提案する。 5つのベンチマークによる大規模な評価では、EFNはPatchTSTのような主要な手法と比較して最大4倍高速なトレーニングと3倍のモデルサイズを実現し、予測エラーを43%から35%に削減し、20%の相対的な改善を実現している。 当社のフレームワークであるEchoFormerは、ETTh、ETTm、DMV、天気予報、空気品質の5つのベンチマークデータセットで、常に新しい最先端のパフォーマンスを実現しています。

関連論文リスト

• Systolic Array-based Accelerator for Structured State-Space Models [1.137896937254823]
  State-Space Models (SSM) は非常に長いデータシーケンスをリカレントやトランスフォーマーベースのモデルよりも効率的に処理する。 本稿では,SSMの高速化を目的としたハードウェアアクセラレータEpochCoreを紹介する。 EpochCoreは、GPUと比較してLRAデータセットの平均2000倍のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2025-07-29T00:01:57Z)
• MesaNet: Sequence Modeling by Locally Optimal Test-Time Training [67.45211108321203]
  我々は,最近提案されたMesa層の数値的に安定かつチャンクワイズ可能な並列化版を導入する。 テストタイムの最適トレーニングにより、従来のRNNよりも言語モデリングの難易度が低く、ダウンストリームベンチマークのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2025-06-05T16:50:23Z)
• iFlame: Interleaving Full and Linear Attention for Efficient Mesh Generation [49.8026360054331]
  iFlameはメッシュ生成のためのトランスフォーマーベースの新しいネットワークアーキテクチャである。 本稿では,線形アテンションの効率とフルアテンション機構の表現力を組み合わせたインターリービング自己回帰メッシュ生成フレームワークを提案する。 提案するインターリービングフレームワークは,計算効率と生成性能を効果的にバランスさせることが示唆された。
  論文  参考訳（メタデータ） (2025-03-20T19:10:37Z)
• TS-LIF: A Temporal Segment Spiking Neuron Network for Time Series Forecasting [27.91825785119938]
  Spiking Neural Networks(SNN)は、時系列予測のためのデータ処理に、有望で生物学的にインスパイアされたアプローチを提供する。 本稿では,デュアルコンパートメントアーキテクチャを特徴とするテンポラルリーキーセグメント統合とファイアモデルを提案する。 実験の結果,TS-LIFは時系列予測において従来のSNNよりも優れていた。
  論文  参考訳（メタデータ） (2025-03-07T03:06:21Z)
• EffiCANet: Efficient Time Series Forecasting with Convolutional Attention [12.784289506021265]
  EffiCANetは計算効率を維持しながら予測精度を向上させるように設計されている。 EffiCANetは最先端モデルに対するMAEの最大10.02%の削減を実現している。
  論文  参考訳（メタデータ） (2024-11-07T12:54:42Z)
• SFANet: Spatial-Frequency Attention Network for Weather Forecasting [54.470205739015434]
  天気予報は様々な分野において重要な役割を担い、意思決定とリスク管理を推進している。 伝統的な手法は、しばしば気象系の複雑な力学を捉えるのに苦労する。 本稿では,これらの課題に対処し,天気予報の精度を高めるための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2024-05-29T08:00:15Z)
• Parsimony or Capability? Decomposition Delivers Both in Long-term Time Series Forecasting [46.63798583414426]
  時系列予測(LTSF)は時系列分析において重要なフロンティアである。 本研究は, 分析的および実証的な証拠から, 分解が過剰なモデルインフレーションを包含する鍵であることを実証する。 興味深いことに、時系列データの本質的なダイナミクスに分解を合わせることで、提案モデルは既存のベンチマークより優れている。
  論文  参考訳（メタデータ） (2024-01-22T13:15:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。