論文の概要: Learning infinite context windows in recurrent architectures via spatial neural computing

• arxiv url: http://arxiv.org/abs/2610.10690v1
• Date: Wed, 07 Oct 2026 18:00:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.613463
• Title: Learning infinite context windows in recurrent architectures via spatial neural computing
• Title（参考訳）: 空間的ニューラルコンピューティングによる繰り返しアーキテクチャにおける無限コンテキストウィンドウの学習
• Abstract要約: リカレントニューラルネットワーク(RNN)は、一定のメモリしか必要とせず、シーケンス長の線形時間スケーリングを提供する。 本稿では,標準的なニューロン-ニューロン間通信を空間的に進化するフィールドに置き換える2次リカレントモデルを提案する。 得られたモデルが、現在の状態が過去の状態の全履歴に明示的に依存する構造化無限次RNNと等価であることを示す。
• 参考スコア（独自算出の注目度）: 0.759633586781718
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recurrent neural networks (RNNs) offer linear-time scaling with sequence length while requiring only constant memory, yet they struggle to capture long-range dependencies due to vanishing gradients and limited receptive fields. To address these limitations, we introduce a second-order recurrent model in which the standard neuron-to-neuron communication is replaced by a spatially evolving field governed by (discretized) partial differential equations. Drawing inspiration from the role of cortical waves in brain computation, this mechanism allows structured spatiotemporal patterns to serve as an implicit, high-capacity memory. We show that the resulting model is equivalent to a structured infinite-order RNN in which the current state depends explicitly on its entire history of past states, yielding an effectively unbounded receptive field with a fixed number of parameters. We further derive constructive conditions to ensure marginal stability, constraining the gradient spectrum on the unit circle and thereby eliminating vanishing and exploding gradients. Empirically, the proposed architecture outperforms other recurrent models on long-horizon benchmarks while using substantially fewer parameters, demonstrating that spatial dynamics can effectively bridge the gap between efficient inference and long-term memory.
• Abstract（参考訳）: リカレントニューラルネットワーク(RNN)は、一定のメモリしか必要とせず、シーケンス長の線形時間スケーリングを提供する。 これらの制約に対処するために、標準的なニューロン-ニューロン間通信を(離散化された)偏微分方程式によって支配される空間的に進化する場に置き換える2階のリカレントモデルを導入する。 脳の計算における皮質波の役割からインスピレーションを得たこのメカニズムは、構造化された時空間パターンを暗黙の高容量メモリとして機能させることができる。 得られたモデルが、現在の状態が過去の状態の全履歴に明示的に依存している構造化無限次RNNと等価であることを示し、パラメータの固定数で事実上非有界な受容場を生成する。 さらに、限界安定性を確保するために構成条件を導出し、単位円上の勾配スペクトルを制約し、それによって消滅および爆発的な勾配を排除した。 経験的に、提案アーキテクチャは、パラメータをかなり少なくし、効率的な推論と長期記憶のギャップを効果的に橋渡しできることを実証しながら、ロングホライゾンベンチマークにおける他の繰り返しモデルよりも優れている。

関連論文リスト

• Fractional State Space Transition for Long Sequence Modeling [32.08912722358754]
  状態空間モデル(SSM)はシーケンス履歴を有界なリカレント状態に圧縮し、その結果のメモリ法則を長文パフォーマンスのための中心的なアーキテクチャ選択にする。 現代のほとんどのSSMはODEベースのダイナミクスに依存しており、指数的忘れを招き、幅広い時間範囲で情報を保持する能力を制限する。 本稿では、この指数的減衰をパワー・ロー・ロングメモリに置き換える分数的ダイナミクスから導かれる選択的SSMアーキテクチャFRACを紹介する。
  論文  参考訳（メタデータ） (2026-09-28T21:48:14Z)
• LongSpike: Fractional Order Spiking State Space Models for Efficient Long Sequence Learning [53.855185131868446]
  スパイキングニューラルネットワーク(SNN)は、シーケンシャルデータを処理する際の生物学的な妥当性とエネルギー効率を十分に考慮している。 本研究では,数次状態空間モデリングを統合した新しいSNNフレームワークであるLongSpikeを提案する。 従来の整数階数 SSM を分数計算系に拡張することにより、LongSpike は長いメモリカーネルとニューロンダイナミクスの階層的な統合を可能にする。
  論文  参考訳（メタデータ） (2026-06-11T04:54:07Z)
• A Structure-Preserving Graph Neural Solver for Parametric Hyperbolic Conservation Laws [1.988145627448243]
  本稿では,古典的数値原理をグラフニューラルネットワーク(GNN)でブリッジする,解釈可能な構造保存型グラフニューラルネットワークを提案する。 Arbitrary High-order DERivativesスキームにインスパイアされた我々は、メッセージパッシングGNNを高次時空予測器として再キャストする。 ニューラルソルバは、強いサロゲートベースラインと比較して、長軸ロールアウト安定性と精度に優れる。
  論文  参考訳（メタデータ） (2026-04-17T01:45:54Z)
• Fractional Spike Differential Equations Neural Network with Efficient Adjoint Parameters Training [63.3991315762955]
  スパイキングニューラルネットワーク(SNN)は、生物学的ニューロンからインスピレーションを得て、脳に似た計算の現実的なモデルを作成する。 既存のほとんどのSNNは、マルコフ特性を持つ一階常微分方程式(ODE)によってモデル化された、神経細胞膜電圧ダイナミクスの単一時間定数を仮定している。 本研究では, 膜電圧およびスパイク列車の長期依存性を分数次力学により捉えるフラクタルSPIKE微分方程式ニューラルネットワーク (fspikeDE) を提案する。
  論文  参考訳（メタデータ） (2025-07-22T18:20:56Z)
• The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
  本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。 ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。 本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:34:13Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Learning Sequence Representations by Non-local Recurrent Neural Memory [61.65105481899744]
  教師付きシーケンス表現学習のためのNon-local Recurrent Neural Memory (NRNM)を提案する。 我々のモデルは長距離依存を捉えることができ、潜伏した高レベル特徴を我々のモデルで抽出することができる。 我々のモデルは、これらのシーケンスアプリケーションごとに特別に設計された他の最先端の手法と比較して好意的に比較する。
  論文  参考訳（メタデータ） (2022-07-20T07:26:15Z)
• UnICORNN: A recurrent model for learning very long time dependencies [0.0]
  2次常微分方程式のハミルトン系の離散性を保つ構造に基づく新しいRNNアーキテクチャを提案する。 結果として得られるrnnは高速で可逆(時間)で、メモリ効率が良く、隠れた状態勾配の厳密な境界を導出して、爆発と消滅の勾配問題の緩和を証明する。
  論文  参考訳（メタデータ） (2021-03-09T15:19:59Z)
• Neural Rough Differential Equations for Long Time Series [19.004296236396947]
  我々は粗い経路理論を用いてニューラルCDEの定式化を拡張する。 経路空間に直接埋め込む代わりに、テキスト-署名を通して小さな時間間隔で入力信号を表現します。 これは、テキストトロフ微分方程式(RDE)の解法である。
  論文  参考訳（メタデータ） (2020-09-17T13:43:47Z)
• Time Dependence in Non-Autonomous Neural ODEs [74.78386661760662]
  時変重みを持つニューラルODEの新しいファミリーを提案する。 我々は、速度と表現能力の両面で、従来のニューラルODEの変形よりも優れていた。
  論文  参考訳（メタデータ） (2020-05-05T01:41:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。