論文の概要: Prospective Coding Improves Learning in Deep Continuous-Time Recurrent Networks

• arxiv url: http://arxiv.org/abs/2609.04134v1
• Date: Thu, 03 Sep 2026 17:30:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-04 18:28:39.187164
• Title: Prospective Coding Improves Learning in Deep Continuous-Time Recurrent Networks
• Title（参考訳）: 深い連続時間リカレントネットワークにおける学習改善のための前向き符号化
• Authors: Shivang Rawat, Mirko Morello, Flaviano Morone, David J. Heeger,
• Abstract要約: テンポラル統合は、連続的な時間リカレントネットワークメモリを提供するが、ディープスタックではボトムアップシグナルを遅延させ、トップダウンエラーを緩和する。 我々は再帰的二次フィルタ(RQF)を開発する。 各レイヤのボトムアップ入力をパラメータフリーの2タップ更新で予測し、繰り返しの遷移と並列スキャンは変わらない。 RQFs, S5, ORGaNICs (非線形RNN) の介入について, BPTT (Full Backproagation through Time) と空間のみのバックプロパゲーションを用いて訓練した。
• 参考スコア（独自算出の注目度）: 2.893226191913102
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Temporal integration gives continuous-time recurrent networks memory, but in deep stacks it also delays bottom-up signals and attenuates top-down errors. We develop Recursive Quadrature Filters (RQFs), biologically motivated complex-valued temporal filters that are a special case of diagonal state-space models (SSMs), and ask whether this failure mode can be addressed by making each layer's bottom-up input prospective. Starting from an energy model, we derive the RQF dynamics and show that each RQF is a band-pass filter whose learnable parameters control its tuning frequency and bandwidth. We then make each layer's bottom-up input prospective using a parameter-free two-tap update that leaves the recurrent transition and parallel scan unchanged. We extend this correction to general diagonal SSMs and show that it mitigates depth-dependent gradient attenuation when temporal gradients are truncated, i.e., spatial-only backpropagation. We evaluate the intervention in RQFs, S5, and ORGaNICs (a nonlinear gated RNN) trained using full backpropagation through time (BPTT) and spatial-only backpropagation. Under full BPTT, prospective variants match or outperform their non-prospective controls in every model and configuration. A non-residual width-32 six-layer RQF reaches 96.09% accuracy on raw-audio Speech Commands with 31.9k parameters; a width-64 six-layer RQF reaches 83.56% on the 16,384-step Path-X task. These results identify RQFs as a parameter-efficient recurrent substrate and prospective-input coding as an input-side correction for deep continuous-time recurrent networks.
• Abstract（参考訳）: テンポラル統合は、連続的な時間リカレントネットワークメモリを提供するが、ディープスタックではボトムアップシグナルを遅延させ、トップダウンエラーを緩和する。 直交状態空間モデル(SSM)の特殊な場合である生物学的に動機付けられた複合値時間フィルタであるRecursive Quadrature Filters (RQFs) を開発し、各層のボトムアップ入力を予測して、この障害モードに対処できるかどうかを問う。 エネルギーモデルからRQF力学を導出し、各RQFが帯域通過フィルタであり、学習可能なパラメータがそのチューニング周波数と帯域幅を制御することを示す。 次に、パラメータフリーの2タップ更新を使用して各レイヤのボトムアップ入力を予測し、リカレント遷移と並列スキャンをそのまま残します。 我々は、この補正を一般対角線SSMに拡張し、時間勾配が切り離された場合、すなわち空間のみのバックプロパゲーションにおいて、深さ依存性の勾配減衰を緩和することを示す。 RQFs, S5, ORGaNICs (非線形ゲートRNN) の介入について, BPTTと空間のみのバックプロパゲーションを用いて訓練した。 完全なBPTTの下では、予測可能な変種は、すべてのモデルと構成において、予測できない制御にマッチまたは優れる。 非残留幅32の6層RQFは、31.9kパラメータの生音声コマンドで96.09%の精度に達し、幅64の6層RQFは16,384ステップのPath-Xタスクで83.56%に達する。 これらの結果は、RQFをパラメータ効率のよいリカレント基板とし、深部連続時間リカレントネットワークの入力側補正として予測インプット符号化を行う。

関連論文リスト

• Constrained Decoding for Diffusion Language Models via Efficient Inference over Finite Automata [57.27430779838529]
  有限オートマトンとして表現可能な任意の制約の下で,制約付き平均場後部からサンプリングする,正確かつトラクタブルなアルゴリズムを提案する。 このアプローチは、構築による制約満足度を保証し、欲求とサンプリングベースのデコーディングの両方をサポートし、並列およびブロックワイドデコーディングと互換性がある。 Dream-7B と LLaDA-8 の実証的な評価は、様々なタスクにおいてかなりの精度の向上を示した。
  論文  参考訳（メタデータ） (2026-07-08T05:48:57Z)
• Closed-Form Spectral Regularization for Multi-Task Model Merging [96.82449201305234]
  モデルマージは、個別に調整された複数の専門家をトレーニングデータなしで単一のマルチタスクモデルに結合する。 State-of-the-art merging method formulate merging as a layer-wise interference problem。 本稿では,逐次降下の勾配-流路に一致するソフト指数フィルタを組み合わせた閉形式手法SWUDIを提案する。
  論文  参考訳（メタデータ） (2026-06-05T14:00:47Z)
• Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior [107.2098567818173]
  Latent Recurrent Transformer (LRT) は自己回帰変換器の軽量化である。 LRTは、次のトークンのリカレントメモリとして、前のトークンから高レベルなソース層隠れステートを再利用する。
  論文  参考訳（メタデータ） (2026-05-26T10:10:26Z)
• EfficientPENet: Real-Time Depth Completion from Sparse LiDAR via Lightweight Multi-Modal Fusion [1.9903316442426757]
  既存の手法は、標準ベンチマークで高い精度を達成するが、組み込みハードウェアへのリアルタイムデプロイメントを妨げる重いバックボーンアーキテクチャに依存している。 本稿では,従来のResNetエンコーダを近代化したConvNeXtバックボーンに置き換えた2分岐深度補完ネットワークであるEfficientPENetを提案する。 KITTIの深さ補完ベンチマークでは、EfficientPENet は 36.24M パラメータを持つ 631.94 mm のRMSEと、48.76 FPS で動作する 20.51 ms のレイテンシを達成した。
  論文  参考訳（メタデータ） (2026-04-20T19:56:04Z)
• LiQSS: Post-Transformer Linear Quantum-Inspired State-Space Tensor Networks for Real-Time 6G [85.58816960936069]
  Sixth-Generation (6G) Open Radio Access Networks (O-RAN) における能動的およびエージェント的制御は、厳密なニアタイム(Near-RT)レイテンシと計算制約の下で制御グレードの予測を必要とする。 本稿では,効率的な無線テレメトリ予測のための変圧器後パラダイムについて検討する。 本稿では、自己アテンションを安定な状態空間動的カーネルに置き換える量子インスピレーション付き状態空間テンソルネットワークを提案する。
  論文  参考訳（メタデータ） (2026-01-18T12:08:38Z)
• Simplifying Deep Temporal Difference Learning [3.458933902627673]
  安定を保ちながら、政治外のTDトレーニングを加速し、簡素化できるかどうかを検討する。 我々の重要な理論的結果は、LayerNormのような正規化技術が証明可能な収束性TDアルゴリズムが得られることを初めて示している。 よりシンプルなオンラインQ-LearningアルゴリズムであるPQNを提案する。
  論文  参考訳（メタデータ） (2024-07-05T18:49:07Z)
• Finite-time System Identification and Adaptive Control in Autoregressive Exogenous Systems [79.67879934935661]
  未知のARXシステムのシステム識別と適応制御の問題について検討する。 我々は,オープンループとクローズループの両方のデータ収集の下で,ARXシステムに対する有限時間学習保証を提供する。
  論文  参考訳（メタデータ） (2021-08-26T18:00:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。