論文の概要: Shared Phase and Retention Control for Efficient Adaptive Spectral Recurrence

• arxiv url: http://arxiv.org/abs/2609.39082v2
• Date: Tue, 06 Oct 2026 10:34:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.2393
• Title: Shared Phase and Retention Control for Efficient Adaptive Spectral Recurrence
• Title（参考訳）: 効率的な適応スペクトル再帰のための共有位相と保持制御
• Abstract要約: 新たなエビデンスが到着すると、シーケンスモデルは、それが記憶するものと、メモリが予測にどのように影響するかを更新する必要がある。 本研究では,高次元スペクトルメモリは高次元制御を必要としないことを示すとともに,高効率適応スペクトル再帰のための共有位相と保持制御を導入する。 我々の実装では、固定トーケンワークロードにおいて、リカレントミキサートレーニングのレイテンシを18.2%から34.2%削減し、最適化されたRG-Lベースライン上でスキャンを3.1x-4.7x高速化する。
• 参考スコア（独自算出の注目度）: 7.492636491952928
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As new evidence arrives, a sequence model must update what it remembers and how memory influences predictions. While Transformers incur computation and cache costs scaling with context length, fixed-state recurrent models offer constant-memory inference. However, linear and spectral recurrences traditionally rely on static transitions, failing to dynamically revise how stored representations decay or rotate. While recent selective architectures introduce input-dependent transitions, they assign independent controls to every memory mode, coupling control cost to state capacity. We show that high-dimensional spectral memory does not require high-dimensional control, and introduce Shared Phase and Retention Control for Efficient Adaptive Spectral Recurrence (SPARC). SPARC employs just two input-dependent scalar signals to coordinate memory retention and phase rotation across heterogeneous complex modes, while preserving mode-specific baseline timescales and frequencies. Its diagonal affine recurrence supports parallel associative scans for sequence-level BPTT as well as exact structured Real-Time Recurrent Learning (RTRL) for online credit assignment. Across partially observable continuous control, POPGym, and sequence classification, SPARC achieves a 9.09% relative return improvement on Walker-P and a 1.36% relative accuracy gain on FordA over second-best methods. On an NVIDIA Blackwell GPU, our implementation reduces recurrent-mixer training latency by 18.2%-34.2% in fixed-token workloads and accelerates scans by 3.1x-4.7x over an optimized RG-LRU baseline. These results show that two shared control signals can efficiently govern adaptive spectral memory across online and full-sequence settings. Code is available at https://github.com/Botwwt/sparc.
• Abstract（参考訳）: 新たなエビデンスが到着すると、シーケンスモデルは、それが記憶するものと、メモリが予測にどのように影響するかを更新する必要がある。 Transformerは計算量とキャッシュコストをコンテキスト長でスケーリングするが、固定状態のリカレントモデルは一定のメモリの推論を提供する。 しかし、線形およびスペクトルの反復は伝統的に静的遷移に依存しており、保存された表現の減衰や回転の動的修正を怠っている。 最近の選択的なアーキテクチャは入力依存の遷移を導入しているが、各メモリモードに独立した制御を割り当て、結合制御コストを状態容量に割り当てる。 本研究では,高次元スペクトルメモリは高次元制御を必要としないことを示すとともに,高効率適応スペクトル再帰(SPARC)のための共有位相と保持制御を導入する。 SPARCは2つの入力依存スカラー信号を使い、メモリ保持と位相回転を異種複雑なモードで調整し、モード固有のベースラインタイムスケールと周波数を保存する。 対角アフィン再発は、シーケンスレベルのBPTTの並列連想スキャンと、オンラインクレジット代入のための正確な構造化リアルタイムリカレントラーニング(RTRL)をサポートする。 部分的に観測可能な連続制御、POPGym、シーケンス分類を含むSPARCは、Walker-Pの9.09%の相対的な戻り値改善、およびFordAの1.36%の精度向上を実現している。 NVIDIA Blackwell GPUでは、固定トークンワークロードにおいて、リカレントミキサートレーニングのレイテンシを18.2%から34.2%削減し、最適化されたRG-LRUベースライン上でスキャンを3.1x-4.7x高速化する。 これらの結果から、2つの共有制御信号がオンラインおよびフルシーケンス設定における適応スペクトルメモリを効率的に制御できることが示唆された。 コードはhttps://github.com/Botwwt/sparc.comで入手できる。

関連論文リスト

• Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior [107.2098567818173]
  Latent Recurrent Transformer (LRT) は自己回帰変換器の軽量化である。 LRTは、次のトークンのリカレントメモリとして、前のトークンから高レベルなソース層隠れステートを再利用する。
  論文  参考訳（メタデータ） (2026-05-26T10:10:26Z)
• TS-Memory: Plug-and-Play Memory for Time Series Foundation Models [63.21390142212087]
  Time Series Foundation Models (TSFM) は大規模な事前訓練を通じて強力なゼロショット予測を実現する。 パラメトリック適応は破滅的な忘れを招き、非パラメトリック検索は予測を改善するが、データストア検索によってレイテンシが高くなる。 本稿では, TSFM を拡張した軽量メモリアダプタ TS-Memory としてParametric Memory Distillation を提案し,実装する。
  論文  参考訳（メタデータ） (2026-02-12T04:16:19Z)
• GSPN-2: Efficient Parallel Sequence Modeling [101.33780567131716]
  一般化空間伝搬ネットワーク(GSPN)は2次自己アテンションを直線走査型伝搬方式に置き換えることでこの問題に対処する。 GSPN-2は、視覚アプリケーションにおけるグローバル空間コンテキストをモデル化するための新しい効率フロンティアを確立する。
  論文  参考訳（メタデータ） (2025-11-28T07:26:45Z)
• Flexible and Efficient Spatio-Temporal Transformer for Sequential Visual Place Recognition [8.050179481110222]
  Adapt-STformerはリコール時間を最大17%削減し,シーケンス抽出時間を36%削減し,メモリ使用量を35%削減した。 Nordland、Oxford、NuScenesのデータセットの実験では、Adapt-STformerがリコールを最大17%向上し、シーケンス抽出時間を36%削減し、メモリ使用量を35%削減している。
  論文  参考訳（メタデータ） (2025-10-05T16:52:12Z)
• Learning Frequency and Memory-Aware Prompts for Multi-Modal Object Tracking [74.15663758681849]
  凍結したRGBトラッカーに軽量なプロンプトを注入するデュアルアダプタフレームワークであるLearning Frequency and Memory-Aware Promptsを紹介する。 周波数誘導型ビジュアルアダプタは、相補的なキューをモダリティ間で適応的に転送する。 短い、長い、永続的なメモリストアを持つマルチレベルメモリアダプタは、信頼できる時間的コンテキストを格納し、更新し、取得する。
  論文  参考訳（メタデータ） (2025-06-30T15:38:26Z)
• SpectralMamba: Efficient Mamba for Hyperspectral Image Classification [39.18999103115206]
  リカレントニューラルネットワークとトランスフォーマーは、ハイパースペクトル(HS)イメージングにおけるほとんどの応用を支配している。 我々は、HS画像分類のための効率的なディープラーニングフレームワークを組み込んだ新しい状態空間モデルであるSpectralMambaを提案する。 SpectralMambaは、パフォーマンスと効率の両面から、驚くほど有望な勝利を生み出している。
  論文  参考訳（メタデータ） (2024-04-12T14:12:03Z)
• Learning Spatial-Frequency Transformer for Visual Object Tracking [15.750739748843744]
  最近のトラッカーはTransformerを採用して、広く使われているResNetを新しいバックボーンネットワークとして組み合わせたり置き換えたりしている。 これらの操作は、ターゲットオブジェクトの空間的先行を無視し、最適以下の結果をもたらす可能性があると信じている。 本稿では,GPHA(Spatial Prior and High- frequency emphasis Attention)を同時にモデル化した空間周波数変換器を提案する。
  論文  参考訳（メタデータ） (2022-08-18T13:46:12Z)
• Self-Gated Memory Recurrent Network for Efficient Scalable HDR Deghosting [59.04604001936661]
  本稿では,任意の長さの動的シーケンスを浮き彫りにする新しいネットワーク型HDRデゴースト法を提案する。 本稿では,SGM(Self-Gated Memory)セルという新たなリカレントセルアーキテクチャを導入する。 提案手法は,既存の3つの公開データセットを定量的に比較して,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2021-12-24T12:36:33Z)
• Deep Explicit Duration Switching Models for Time Series [84.33678003781908]
  状態依存型と時間依存型の両方のスイッチングダイナミクスを識別できるフレキシブルモデルを提案する。 状態依存スイッチングは、リカレントな状態-スイッチ接続によって実現される。 時間依存スイッチング動作を改善するために、明示的な期間カウント変数が使用される。
  論文  参考訳（メタデータ） (2021-10-26T17:35:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。