論文の概要: CyFA: Linear Sequence Modeling with Relative-Time-Partitioned Memory

• arxiv url: http://arxiv.org/abs/2609.36259v1
• Date: Mon, 28 Sep 2026 20:47:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.010035
• Title: CyFA: Linear Sequence Modeling with Relative-Time-Partitioned Memory
• Title（参考訳）: CyFA: 相対時間分割メモリを用いた線形シーケンスモデリング
• Abstract要約: 線形RNNは線形時間シーケンス処理と定数メモリデコードを提供する。 既存の忘れるメカニズムとデルタルールの更新は、状態を選択的にクリアまたは修正することで干渉を減らす。 相対時間分割メモリを備えた線形RNNであるCyFA(Cyclic Flow Attention)を紹介する。
• 参考スコア（独自算出の注目度）: 11.5006780127949
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Linear RNNs offer linear-time sequence processing and constant-memory decoding, but their fixed-size recurrent states must accommodate all past key--value associations. Existing forgetting mechanisms and Delta Rule updates reduce interference by selectively clearing or correcting the state, yet earlier associations can still become difficult to retrieve. We introduce CyFA (Cyclic Flow Attention), a Linear RNN with relative-time-partitioned memory. At each step, a learned clock controls the cyclic transport applied jointly to the key and value states before the current key--value pair enters the age-zero slot, thereby organizing stored associations across relative-time slots. We further derive an exact change to absolute-clock coordinates that expresses CyFA as two scalar-decay linear attention recurrences and enables efficient chunk-wise training. Across 400M--1.4B pretraining experiments with matched recurrent-state sizes, CyFA improves recall-intensive performance while maintaining competitive language modeling and high computational efficiency. At 400M, CyFA outperforms KDA on FDA (42.60 vs. 26.07) while requiring only 46.7% and 48.3% of KDA's forward and backward core-operator execution times, respectively. Our code is publicly available at \href{https://github.com/Chyxx/CyclicFlowAttention}{this https URL}.
• Abstract（参考訳）: 線形RNNは線形時間シーケンス処理と定数メモリデコードを提供するが、その固定サイズのリカレント状態は過去のキー値の関連を全て許容しなければならない。 既存の忘れるメカニズムやデルタルールの更新は、状態を選択的にクリアしたり修正したりすることで干渉を減らすが、初期の関連は取り出すのが難しくなる。 相対時間分割メモリを備えた線形RNNであるCyFA(Cyclic Flow Attention)を紹介する。 各ステップにおいて、学習クロックは、現在のキー値対が年齢ゼロスロットに入る前に、キーと値状態に連なる循環輸送を制御し、相対時間スロット間で記憶された関連を整理する。 さらに,CyFAを2つのスカラーデカイ線形注意繰り返しとして表現し,効率的なチャンクワイズトレーニングを可能にする絶対時計座標の正確な変化を導出する。 400M--1.4Bの事前学習実験において、CyFAは、競合する言語モデリングと高い計算効率を維持しながら、リコール集約性能を改善した。 400Mでは、CyFAはFDA(42.60対26.07)でKDAを上回り、KDAの前方と後方のコア操作時間の46.7%と48.3%しか必要としない。 私たちのコードは、 \href{https://github.com/Chyxx/CyclicFlowAttention}{this https URL}で公開されています。

関連論文リスト

• SchemaMem: Schema-Indexed Recurrent Memory for Delayed State Retrieval [3.0459410574367314]
  私たちは、チャンクローカルな注意と永続的なスキーマインデックスのフェーズ状態を組み合わせたアテンションベースのリカレントメモリアーキテクチャであるMemを紹介します。 制御されたアドレス値タスクにおいて、選択的更新、保存、遅延検索について検討した。
  論文  参考訳（メタデータ） (2026-09-27T10:43:43Z)
• DeltaS: Reading the Gated Linear Attention State for KV Cache Eviction in Streaming Video [0.9877411999273223]
  本稿では,問合せに依存せず,ビデオチャンクを保ち,より大きな正規化状態変化を引き起こすDeltaSを提案する。 フォワードパスのわずか1.9%のコストで、DeltaSは最強のクエリ非依存のバインドメモリベースラインを超えた。 これらの結果から,ハイブリッドアーキテクチャの2つの記憶は協調的に機能することが示唆された。
  論文  参考訳（メタデータ） (2026-09-23T07:35:52Z)
• Complementary Matrix-Gated QKAN Fast-Weight Programmers for Quantum Dynamics Forecasting [38.586966822977686]
  量子インスパイアされたコルモゴロフ・アルノルドネットワーク(QKAN)に基づくゲーテッド高速プログラマ(FWP) 低ランク度変調を用いた自己変調QKANベースのFWPを提案する。
  論文  参考訳（メタデータ） (2026-07-30T09:52:22Z)
• Human-Inspired Memory Architecture for LLM Agents [0.9507070656654629]
  6つの認知機構からなる生体記憶アーキテクチャを提案する。 各メカニズムは、単純メモリ蓄積の特定の障害モードに対処する。 S層スケール(50セッション)では、デダップベースのコンソリデーションにより、好みのリコールが+13.3pp向上する。
  論文  参考訳（メタデータ） (2026-05-08T22:52:37Z)
• CSAttention: Centroid-Scoring Attention for Accelerating LLM Inference [3.1255988998610307]
  CSAttention(Centroid-Scoring Attention)は、高スループットコンテキストに最適化された訓練不要のスパースアテンション手法である。 計算処理を1回のオフラインプリフィルフェーズにフロントロードし、複数のクエリでアモートできる。 モデル精度と推論速度の両方において、最先端のスパースアテンション手法より一貫して優れている。
  論文  参考訳（メタデータ） (2026-03-30T01:42:29Z)
• Squeezed Attention: Accelerating Long Context Length LLM Inference [61.787865959140994]
  本稿では,入力コンテキストの大部分を固定したアプリケーションを高速化するために,Squeezed Attentionを提案する。 推論中、ユーザ入力からのクエリトークンとセントロイドを比較し、固定されたコンテキストからどのキーが意味論的に関連しているかを予測する。 また,線形から対数的への注意の複雑さを,固定した文脈長に対して低減できる階層型アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-11-14T18:54:19Z)
• Training-Free Exponential Context Extension via Cascading KV Cache [49.608367376911694]
  カスケードサブキャッシュバッファを利用して,最も関連性の高いトークンを選択的に保持する機構を導入する。 本手法は,1Mトークンのフラッシュアテンションと比較して,プリフィルステージ遅延を6.8倍削減する。
  論文  参考訳（メタデータ） (2024-06-24T03:59:17Z)
• Quick Adaptive Ternary Segmentation: An Efficient Decoding Procedure For Hidden Markov Models [41.99844472131922]
  ノイズ観測から元の信号を復号することは、ほぼすべてのHMMデータ解析における主要な目標の1つである。 QATS, QATS, QATS, QATS, QATS, QATS, QATS, QATS, QATS, QATS, QATS, QATSについて述べる。 QATSの実装はGitHubのRパッケージQATSにある。
  論文  参考訳（メタデータ） (2023-05-29T19:37:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。