論文の概要: Naju: A Native Discrete State-Space Model with Independent Retention and Writing for Long-Sequence Memory
- arxiv url: http://arxiv.org/abs/2607.21000v1
- Date: Thu, 23 Jul 2026 07:34:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-24 18:26:25.310251
- Title: Naju: A Native Discrete State-Space Model with Independent Retention and Writing for Long-Sequence Memory
- Title（参考訳）: Naju: 長期記憶のための独立保持と書き込みを備えたネイティブな離散状態空間モデル
- Abstract要約: Najuはリカレント更新を、スキーマ的に$x_n = f_nodot x_n-1 + i_nodot(B_n u_n)$に分解する。
ナジュは、強い長距離メモリと競争力や優れたパフォーマンスを一貫して組み合わせている。
- 参考スコア（独自算出の注目度）: 7.4750926696730895
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Long-sequence memory tracking places two opposing demands on a recurrent state: near-lossless retention of stored bindings over long horizons, and active overwriting of stale ones. In our diagnostic suite, the strongest efficient baselines tend to solve only one side well. Continuous-time-parameterized state-space models (SSMs) such as Mamba obtain their discrete recurrence by zero-order-hold discretization of a continuous-time system; we argue that this detour is unnecessary for memory tracking and parameterize the discrete transition directly. Naju (Native Adaptive Junction Unit) factorizes the recurrent update, schematically $x_n = f_n\odot x_{n-1} + i_n\odot(B_n u_n)$, into an explicit discrete pole (a learned forget gate $f_n$), an independent write gain $i_n$, and input-dependent write/read maps. Since the sigmoid pole satisfies $0<f_n<1$, each frozen local coordinate is Schur-stable by construction, and the full time-varying recurrence satisfies a fading-memory/BIBO bound under uniform boundedness assumptions, with no stability regularizer. We formalize the key structural limitation of coupled designs: any non-expansive complementary single-gate recurrence ties the effective retention $r$ and write gain $w$ through $|r|+w\le 1$, so near-complete retention forces weak writing; decoupling $f_n$ from $i_n$ removes this constraint. Empirically, Naju is the only evaluated model that remains strong on both retention and overwriting at 4x the training length. Beyond the diagnostic suite, we evaluate Naju on WikiText-103 language modeling, Long Range Arena, and multi-query associative recall. Across these settings, Naju consistently combines strong long-range memory with competitive or superior performance, outperforming the Mamba baselines in the principal comparisons while remaining competitive with the Transformer and preserving linear-time, linear-memory scaling.
- Abstract（参考訳）: 長いシーケンスのメモリトラッキングは、2つの反対の要求をリカレントな状態に配置する。
私たちの診断スイートでは、最も効率的なベースラインは片面のみをうまく解決する傾向があります。
Mambaのような連続時間パラメータ化状態空間モデル(SSM)は、連続時間系のゼロオーダーホールド離散化によって離散再帰性を得る。
Naju(Native Adaptive Junction Unit)はリカレント更新を分解し、スキーマ的に$x_n = f_n\odot x_{n-1} + i_n\odot(B_n u_n)$ を明示的な離散極(学習したDeak gate $f_n$)、独立書き込み利得$i_n$、入出力依存ライト/リードマップに変換する。
シグモイド極は$0<f_n<1$ を満たすので、各凍結局所座標は構成によりシュル安定であり、全時間変化の繰り返しは、一様有界性仮定の下で有界なフェーディングメモリ/BIBOを満たす。
結合設計の重要な構造的制限を形式化する: 拡張的でない補足的な単一ゲートの再発は、有効保持を$r$に結び付け、書き込み get $w$ through $|r|+w\le 1$, so near-complete Retention force weak writing; $f_n$を$i_n$から分離すると、この制約は取り除かれる。
経験的に、ナジュはトレーニング長の4倍の保持と上書きの両方に強く依存する唯一の評価モデルである。
診断スイートの他に,WikiText-103言語モデリング,Long Range Arena,マルチクエリ連想リコールなどを用いてNajuの評価を行った。
これらの設定全体にわたって、Najuは強力な長距離メモリと競争力や優れたパフォーマンスを一貫して組み合わせ、主要な比較ではMambaベースラインを上回り、Transformerと競合し続け、線形時間、線形メモリスケーリングを保っている。
関連論文リスト
- Fast Weight Attention for Continual Learning [75.34672054079408]
リカレント高速記憶と選択状態空間モデルは、拡張コンテキストを固定サイズのリカレント状態に圧縮する。
正則化された二乗誤差回帰と負の内積目標の1次更新を導出する。
我々は、数値的に安定な正のデカイ再正規化とともに、繰り返し、マスクパラレル、チャンクパラレル形式を提供する。
論文 参考訳（メタデータ） (2026-08-27T22:55:11Z) - SANE: State Anomaly Neutralization for Stable Extreme-Context Delta-Rule Models [53.86918766240095]
Delta-Ruleリカレントモデルは固定サイズの状態を維持しており、$O(1)$の推論メモリが可能であるが、極端なコンテキスト外挿では不安定になる可能性がある。
我々は,チャンク内並列構造を保ちながら,チャンク境界における適応$tanh$圧縮を適用したtextbfState Anomaly Neutralization (SANE)を提案する。
論文 参考訳（メタデータ） (2026-08-23T10:41:07Z) - Quantum Coordination Advantages in AI State-Tracking Tasks: Semantic Compilation and Latent Memory [5.649244092106778]
我々は、特定のAI状態追跡タスクに対して、推論時量子コーディネーションの利点を証明した。
イベントの順序と過去の入力へのアクセスを保ちながら、有限片方向、ストリーミング、あるいは適応因果タスクをセマンティックAIインターフェースにマッピングする。
論文 参考訳（メタデータ） (2026-08-11T15:32:15Z) - Raven: High-Recall Sequence Modeling with Sparse Memory Routing [88.47618436676748]
メモリスロットの固定セットを維持する線形時間シーケンスモデルであるRavenを導入し、各ステップにおいて、学習された入力依存ルーティングによって選択されたサブセットのみを減衰・更新する。
リコール集約ベンチマーク全体では、Ravenは以前のリニアタイムベースラインと競合するか、より優れており、SWAとSSMの両方が大幅に低下する強いロングコンテキストリコールを実現している。
論文 参考訳（メタデータ） (2026-07-28T07:04:32Z) - LongSpike: Fractional Order Spiking State Space Models for Efficient Long Sequence Learning [53.855185131868446]
スパイキングニューラルネットワーク(SNN)は、シーケンシャルデータを処理する際の生物学的な妥当性とエネルギー効率を十分に考慮している。
本研究では,数次状態空間モデリングを統合した新しいSNNフレームワークであるLongSpikeを提案する。
従来の整数階数 SSM を分数計算系に拡張することにより、LongSpike は長いメモリカーネルとニューロンダイナミクスの階層的な統合を可能にする。
論文 参考訳（メタデータ） (2026-06-11T04:54:07Z) - Do Language Models Need Sleep? Offline Recurrence for Improved Online Inference [58.46323651532913]
本研究では,モデルが周期的に最新のコンテキストを持続的な高速重みに変換する睡眠様統合機構について検討する。
睡眠中、モデルは蓄積したコンテキストにN$のオフラインリカレントパスを実行し、状態空間モデルの高速な重みを更新する。
睡眠時間の増加は,より深い推論を必要とする例では最大で,我々のモデルではN$の上昇がパフォーマンスを向上させることを示す。
論文 参考訳（メタデータ） (2026-05-25T17:55:39Z) - Variational Linear Attention: Stable Associative Memory for Long-Context Transformers [0.6117371161379209]
リニアアテンションはソフトマックスアテンションの二次コストを$mathcalO(T)$に下げるが、フロベニウスノルムでは$mathcalO(T)$としてメモリ状態が増加する。
メモリ更新をオンライン最小二乗問題として再構成するtextbfVariational Linear Attention (VLA) を導入する。
論文 参考訳（メタデータ） (2026-05-11T20:03:12Z) - TIDES: Implicit Time-Awareness in Selective State Space Models [0.0]
連続時間SSMは不規則なタイムスタンプを扱うが、その力学は線形時間不変(LTI)のままである。
選択型および連続型アーキテクチャを再構成する選択型SSMである textbfTIDES を提案する。
TIDESは、UEA時系列分類とPhysome-ODEレグレッションベンチマークに基づいて、最先端の平均ランクを新たに設定する。
論文 参考訳（メタデータ） (2026-05-10T20:34:06Z) - Score-Repellent Monte Carlo: Toward Efficient Non-Markovian Sampler with Constant Memory in General State Spaces [48.37754141688874]
本稿では,スコアと状態表現の次元である$Rd$のスコア評価の実行平均で履歴を要約するフレームワークを提案する。
この歴史は指数的なスコア傾きによって代理対象に変換され、歴史に基づく反発の大きさを制御する際の反発の強さを表す$$がインデックス付けされる。
連続目標モデルと離散エネルギーベースモデルの実験では、メモリ使用率を$O(d)$に抑えつつ、推定値の分散とモードカバレッジを改善した。
論文 参考訳（メタデータ） (2026-04-24T18:39:50Z) - Sessa: Selective State Space Attention [0.0]
本稿では、繰り返しフィードバックパス内に注意を向けるデコーダであるSessaを提案する。
Sessaはパワーローメモリのテールを$O(ell-)$$01$で認めており、TransformerやMambaスタイルのベースラインよりも劣化が遅い。
論文 参考訳（メタデータ） (2026-04-20T17:59:08Z) - Quantifying Memory Use in Reinforcement Learning with Temporal Range [51.98491034847041]
時間的範囲(Temporal Range)は、時間的影響プロファイルとして、時間的ウィンドウから入力シーケンスへの複数のベクトル出力の1次感度を扱うモデルに依存しない計量である。
また、タスクレベルメモリのプロキシ読み出しとして、タスク上で訓練されたコンパクトなLong Expressive Memory(LEM)ポリシーについて、テンポラルレンジを報告する。
論文 参考訳（メタデータ） (2025-12-05T22:58:09Z) - Gated KalmaNet: A Fading Memory Layer Through Test-Time Ridge Regression [53.48692193399171]
Gated KalmaNet(GKA)は、次のトークンを予測する際に、すべての過去を説明することによってギャップを低減するレイヤである。
テスト時間におけるオンラインリッジ回帰問題を一定メモリと線形計算コストで解決する。
ロングコンテキストでは、GKAは現実世界のRAGタスクとLongQAタスクを最大128kトークンまで拡張し、他の薄型メモリベースラインよりも10ドル%以上の相対的な改善を実現している。
論文 参考訳（メタデータ） (2025-11-26T03:26:37Z) - From Continual Learning to SGD and Back: Better Rates for Continual Linear Models [50.11453013647086]
以前見られたタスクの損失を、$k$の繰り返しの後、忘れること、すなわち、分析する。
実現可能な最小二乗の設定において、新しい最上界を創出する。
我々は、タスクを繰り返しないランダム化だけで、十分に長いタスクシーケンスで破滅的な事態を防げることを初めて証明した。
論文 参考訳（メタデータ） (2025-04-06T18:39:45Z) - $\infty$-former: Infinite Memory Transformer [5.262376184578169]
コンテクストの長さによって計算量が増加するため、トランスフォーマーは長いコンテクストに参加する際に苦労する。
本稿では,バニラ変圧器を長期メモリで拡張した$infty$-formerを提案する。
論文 参考訳（メタデータ） (2021-09-01T10:51:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。