論文の概要: Erase-then-Delta Attention: Decoupling Erase and Write Addresses in Delta-Rule Linear Attention

• arxiv url: http://arxiv.org/abs/2606.26560v1
• Date: Thu, 25 Jun 2026 03:12:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 18:46:32.151344
• Title: Erase-then-Delta Attention: Decoupling Erase and Write Addresses in Delta-Rule Linear Attention
• Title（参考訳）: Erase-then-Delta Attention: Delta-Rule Linear AttentionにおけるEraseとWriteアドレスの分離
• Abstract要約: Delta-ruleリニアアテンションは、現在の書き込みアドレスに保存されているものを修正することで、リカレントメモリ更新を改善する。 本稿では,Erase-then-Delta Attention (EDA)を提案する。
• 参考スコア（独自算出の注目度）: 61.96880087320455
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Delta-rule linear attention improves recurrent memory updates by correcting what is already stored at the current write address before writing new content. However, the active correction is still anchored to that same write address. As a result, stale information stored at a different address cannot be actively removed before new content is written elsewhere. We propose Erase-then-Delta Attention (EDA), a memory update rule that decouples where to erase from where to write. The key insight is that recurrent memory models should not only correct the current write, but also selectively suppress outdated memory at an independently chosen address. Concretely, our method first applies a targeted erase step along a learned erase direction, and then performs the standard delta-style corrective write along the current write direction. This preserves the corrective behavior of delta-rule updates while expanding their memory-management capacity. Language-model pretraining experiments across dense 2.5B and MoE 25B-A2.8B model families show that EDA performs best in both settings. The gain persists after 80B-token long-context midtraining of the MoE models, where EDA also performs best in long-context evaluations from 4k to 128k contexts. A compact update analysis and memory-state probes suggest why: EDA keeps the delta-rule corrective write intact while allocating an additional cleanup path most strongly when passive decay is weak. These results suggest that recurrent memory models should decide not only what to write, but also what stale information to erase and where.
• Abstract（参考訳）: Delta-ruleリニアアテンションは、新しいコンテンツを書く前に、現在の書き込みアドレスに保存されているものを修正することで、リカレントメモリ更新を改善する。 しかし、アクティブな修正は依然として同じ書き込みアドレスに固定されている。 その結果、別のアドレスに格納された古い情報は、他の場所に新しいコンテンツが書き込まれる前にアクティブに削除できない。 本稿では,Erase-then-Delta Attention (EDA)を提案する。 重要な洞察は、リカレントメモリモデルは現在の書き込みを補正するだけでなく、独立して選択されたアドレスで古いメモリを選択的に抑制すべきである。 具体的には、まず、学習した消去方向に沿って目的の消去ステップを適用し、次に、現在の書き込み方向に沿って標準デルタスタイルの修正書き込みを実行する。 これにより、デルタルール更新の修正動作が保存され、メモリ管理能力が拡張される。 2.5B と MoE 25B-A2.8B モデルファミリ間の言語モデル事前訓練実験は、EDA が両方の設定で最高であることを示している。 EDAは4kから128kのコンテキストでの長文評価でも最善である。 EDAはデルタルールの修正書きをそのまま保ちながら、受動的減衰が弱い場合には、追加のクリーンアップパスを最も強く割り当てる。 これらの結果は、リカレントメモリモデルが書き方だけでなく、消し方や場所の古い情報も決定すべきであることを示唆している。

関連論文リスト

• The Query Knows What to Forget: A Second Erase Direction for Linear Attention [4.500637354443275]
  Gated DeltaNet-2 (GDN-2) は、すべてのデルタルールモデルと同様に、現在のトークンのキーから消去ベクトルを導出する。 クエリ由来のErase Direction(QED)を紹介します。 S-NIAH-1で使用可能なコンテキスト長を約2倍に向上する。
  論文  参考訳（メタデータ） (2026-08-13T18:04:53Z)
• TARL: Transaction-Aware Reliable Ledgers for Executable Memory Management in Long-Term Agents [20.123133746969398]
  メモリ状態更新フレームワークであるTARLを導入し、各ステートメントを5つの実行可能なアクションのうちの1つにマップする。 TARLは、影響を受けるメモリを特定し、その時間的スコープを解決し、ソースの信頼性を比較し、受け入れ、保留、拒否された台帳を更新する。 また、粒度の細かいアクションラベルと次の状態目標を持つベンチマークであるTARL-Memについても紹介する。
  論文  参考訳（メタデータ） (2026-08-04T14:02:55Z)
• Raven: High-Recall Sequence Modeling with Sparse Memory Routing [88.47618436676748]
  メモリスロットの固定セットを維持する線形時間シーケンスモデルであるRavenを導入し、各ステップにおいて、学習された入力依存ルーティングによって選択されたサブセットのみを減衰・更新する。 リコール集約ベンチマーク全体では、Ravenは以前のリニアタイムベースラインと競合するか、より優れており、SWAとSSMの両方が大幅に低下する強いロングコンテキストリコールを実現している。
  論文  参考訳（メタデータ） (2026-07-28T07:04:32Z)
• The Past Is Prologue: A Plug-in Controller for Selective Updates in Sequentially Evolving LLM Memory [53.50071717647285]
  我々はJanusを提案する。Janusは、候補メモリの更新を受け付けるか、以前のメモリを保持するかを決定するプラグインメモリコントローラである。 Janus は Memory Momentum Trigger を使用して、メモリ更新軌道における不審な偏差を識別する。 Janusは、対応するベース更新器に対して、平均精度を+2.7から+4.6ポイント改善する。
  論文  参考訳（メタデータ） (2026-06-30T04:33:18Z)
• AdaMem: Learning What to Remember for Personalized Long-Horizon LLM Agents [79.03892269184145]
  我々は、記憶に値するものはロール依存であり、 textbfAdaMem (Adaptive Memory)を提案する。 AdaMemは、メモリ容量をtextbf9%削減しながら、均一なMem0ベースライン上で textbf+9.0% まで精度を向上する。
  論文  参考訳（メタデータ） (2026-06-19T06:35:52Z)
• Leyline: KV Cache Directives for Agentic Inference [0.11099872871193028]
  レイラインはエージェント編集のためのサーブサイドプリミティブである。 宣言的ディレクティブ4タプルは、編集対象と位置正当性を維持する方法とを分離する。 同じインターフェースを介してルーティングされる10行のトランケーション規則は、デバッグジャムにおいてエージェントの解率+14.3 ppを上昇させる。
  論文  参考訳（メタデータ） (2026-05-31T07:13:15Z)
• Is Agent Memory a Database? Rethinking Data Foundations for Long-Term AI Agent Memory [3.263386002412657]
  長時間稼働するAIエージェントは永続的なメモリを必要とする。 現在のエージェントメモリシステムとデータベースパラダイムはメモリを記憶として扱う。 私たちのビジョンでは、長期エージェントメモリは新しいデータ管理ワークロードです。
  論文  参考訳（メタデータ） (2026-05-25T18:22:42Z)
• Gated DeltaNet-2: Decoupling Erase and Write in Linear Attention [81.79922329750674]
  リニアアテンションは、ソフトマックスアテンションのキャッシュを固定サイズのリカレント状態に置き換え、シーケンシャルミキシングを線形時間に短縮し、定メモリに復号する。 我々はGated DeltaNet-2を紹介し、Gated DeltaNetとKim Delta Attentionの両方を一般化する。 Gated DeltaNet-2は、言語モデリング、常識推論、検索にまたがるMamba Gated DeltaNet、KDA、Mamba-3の変種の中で、最も優れた総合的な結果を得る。
  論文  参考訳（メタデータ） (2026-05-21T17:44:57Z)
• GradMem: Learning to Write Context into Memory with Test-Time Gradient Descent [10.16391634040356]
  サンプルごとのテスト時間最適化を通じてコンテキストをメモリに書き込むGradMemを紹介します。 GradMemは、モデルレベルの自己教師付きコンテキスト再構築損失を明示的に最適化する。 bAbIやSQuADなど、自然言語タスクの競合的な結果が得られる。
  論文  参考訳（メタデータ） (2026-03-14T10:17:33Z)
• UPCORE: Utility-Preserving Coreset Selection for Balanced Unlearning [57.081646768835704]
  ユーザ仕様や法的フレームワークは、しばしば、大きな言語モデル(LLM)を含む、事前訓練されたモデルから削除される情報を必要とする。 これは、既に訓練済みのモデルからデータポイントのセットを削除または"偽造"する必要がある。 本研究では,非学習時の副次的損傷を軽減するための手法に依存しないデータ選択フレームワークUPCOREを提案する。
  論文  参考訳（メタデータ） (2025-02-20T22:51:10Z)
• Language Modeling with Editable External Knowledge [90.7714362827356]
  本稿では,新たな文書取得時のモデル動作を改善するERASEを提案する。 ドキュメントを追加するたびに、知識ベースで他のエントリを段階的に削除または書き直します。 7-13%(Mixtral-8x7B)と6-10%(Llama-3-8B)の精度を向上する。
  論文  参考訳（メタデータ） (2024-06-17T17:59:35Z)
• LaMemo: Language Modeling with Look-Ahead Memory [50.6248714811912]
  右側トークンへの漸進的参加により再帰記憶を向上させるLook-Ahead Memory(LaMemo)を提案する。 LaMemoは、メモリ長に比例した追加のオーバーヘッドで、双方向の注意とセグメントの再発を受け入れる。 広く使われている言語モデリングベンチマークの実験は、異なる種類のメモリを備えたベースラインよりも優れていることを示した。
  論文  参考訳（メタデータ） (2022-04-15T06:11:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。