論文の概要: Write What Matters: Disentangling Token Selection from Slot Allocation in Recurrent Memory

• arxiv url: http://arxiv.org/abs/2610.34180v1
• Date: Sun, 25 Oct 2026 09:33:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.552511
• Title: Write What Matters: Disentangling Token Selection from Slot Allocation in Recurrent Memory
• Title（参考訳）: 重要なことを書く: 繰り返し記憶におけるスロット割り当てからトークン選択を遠ざける
• Abstract要約: 時系列モデルは、以前の情報を保持する必要がある。 完全な注意は過去のトークンを全て保持するが、高価に成長し、リカレントメモリモデルは履歴を線形時間処理のために固定スロットに圧縮する。 Factorized Write Routing (FWR)を導入し、まず各トークンを保存またはスキップし、固定またはトークン適応数のスロットを選択する。
• 参考スコア（独自算出の注目度）: 4.463973085741068
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long-sequence models must retain earlier information. Full attention keeps all past tokens but grows expensive, and recurrent-memory models compress history into fixed slots for linear-time processing. Limited capacity makes writes consequential: distractors can interfere with useful content, while skipped evidence cannot be recalled. Existing multi-slot memories write every token to the same number of slots, merging whether to store it with how many slots to update. We introduce Factorized Write Routing (FWR), which first keeps or skips each token and then chooses a fixed or token-adaptive number of slots. Queries still read all slots. Across ten seeds on two synthetic tasks that query facts after long contexts, we observe a density-dependent reversal. With four slots per write, long-context accuracy favors always writing on dense Feature Recall (0.472 vs 0.337), but learned selective writing on sparse-fact Passkey (0.222 vs 0.048). The tested adaptive rule underperforms fixed allocation under the learned gate on both tasks. A diagnostic oracle given fact labels unavailable at deployment reaches 0.372 on Passkey, showing headroom in filtering distractors. The results suggest avoiding missed writes in information-dense contexts and filtering distractors when they dominate.
• Abstract（参考訳）: 時系列モデルは、以前の情報を保持する必要がある。 完全な注意は過去のトークンを全て保持するが、高価に成長し、リカレントメモリモデルは履歴を線形時間処理のために固定スロットに圧縮する。 傍受者は有用なコンテンツに干渉するが、スキップされた証拠はリコールできない。 既存のマルチスロットメモリは、すべてのトークンを同じ数のスロットに書き込む。 Factorized Write Routing (FWR)を導入し、まず各トークンを保存またはスキップし、固定またはトークン適応数のスロットを選択する。 クエリは依然としてすべてのスロットを読みます。 長いコンテキストの後に事実を問い合わせる2つの合成タスクの10種にわたって、密度依存の逆転を観察する。 書き込み毎に4つのスロットを持つ長文の精度は、常に高密度なFeature Recall (0.472 vs 0.337) で書くことを好んでいるが、スパースファクトのPasskey (0.222 vs 0.048) で選択的な書き込みを学んだ。 テストされた適応ルールは、両方のタスクにおいて学習ゲート下での固定割り当てを過小評価する。 デプロイ時に利用できないファクトラベルの診断オラクルは、Passkey上で0.372に達し、邪魔者をフィルタリングするヘッドルームを示している。 結果は、情報密度のコンテキストにおけるミス書き込みを回避し、それらが支配するときにインタラプタをフィルタリングすることを示唆している。

関連論文リスト

• Recast the Past: Stable Long Video Generation with Full Context Memory [86.51692608974945]
  ReCamは、歴史的潜伏者の局所的なブロックをプロジェクトにグループ化し、それらを高次元の隠れた空間に直接緩和する。 Transformerモデルは、ネイティブな自己アテンションを通じて結果のトークンを使用することを学び、完全な履歴へのブロックレベルアクセスを維持しながら、メモリトークン数を削減します。 評価手法のうち,ReCamは,R2M-Bench上でのVhorizon-Long総合スコア80.1と,競合する静的・シーンの再現性能を最高に達成している。
  論文  参考訳（メタデータ） (2026-10-20T10:27:07Z)
• DuplexLedger: Benchmarking Transactional Memory in Full-Duplex Speech Agents [52.50536965397534]
  フルメモリ音声エージェントは、リスニングと会話を継続的に更新する必要がある。 強い制御とコヒーレントなコヒーレントステートメモリを組み合わせたシステムは存在しない。 本稿では,型付きレトリバーを備えたイベントコントローラACTMemを提案する。
  論文  参考訳（メタデータ） (2026-10-20T03:47:06Z)
• Kathleen Remembers: Length-Invariant One-Shot Recall Without Attention [0.0]
  ノートブック」は、学習されたローカル書き込みゲートを備えた固定キーホログラフィック(HRR)連想ストアを有する。 書き込みトリガード・ドレッシングは、メモリ汚染を8倍の長さで排除する。 実験は事前登録され、シードが報告され、単一のフリー層GPUで再現可能である。
  論文  参考訳（メタデータ） (2026-08-31T07:35:03Z)
• Prefix Sliding for efficient test-time scaling [148.8911065058742]
  テストタイムスケーリングでは、パフォーマンス向上のために追加のテストタイム計算を使用する。 モデルが推論を続けるにつれて、ほとんどの中間推論トークンは重要性を失います。 我々は,前置詞や最後の数千のトークンのウィンドウにない推論中にトークンを破棄するPrefix Slidingを提案する。
  論文  参考訳（メタデータ） (2026-08-26T17:37:15Z)
• Stage-Replay Divergence Follows the KV Cache: Fixed-Prefix Precision Controls and Bidirectional Cache Transplantation [51.56484100374058]
  Stage-replayは中間トークンプレフィックスを再構築し、プレフィックスに最初に到達したデコーダ状態からの継続として、新しいプリフィル継続を処理する。 一致した200itemの実験では、保持されたライブキャッシュと同一の整数トークンのワンショットプリフィルを比較し、両側に正確なレプリカを配置する。
  論文  参考訳（メタデータ） (2026-07-30T16:41:40Z)
• Raven: High-Recall Sequence Modeling with Sparse Memory Routing [88.47618436676748]
  メモリスロットの固定セットを維持する線形時間シーケンスモデルであるRavenを導入し、各ステップにおいて、学習された入力依存ルーティングによって選択されたサブセットのみを減衰・更新する。 リコール集約ベンチマーク全体では、Ravenは以前のリニアタイムベースラインと競合するか、より優れており、SWAとSSMの両方が大幅に低下する強いロングコンテキストリコールを実現している。
  論文  参考訳（メタデータ） (2026-07-28T07:04:32Z)
• Remembering Distinct Items, Not Tokens: A Learnable Dirichlet-Process Cache Between State-Space Models and Attention [0.48342038441006796]
  本稿では,入力が新規である場合にのみスロットを割り当てるスパースキャッシュについて検討する。 固定濃度の静的キャッシュと,最近の新規性率に追従したサプライズ適応変種という2つの形態で開発する。
  論文  参考訳（メタデータ） (2026-07-10T18:28:21Z)
• Memory-Managed Long-Context Attention: A Preliminary Study of Editable Request-Local Memory [0.5371337604556311]
  メモリ管理型長コンテキストアテンションは、高速なリカレントまたはスパースバックボーンを、明示的な編集可能な要求ローカルメモリスロットから分離する研究ルートである。 構造化された合成タスク、トークン/チャンク/シーケンスブリッジ、生成された自然言語、ローカル凍結モデル診断、純粋な固定状態または純粋なスパースメソッドは、オーバーライト、バージョン、アンチ汚染またはノーライト署名ケースを失敗する。
  論文  参考訳（メタデータ） (2026-06-27T11:38:43Z)
• Less Context, More Accuracy: A Bi-Temporal Memory Engine for LLM Agents Where a Lean Retrieved Context Beats the Full History [2.5401434059780468]
  Engramは、バイテンポラルデータモデル上のデュアルプロセスメモリエンジンである。 高速書き込みパスは、クリティカルパスにLSMなしでエピソードを付加する。 ハイブリッドリードパスは、密度、語彙、グラフ、および電流/セイレンス信号を融合する。
  論文  参考訳（メタデータ） (2026-06-05T11:43:56Z)
• LoSA: Locality Aware Sparse Attention for Block-Wise Diffusion Language Models [49.93891888238178]
  ブロックワイド拡散言語モデル(DLM)は任意の順序で複数のトークンを生成し、自動回帰復号パイプラインに代わる有望な代替手段を提供する。 異なるクエリが異なるプレフィックス位置を選択する場合、KVインフレーション問題により、DLM上では裸のスパースアテンションが失敗する。 キャッシュされたプレフィックスアテンション結果を安定したトークンに再利用し、アクティブトークンのみにスパースアテンションを適用するLOSA(Locality-aware Sparse Attention)を提案する。
  論文  参考訳（メタデータ） (2026-04-13T20:53:51Z)
• Selective Memory for Artificial Intelligence: Write-Time Gating with Hierarchical Archiving [0.0]
  パラメトリックアプローチは、選択的な更新を前に、知識を重みに圧縮する。 合成サリエンススコアを用いて、入ってくる知識オブジェクトをフィルタリングする書き込み時間ゲーティングを導入する。
  論文  参考訳（メタデータ） (2026-03-16T23:06:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。