論文の概要: Double-Take: Improving Capacity, Binding, and Selectivity In Long-Context Within Bidirectional Memory
- arxiv url: http://arxiv.org/abs/2610.13073v1
- Date: Fri, 09 Oct 2026 06:31:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.427125
- Title: Double-Take: Improving Capacity, Binding, and Selectivity In Long-Context Within Bidirectional Memory
- Title（参考訳）: ダブルテイク:双方向記憶における長期文脈における容量、結合、選択性の向上
- Abstract要約: 状況が大きくなるにつれて、固定サイズのメモリは多くの関連性を保持し、位置をまたいで情報を接続し、関連する構造を保持する必要がある。
大規模テストタイムトレーニング(TTT)においてこの問題を調査し、単一ステップ書き込みが干渉を蓄積し、キャパシティを制限し、自己連想書き込みがクロスポジションバインディングを形成することができないという2つの基本的な障害を同定する。
複数ステップのアンピン付き更新とクロスポジションミキシングでこれらの障害を修復するDouble-Take(DT)を導入し、選択的保持のために双方向の変更に敏感な書き込みを追加する。
- 参考スコア（独自算出の注目度）: 1.7534486934148557
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Processing a long sequence does not guarantee that distant information remains usable. As context grows, a fixed-size memory must retain many associations, connect information across positions, and preserve relevant structure without being overwhelmed by everything it observes. These are distinct requirements: a memory may store more information without representing the relationships needed for retrieval, and it may transport those relationships without preserving the ones that matter. Thus, the challenge is not simply extending context length, but constructing a memory that remains usable as context grows. We study this problem in large-chunk test-time training (TTT) and identify two basic failures: single-step writes accumulate interference, limiting capacity, while self-associative writes cannot form cross-position bindings. We introduce Double-Take (DT), which repairs these failures with multi-step unpinned updates and cross-position mixing, and adds bidirectional change-sensitive writes for selective retention. Capacity alone leaves end-to-end recall at the $0.10$ chance floor; adding binding raises it to $0.92$. Trained only on $32\,\mathrm{kb}$ genomic contexts, DT reaches $0.927$ AUROC at $131\,\mathrm{kb}$ and $0.856$ near $1\,\mathrm{Mb}$, while transferring zero-shot from human to mouse. Together, these results identify capacity, binding, and selectivity as three requirements for usable long-range memory.
- Abstract（参考訳）: 長いシーケンスを処理することは、遠い情報が引き続き使用できることを保証しない。
状況が大きくなるにつれて、固定サイズのメモリは多くの関連性を保持し、位置をまたいで情報を接続し、関連する構造を保持する必要がある。
メモリは検索に必要な関係を表現せずにより多くの情報を格納することができ、重要な関係を保存せずにそれらの関係を転送することができる。
したがって、課題は単にコンテキスト長を拡張することではなく、コンテキストが大きくなるにつれて使用可能なメモリを構築することである。
大規模テストタイムトレーニング(TTT)においてこの問題を調査し、単一ステップ書き込みは干渉を蓄積し、容量を制限し、自己連想書き込みはクロスポジションバインディングを形成することができないという2つの基本的な障害を同定する。
複数ステップのアンピン付き更新とクロスポジションミキシングでこれらの障害を修復するDouble-Take(DT)を導入し、選択的保持のために双方向の変更に敏感な書き込みを追加する。
キャパシティだけで0.10ドルのチャンスフロアにエンド・ツー・エンドのリコールを残し、バインディングを追加すると0.92ドルになる。
3.2\,\mathrm{kb}$ genomic contextsでのみトレーニングされ、DTは131\,\mathrm{kb}$で0.927$ AUROC、約1\,\mathrm{Mb}$で0.856$に達する。
これらの結果は、使用可能な長距離メモリの3つの要件として、キャパシティ、バインディング、選択性を識別する。
関連論文リスト
- Test-Time Memory Construction [50.916768004131505]
大きな言語モデル(LLM)は、長いインタラクション履歴に関する質問に答えるのに苦労しています。
既存のメモリシステムは通常、ユーザクエリが観測される前に、オフラインで洗練されたメモリ表現を構築し維持する。
テスト時間メモリ構築フレームワークであるT$2$Memを提案する。
論文 参考訳（メタデータ） (2026-10-09T10:24:51Z) - Keepsake: Selective Spatial Memory for Long-Horizon Video Generation [57.166020875486474]
ロングホライゾンカメラ制御ビデオ生成は、シーンの一貫性を維持するために永続メモリに依存している。
既存のシステムは、この一貫性を達成するための2つの戦略に従う。
固定容量空間記憶のためのオンライントレーニングフリーコントローラであるKeepsakeを紹介する。
論文 参考訳（メタデータ） (2026-10-05T16:02:50Z) - Dual-Grained Agent Memory and Shapley Context Attribution for Multimodal Agentic Learner [55.80248281761638]
マルチモーダルな大言語モデル (MLLM) は、科学的および数学的推論において、印象的な認識を提供する。
本稿では,DG-Memを提案する。DG-Memは,トレーニングタイムのロールアウトから一度構築した外部記憶メモリと,テスト時に読み取り専用に相談することで,凍結したMLLMを拡張可能なエージェントメモリフレームワークである。
論文 参考訳（メタデータ） (2026-08-24T13:56:01Z) - PI-Mem: Pushing Long-Context Reasoning to 3.6M Tokens with Parallel-Iterative Memory [30.188604861823823]
本稿では,チャンクの並列処理機構であるPI-Memを提案する。
我々は,HotpotQAベンチマークにおいて,最大360万トークンのPI-MemをQwen3.5-35B-A3B,Qwen2.5-7Bで評価した。
論文 参考訳（メタデータ） (2026-08-04T02:59:16Z) - Naju: A Native Discrete State-Space Model with Independent Retention and Writing for Long-Sequence Memory [7.4750926696730895]
Najuはリカレント更新を、スキーマ的に$x_n = f_nodot x_n-1 + i_nodot(B_n u_n)$に分解する。
ナジュは、強い長距離メモリと競争力や優れたパフォーマンスを一貫して組み合わせている。
論文 参考訳（メタデータ） (2026-07-23T07:34:07Z) - SAM: State-Adaptive Memory for Long-Horizon Reasoning Agent [51.274445160155864]
ロングホライゾンのエージェント推論は、思考、ツールコール、観察、部分的な結論を含む長い相互作用履歴を通して行動するために大きな言語モデルを必要とする。
既存のアプローチでは、インタラクション履歴の切り抜き、短いサロゲートに圧縮、あるいは再利用のために選択した部分を取得することで、この問題に対処している。
我々は、インテント駆動リコールのための生のトラジェクトリページを保持しながら、継続的なインタラクションをコンパクトなメモリキューに統合するスタンドアロンフレームワークであるState-Adaptive Memoryを提案する。
論文 参考訳（メタデータ） (2026-05-23T08:37:16Z) - Persistent Memory Through Triple-Loop Consolidation in a Non-Gradient Dissipative Cognitive Architecture [0.0]
本稿では,三重ループ統合サイクルを通した非段階的な永続メモリ機構であるDeep Memoryを紹介する。
我々は、Mixture-of-Experts (MoE) ゲーティングによる個別のエキスパートルーティングがDMの因果的前提であることを示した。
以上の結果から, DMは, 海馬統合と機能的並行性を有する非段階認知システムにおいて, 持続記憶の機構として確立された。
論文 参考訳（メタデータ） (2026-03-28T08:29:48Z) - Memory Caching: RNNs with Growing Memory [56.25483647131372]
メモリ状態(隠された状態)のチェックポイントをキャッシュすることで、リカレントモデルを強化する技術であるメモリキャッシュ(MC)を導入する。
我々は,ゲートアグリゲーションとスパース選択機構を含むMCの4つの変種を提案し,それらが線形メモリモジュールおよび深部メモリモジュールに与える影響について議論する。
その結果,トランスフォーマーの精度は高いが,我々のMC変種は競争性能を示し,トランスフォーマーとのギャップを埋め,最先端のリカレントモデルよりも優れた性能を示した。
論文 参考訳（メタデータ） (2026-02-27T18:53:41Z) - Remember Me, Refine Me: A Dynamic Procedural Memory Framework for Experience-Driven Agent Evolution [52.76038908826961]
我々は静的ストレージと動的推論のギャップを埋めるため、$textbfReMe$ ($textitRemember Me, Refine Me$)を提案する。
ReMeは3つのメカニズムを通じてメモリライフサイクルを革新する: $textitmulti-faceted distillation$, きめ細かい経験を抽出する。
BFCL-V3とAppWorldの実験では、ReMeが新しい最先端のエージェントメモリシステムを確立している。
論文 参考訳（メタデータ） (2025-12-11T14:40:01Z) - Just read twice: closing the recall gap for recurrent language models [41.94430033985774]
情報リコールの硬さは,集合不整合性と呼ばれる問題の硬さに還元されることを示す。
本稿では,JRT-Promptを提案する。
また、プロセスプロンプトに非因果プレフィックス-線形アテンションを使用し、99%のトランスフォーマー品質を提供するJRT-RNNを提案する。
論文 参考訳（メタデータ） (2024-07-07T19:55:09Z) - $\infty$-former: Infinite Memory Transformer [5.262376184578169]
コンテクストの長さによって計算量が増加するため、トランスフォーマーは長いコンテクストに参加する際に苦労する。
本稿では,バニラ変圧器を長期メモリで拡張した$infty$-formerを提案する。
論文 参考訳（メタデータ） (2021-09-01T10:51:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。