論文の概要: Memory-Managed Long-Context Attention: A Preliminary Study of Editable Request-Local Memory
- arxiv url: http://arxiv.org/abs/2606.28876v1
- Date: Sat, 27 Jun 2026 11:38:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:15.722576
- Title: Memory-Managed Long-Context Attention: A Preliminary Study of Editable Request-Local Memory
- Title（参考訳）: メモリ管理型ロングコンテキストアテンション:編集可能なリクエストローカルメモリの予備的検討
- Abstract要約: メモリ管理型長コンテキストアテンションは、高速なリカレントまたはスパースバックボーンを、明示的な編集可能な要求ローカルメモリスロットから分離する研究ルートである。
構造化された合成タスク、トークン/チャンク/シーケンスブリッジ、生成された自然言語、ローカル凍結モデル診断、純粋な固定状態または純粋なスパースメソッドは、オーバーライト、バージョン、アンチ汚染またはノーライト署名ケースを失敗する。
- 参考スコア（独自算出の注目度）: 0.5371337604556311
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Long-context language models often conflate two different goals: compressing history into an efficient state, and maintaining reliable long-term memory. Linear, recurrent, and sparse attention reduce the cost of processing long sequences, but they do not by themselves specify when a fact should be written, overwritten, protected from distractors, or discarded. We study memory-managed long-context attention, a research route that separates a fast recurrent or sparse backbone from explicit editable request-local memory slots and query-time sparse fallback. Across structured synthetic tasks, token/chunk/sequence bridges, generated natural language, and local frozen-model diagnostics, pure fixed-state or pure sparse methods fail some overwrite, version, anti-pollution, or no-write-signal cases, while a hybrid covers both routes. A small 2,097,152-token mechanism stress test reaches 50/50 pooled accuracy with 2-132 active chunks. A 2.74M-parameter minimal causal event-token model reaches 595/600 with lite write supervision, supporting proof of trainability rather than scale. A six-family frozen-hidden-state bridge reaches 1079/1080 controlled pointer accuracy, but it uses generator-provided integer key IDs and separately encoded canonical key strings; it is an oracle-metadata probe, not open-text entity resolution. Local non-leaderboard RULER 4K diagnostics remain close to full context, whereas a 33-record LongBench v1 16K subset shows that naive lexical selection is not general. The evidence separates three claims: controlled slot lifecycle is feasible, sparse fallback is needed when writes lack future-query signals, and learned open-domain selection remains the main architectural bottleneck. We do not claim a final generative architecture, global slot-trajectory convergence, or systems superiority.
- Abstract（参考訳）: 長いコンテキスト言語モデルは、歴史を効率的な状態に圧縮し、信頼できる長期記憶を維持するという、2つの異なる目標を記述している。
リニア、リカレント、スパースアテンションは、長いシーケンスを処理するコストを低減しますが、事実がいつ書き直され、オーバーライトされ、邪魔者から保護され、破棄されるかは、それ自体が指定しません。
メモリ管理型長コンテキストアテンションは、高速なリカレントまたはスパースバックボーンを、明示的な編集可能な要求ローカルメモリスロットとクエリ時スパースフォールバックから分離する研究ルートである。
構造化された合成タスク、トークン/チャンク/シーケンスブリッジ、生成された自然言語、ローカル凍結モデル診断、純粋な固定状態または純粋なスパースメソッドは、オーバーライト、バージョン、アンチ汚染、ノーライト署名のケースを失敗し、ハイブリッドは両方のルートをカバーする。
微小な2,097,152トンの機構応力試験は、2-132個の活性チャンクで50/50のプール精度に達する。
2.74M口径の最小因果イベントトーケンモデルが595/600に到達し、ライトライトを監督し、スケールよりもトレーニング性を証明する。
6つのファミリーの凍結された状態のブリッジは1079/1080の制御されたポインタ精度に達するが、ジェネレータが提供する整数キーIDと、別々に符号化された標準キー文字列を使用する。
ローカルな非リーダーボードRULER 4K診断は完全な文脈に近づき、33レコードのLongBench v1 16Kサブセットは、単純語彙選択が一般的ではないことを示している。
コントロールされたスロットライフサイクルは実現可能であり、書き込みに将来のクエリ信号が欠如している場合、スパースフォールバックが必要であり、学習されたオープンドメインの選択が主要なアーキテクチャボトルネックのままである。
最終的な生成アーキテクチャ、グローバルスロット軌道収束、システム優位性は主張しない。
関連論文リスト
- EM^2Mem: Event-Centric Multimodal Memory for Large Language Models [52.3165591032625]
本稿では,イベント中心型マルチモーダルメモリフレームワークEM2Memを提案する。
3つの長ビデオQAベンチマークで、EM2Memは最強のメモリベースラインの平均精度を2.0、2.4、および3.7ポイント改善した。
論文 参考訳（メタデータ） (2026-09-01T01:38:41Z) - Ground Truth First: A Longitudinal Evaluation Instrument for Agent Memory, and the Tenure Crossover in Memory-Architecture Rankings [0.0]
シードライフスクリプトサンプリング器は、テキストが存在する前に、有効間隔のボラティリティクラスとソースチャネルの事実を出力する。
検証者は、すべての植えられた事実を確認し、質問はスクリプトから機械的にインスタンス化される。
人工的でフィクション化されたコーパスは、私たちが調査したベンチマークから欠落している特徴を埋め込んでいる。
論文 参考訳（メタデータ） (2026-07-24T04:19:45Z) - MemOps: Benchmarking Lifecycle Memory Operations in Long-Horizon Conversations [50.24315431387575]
ライフサイクル操作のシーケンスとして会話メモリを再構成するベンチマークであるMemOpsを紹介する。
MemOpsは、それぞれのメモリイベントをトリガ、ターゲット、スコープ、状態遷移、エビデンスを指定した構造化トレースで表現する。
長いコンテキスト、検索ベース、パラメトリック、マネージドメモリシステムにわたって、MemOpsはファイナ・アンサーの精度のみを隠蔽する障害モードをアンタングルする。
論文 参考訳（メタデータ） (2026-07-14T15:33:44Z) - ConvMemory v3: A Validity Context Layer for Conversational Memory via Target-Conditioned Relation Verification [0.0]
ConvMemory v3では、この更新エビデンスを検出し、サーフェスする妥当性コンテキスト層が追加されている。
コアメカニズムは、特定のターゲット命題に関する関係判断を条件とする二重証拠ゲートである。
合成マルチホップ検証ベンチマークでは、ゲートの精度は90.12% +/- 1.73である。
論文 参考訳（メタデータ） (2026-06-25T08:36:43Z) - Efficient and Trainable Language Model Test-Time Scaling via Local Branch Routing [65.59464371673623]
Local Branch Routing (LBR)はトークンレベルのテストタイムスケーリングフレームワークである。
小さなローカルなルックアヘッドツリーを拡張し、言語モデルを通じてすべてのサンプルブランチを転送し、軽量ルータを使用してコミットするdeep-1サブツリーを選択する。
LBRにより、各トークン決定は、完全なソリューションレベルの検索を避けながら、ルート次トーケン分布を超えるエビデンスを使用することができる。
論文 参考訳（メタデータ） (2026-06-24T03:42:44Z) - Mitigating Provenance-Role Collapse in Long-Term Agents via Typed Memory Representation [33.47493976010677]
本稿では,ソースモニタリングを構造制約として運用する型付きメモリ中間表現であるMemIRを提案する。
MemIRは、長期記憶を基底原子に書き、生の証拠、検索の手がかり、真理を含む主張を分離する。
LoCoMoとBEAM-100Kの実験は、MemIRが既存のメモリベースラインを一貫して上回ることを示した。
論文 参考訳（メタデータ） (2026-05-25T13:56:31Z) - MemX: A Local-First Long-Term Memory System for AI Assistants [0.0]
我々は、安定性指向の検索設計を備えたAIのためのローカルファーストの長期記憶システムであるMemXを提案する。
MemXは、libとOpenAI互換の組み込みAPI上にRustで実装されており、会話エージェントに対して永続的で検索可能な、説明可能なメモリを提供する。
論文 参考訳（メタデータ） (2026-03-17T06:39:54Z) - S$^3$-Attention:Attention-Aligned Endogenous Retrieval for Memory-Bounded Long-Context Inference [11.779449360037518]
S3-Attentionは,長期コンテキスト処理を注目に順応した内因性検索として扱うメモリファースト推論時フレームワークである。
S3-Attentionは、軽量なスパースオートエンコーダを使用して、トランジェントキーとクエリプロジェクションをトップkスパース機能識別子にデコードする。
単一のストリーミングスキャン中にトークンの位置やスパンにCPUベースの逆インデックスマッピング機能を構築する。
論文 参考訳（メタデータ） (2026-01-25T05:25:22Z) - Short-Context Dominance: How Much Local Context Natural Language Actually Needs? [48.429870236229696]
正確な全文予測を再現するのに必要となる最小コンテキスト長を計測する。
長文文書から1-7kのトークンを持つシーケンスの場合、75-80%は最下位96トークンしか必要としない。
そこで本研究では,実際の次点知識を必要としないMCL(Distributedally Aware MCL)の実践的プロキシについて紹介する。
論文 参考訳（メタデータ） (2025-12-08T22:25:00Z) - On-the-Fly Adaptive Distillation of Transformer to Dual-State Linear Attention [53.22963042513293]
大規模言語モデル(LLM)は、自己アテンションを通じてグローバルトークンの依存関係をキャプチャするが、長い入力に対する計算とメモリコストに直面する。
まず,二状態線形注意(Dual-state linear attention, A)を提案する。これは2つの隠れ状態を保持する設計であり,その1つは,リニアアテンションアーキテクチャの典型的な短距離バイアスを緩和し,リニアアテンションを追尾するものである。
本稿では,DSLA層を段階的に置き換えるオンライン適応蒸留フレームワークであるDSLA-Serveを紹介する。
論文 参考訳（メタデータ） (2025-06-11T01:25:06Z) - LongProc: Benchmarking Long-Context Language Models on Long Procedural Generation [62.03873304893779]
LongProc(Long Procedural Generation)は、Long-context言語モデルを評価するための新しいベンチマークである。
高度に分散した情報と長文生成を統合する必要がある。
我々は,LongProc上の23個のLCLMを3つの難易度で評価し,500,2K,8Kの出力トークンの最大数を示した。
論文 参考訳（メタデータ） (2025-01-09T18:16:55Z) - Training-Free Exponential Context Extension via Cascading KV Cache [49.608367376911694]
カスケードサブキャッシュバッファを利用して,最も関連性の高いトークンを選択的に保持する機構を導入する。
本手法は,1Mトークンのフラッシュアテンションと比較して,プリフィルステージ遅延を6.8倍削減する。
論文 参考訳（メタデータ） (2024-06-24T03:59:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。