Fugu-MT 論文翻訳(概要): How Linear Attention Remembers

論文の概要: How Linear Attention Remembers

arxiv url: http://arxiv.org/abs/2609.33093v1
Date: Sun, 27 Sep 2026 02:02:21 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-06 10:34:41.319518
Title: How Linear Attention Remembers
Title（参考訳）: リニアアテンションの思い出
Abstract要約: 本研究では,メモリシステムとして,固定サイズのリカレントメモリがどのように機能するかを検討する。ファクト固有情報は、集中的かつコンテンツ依存の書き込みを通じて、繰り返しメモリに入る。リカレントレイヤとフルアテンションを組み合わせたハイブリッドアーキテクチャでは、実行時メモリがリコールシフトを直接サポートし、フルアテンションなKV状態になる。
参考スコア（独自算出の注目度）: 5.218306756623912
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Linear attention replaces the growing key--value (KV) cache of standard attention with a fixed-size recurrent state, substantially reducing memory growth with context length. This efficiency, however, changes how past information is stored: many tokens must share and repeatedly update the same memory. We study how this recurrent state functions as a memory system. Using an analytical decomposition together with controlled causal interventions in pretrained GLA and GDN models, we trace how recalled information is written, retained, and later accessed. We find that fact-specific information enters recurrent memory through concentrated, content-dependent writes and is later accessed through concentrated query-time read pathways. Multiple facts can remain selectively accessible within the same state, yet their internal representations exhibit cross-fact causal coupling rather than independent KV-like storage. As memory load increases, both recall and targeted editability degrade, whereas elapsed context alone has a substantially smaller effect within the tested regime. Causal interventions on subsequent writes further show that interference is shaped by their overlap with existing memory. Finally, in hybrid architectures that combine recurrent layers with full attention, the runtime memory directly supporting recall shifts predominantly to the full-attention KV state. Together, these results reveal how fixed-size recurrent memory supports selective recall despite shared storage, while exposing the interference and capacity limits that distinguish it from token-addressable KV memory.
Abstract（参考訳）: リニアアテンションは、標準アテンションのキー値(KV)キャッシュを固定サイズのリカレント状態に置き換え、コンテキスト長によるメモリ成長を大幅に減少させる。しかし、この効率性は過去の情報の保存方法を変える。多くのトークンは共有し、同じメモリを何度も更新しなければならない。この再帰状態がメモリシステムとしてどのように機能するかを考察する。事前学習したGLAおよびGDNモデルにおける因果的介入を制御した解析的分解を用いて、どのようにリコールされた情報が書き起こされ、保持され、後にアクセスされたかを追跡する。ファクト固有情報は、集中的、コンテンツ依存の書き込みを通じて繰り返しメモリに入り、その後、集中的なクエリ時読み込み経路を介してアクセスされる。複数の事実は、同じ状態の中で選択的にアクセス可能であるが、内部表現は独立したKVのようなストレージではなく、クロスファクト因果結合を示す。メモリ負荷が増加するにつれて、リコールとターゲットの編集性の両方が低下する一方、経過したコンテキストだけではテストされたレシエーション内では影響が著しく小さい。後続の書き込みに対する因果的介入は、干渉が既存のメモリとの重複によって形成されることを示す。最後に、リカレントレイヤとフルアテンションを組み合わせたハイブリッドアーキテクチャでは、実行時メモリがリコールシフトを直接サポートし、フルアテンションなKV状態になる。これらの結果は、共有ストレージにもかかわらず、固定サイズのリカレントメモリが選択的リカレントリコールをサポートする一方で、トークン対応のKVメモリと区別する干渉とキャパシティの制限を明らかにしている。

関連論文リスト

Retrieval-Driven Memory Reconsolidation for Long-Term LLM Agents [39.55670043123564]
既存のメモリシステムは、新しい情報が到着したときにメモリを更新する。検索フィードバックは、将来のアクセスのためにメモリを再編成するために利用されることはめったにない。 LLMエージェントの長期記憶を継続的に進化させるフレームワークである textbfREALM を提案する。
論文参考訳（メタデータ） (2026-09-13T05:17:37Z)
Harness the Memory: A Holistic Evaluation of Memory Substrates in Memory Agents [97.19033877543522]
本稿では,メモリ拡張剤のメモリ基板の制御ハーネス評価について述べる。統一されたハーネスの下で26のパフォーマンスと効率のメトリクスを計測する。これらの知見は、アダプティブエージェントメモリシステムに必要なコンポーネントとして、基質ルーティングを動機付けている。
論文参考訳（メタデータ） (2026-08-15T03:29:48Z)
Controlled Memory Interference in Continual LLM Agents [19.630594179909156]
長期記憶により、AIエージェントはセッション間の連続性を維持し、振る舞いをパーソナライズし、蓄積された経験を通じて進化することができる。既存のシステムは、主にメモリ構築と関連性に基づく検索を強調しているが、いくつかの記憶は、状態、時間的妥当性、権限において異なるが、同時に関連している。我々は,異なるメモリ関係下でのエージェントメモリの進化を研究するための,制御された診断・データ生成フレームワークである制御型メモリ干渉(CMI)を紹介する。
論文参考訳（メタデータ） (2026-08-07T09:46:19Z)
MemOps: Benchmarking Lifecycle Memory Operations in Long-Horizon Conversations [50.24315431387575]
ライフサイクル操作のシーケンスとして会話メモリを再構成するベンチマークであるMemOpsを紹介する。 MemOpsは、それぞれのメモリイベントをトリガ、ターゲット、スコープ、状態遷移、エビデンスを指定した構造化トレースで表現する。長いコンテキスト、検索ベース、パラメトリック、マネージドメモリシステムにわたって、MemOpsはファイナ・アンサーの精度のみを隠蔽する障害モードをアンタングルする。
論文参考訳（メタデータ） (2026-07-14T15:33:44Z)
Memory is Reconstructed, Not Retrieved: Graph Memory for LLM Agents [51.30250860677378]
本稿では,連想記憶グラフとアクティブな再構成機構を組み合わせたフレームワークであるMRAgentを提案する。 Cue-Tag-Contentグラフ上で実行することで,メモリアクセスに直接推論を統合する。 LoCoMoベンチマークとLongMemEvalベンチマークの実験は、強いベースラインよりも大幅に改善されている。
論文参考訳（メタデータ） (2026-06-04T11:29:46Z)
MemGuard: Preventing Memory Contamination in Long-Term Memory-Augmented Large Language Models [56.31411457917676]
本稿では,メモリ構築と検索において,機能的メモリ境界を保存するタイプアウェアメモリフレームワークであるMemGuardを紹介する。幻覚と長期会話のベンチマーク全体で、MemGuardはメモリの信頼性を最大28.27%向上し、メモリトークンは以前の方法より5.8倍少ない。
論文参考訳（メタデータ） (2026-05-27T06:04:19Z)
RecMem: Recurrence-based Memory Consolidation for Efficient and Effective Long-Running LLM Agents [16.625864201773343]
RecMemは、受信するインタラクションをサブ意識のメモリ層に格納し、軽量な埋め込みモデルを使用してエンコードする。実験により、RecMemは3つのSOTAメモリシステムのメモリ構築トークンコストを最大87%削減し、精度を上回ります。
論文参考訳（メタデータ） (2026-05-15T15:17:36Z)
Neuromem: A Granular Decomposition of the Streaming Lifecycle in External Memory for LLMs [31.958776309037546]
我々は、インターリーブされた挿入・検索プロトコルの下で外部メモリモジュールをベンチマークするスケーラブルなテストベッドであるNeuromemを紹介する。メモリが丸ごと増大するにつれて、パフォーマンスは一般的に低下し、時間関連のクエリは依然として最も難しいカテゴリです。
論文参考訳（メタデータ） (2026-02-15T02:53:37Z)
FlashMem: Distilling Intrinsic Latent Memory via Computation Reuse [4.210760734549566]
FlashMemは、計算再利用を通じて、過渡的推論状態から直接固有のメモリを蒸留するフレームワークである。実験によると、FlashMemは5倍の推論遅延を減らしながら、重いベースラインのパフォーマンスと一致している。
論文参考訳（メタデータ） (2026-01-09T03:27:43Z)
Agentic Learner with Grow-and-Refine Multimodal Semantic Memory [50.81667005063605]
ViLoMemは、コンパクトなスキーマベースのメモリを構築するデュアルストリームメモリフレームワークである。視覚的障害パターンと論理的推論エラーを符号化し、MLLMが成功し失敗した経験から学ぶことを可能にする。
論文参考訳（メタデータ） (2025-11-26T18:55:08Z)
Kanerva++: extending The Kanerva Machine with differentiable, locally block allocated latent memory [75.65949969000596]
エピソディックメモリとセマンティックメモリは、人間のメモリモデルの重要なコンポーネントです。我々は、エピソードメモリとセマンティックメモリのギャップを埋める新しい原理ベイズメモリ割り当てスキームを開発しました。この割り当て方式がメモリ条件画像生成の性能を向上させることを実証する。
論文参考訳（メタデータ） (2021-02-20T18:40:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。