論文の概要: Memory Attention

• arxiv url: http://arxiv.org/abs/2609.28399v1
• Date: Wed, 23 Sep 2026 17:04:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:18.129739
• Title: Memory Attention
• Title（参考訳）: メモリアテンション
• Abstract要約: コンテクスト情報によって補完された場合、トークンインデックスメモリが専用値投影を置き換えることができるかどうかを検討する。 本稿では,レイヤ固有のトークンメモリとコンテキストキーを組み合わせた値を生成するメモリアテンション(MA)を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language models typically construct attention values from contextual hidden states, even when some of their content may be reusable across contexts. We investigate whether token-indexed memory can replace the dedicated value projection when complemented by contextual information. We propose Memory Attention (MA), which forms values by combining layer-specific token memory with contextual keys. The memory supplies token-specific representations, while the keys preserve context dependence. At inference, normalization can be folded into the memory tables, reducing value construction to lookup and addition. Token-indexed retrieval also enables CPU offloading with prefetching, reducing GPU parameter storage. Under matched training token budgets and with additional memory parameters, experiments across attention configurations show improved language modeling and average downstream performance.
• Abstract（参考訳）: 言語モデルは通常、コンテキスト全体にわたって再利用可能なコンテンツであっても、コンテキストに隠された状態から注意値を構築する。 コンテクスト情報によって補完された場合、トークンインデックスメモリが専用値投影を置き換えることができるかどうかを検討する。 本稿では,レイヤ固有のトークンメモリとコンテキストキーを組み合わせた値を生成するメモリアテンション(MA)を提案する。 メモリはトークン固有の表現を提供し、キーはコンテキスト依存を保存する。 推論では、正規化をメモリテーブルに折り畳むことで、ルックアップと加算の値構成を削減できる。 Token-indexed検索はまた、プリフェッチによるCPUオフロードを可能にし、GPUパラメータストレージを削減している。 一致したトレーニングトークン予算と、追加のメモリパラメータの下で、アテンション構成による実験は、言語モデリングの改善と平均ダウンストリームパフォーマンスを示している。

関連論文リスト

• MoME: Mixture-of-Memory Embeddings for Context-Aware Sparse Lookup [35.92693145413963]
  コンテクスト対応メモリ機構であるMixture of Memory Embeddings (MoME)を紹介する。 MoMEは、各トークンの単一のメモリ行をMスロットの混合で置き換え、隠れた状態の上の学習ゲートを使用して、各位置でどのスロットを読むかを選択する。 ナノチャット、Llama-3/MobileLLM、Qwen3バックボーンの事前トレーニング実験では、MoMEはバリュー埋め込み、ビグラム、STEMベースラインよりも改善されている。
  論文  参考訳（メタデータ） (2026-09-14T07:01:52Z)
• Mechanistic Attention Guidance for Agent Memory Refinement [32.57216046158823]
  検索ヘッドアテンションは,セグメントレベルのメモリ使用量を明らかにするためのメカニスティック信号を提供する。 本稿では,注意による利用パターンを用いてセグメントレベルのメモリ更新を誘導するフレームワークであるAttention-Guided Memory Refinement (AGMR)を提案する。
  論文  参考訳（メタデータ） (2026-07-20T07:17:50Z)
• PermaVid: Consistent Video Generation Across Edits via Disentangled Context Memory [80.58558679163197]
  PermaVidは、空間コンテキストを意味的な外観と幾何学的構造に分解するマルチモーダルなコンテキストメモリ上に構築された新しいフレームワークである。 本手法は,編集後の長期的セマンティクスと構造的整合性を強く維持し,最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2026-06-15T09:20:32Z)
• Memora: A Harmonic Memory Representation Balancing Abstraction and Specificity [26.512226057571947]
  Memoraは、抽象性と特異性の構造的バランスをとるハーモニックメモリ表現である。 本稿では,LoCoMoベンチマークとLongMemEvalベンチマークでMemoraが新たな最先端性を確立し,メモリスケールとしての検索妥当性と推論の有効性を示す。
  論文  参考訳（メタデータ） (2026-02-03T09:44:43Z)
• Quantifying Memory Utilization with Effective State-Size [73.52115209375343]
  「我々は、テキスト・メモリ利用の尺度を策定する。」 この計量は、textitinput-invariant および textitinput-variant linear operator を持つシステムの基本的なクラスに適合する。
  論文  参考訳（メタデータ） (2025-04-28T08:12:30Z)
• LaMemo: Language Modeling with Look-Ahead Memory [50.6248714811912]
  右側トークンへの漸進的参加により再帰記憶を向上させるLook-Ahead Memory(LaMemo)を提案する。 LaMemoは、メモリ長に比例した追加のオーバーヘッドで、双方向の注意とセグメントの再発を受け入れる。 広く使われている言語モデリングベンチマークの実験は、異なる種類のメモリを備えたベースラインよりも優れていることを示した。
  論文  参考訳（メタデータ） (2022-04-15T06:11:25Z)
• Entropic Associative Memory for Manuscript Symbols [0.0]
  マニュアルシンボルは、連想的で分散されているが宣言的でないエントロピーデジタルメモリから保存、認識、検索することができる。 完全情報と不完全情報の両方を用いてオブジェクトを検索するエントロピー連想メモリの動作特性について考察する。
  論文  参考訳（メタデータ） (2022-02-17T02:29:33Z)
• Memory-Based Semantic Parsing [79.48882899104997]
  文脈依存型セマンティック解析のためのメモリベースモデルを提案する。 逐次的ユーザ発話の累積的意味を維持することにより,メモリ管理を行うコンテキストメモリコントローラを学習する。
  論文  参考訳（メタデータ） (2021-09-07T16:15:13Z)
• Video Object Segmentation with Episodic Graph Memory Networks [198.74780033475724]
  セグメント化モデルを更新する学習」という新しいアイデアに対処するために,グラフメモリネットワークが開発された。 我々は、完全に連結されたグラフとして構成されたエピソードメモリネットワークを利用して、フレームをノードとして保存し、エッジによってフレーム間の相関をキャプチャする。 提案したグラフメモリネットワークは、一発とゼロショットの両方のビデオオブジェクトセグメンテーションタスクをうまく一般化できる、巧妙だが原則化されたフレームワークを提供する。
  論文  参考訳（メタデータ） (2020-07-14T13:19:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。