論文の概要: The Evolution of Attention in Large Language Models: Mechanisms, Trade-offs, and Emerging Trends

• arxiv url: http://arxiv.org/abs/2609.39661v1
• Date: Wed, 30 Sep 2026 13:03:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.801708
• Title: The Evolution of Attention in Large Language Models: Mechanisms, Trade-offs, and Emerging Trends
• Title（参考訳）: 大規模言語モデルにおける注意の進化:メカニズム、トレードオフ、新しいトレンド
• Abstract要約: 自己アテンションは、LLMにコンテキストへの細粒度でクエリ依存のアクセスを与える。 本調査は, モデル内コンテクストメモリとしての開発状況を解析する。
• 参考スコア（独自算出の注目度）: 51.17628561637134
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-attention gives LLMs fine-grained, query-dependent access to context, but dense token interactions incur quadratic prefill cost and a key--value cache growing with context length. Research thus spans explicit-memory compression, sparse access, recurrent state construction, structured state dynamics, and heterogeneous mechanism composition. This survey analyzes these developments as model-internal contextual memory. We introduce a five-dimensional lens---Memory Representation, Memory Update, Access, Readout, and Integration---describing what is represented, how it changes, what is query-eligible, how it is read, and how readouts form outputs. This lens compares overlapping research lines without imposing one computational model. We reconstruct mechanism-level developments and architectural adoption using 59 release-level records from 14 major model lineages and 11 high-performing open-weight endpoints. First, explicit-memory and recurrent-state methods retain distinct interfaces but increasingly control overlapping memory functions. Second, heterogeneous architectures increasingly coordinate across network depth: layer-wise composition distributes complementary memory processing across representational stages, while cross-layer reuse carries selected memory and routing artifacts forward. Depth thus becomes a dimension along which contextual memory is constructed and managed. Third, these developments motivate a stateful multidimensional memory-routing hypothesis: persistent memory is organized across temporal scope, network depth, substrate type, and representation granularity, while coordinated Sparse Write and Sparse Read determine what is maintained and what contributes to each query. Overall, efficient sequence architecture design increasingly concerns the organization, lifecycle, and selective use of contextual memory rather than an isolated Attention operator.
• Abstract（参考訳）: 自己注意(Self-attention)は、LLMのコンテキストへの細粒度でクエリ依存のアクセスを提供するが、高密度なトークン相互作用は2次プリフィルコストと、コンテキスト長で成長するキー値キャッシュである。 これにより、明示的なメモリ圧縮、スパースアクセス、リカレントステート構築、構造化状態ダイナミクス、異種機構構成にまたがる。 この調査は、これらの発展をモデル内部の文脈記憶として分析する。 メモリリ表現、メモリ更新、アクセス、読み取り、統合の5次元レンズを導入します。 このレンズは、1つの計算モデルを適用せずに重なり合う研究線を比較する。 我々は、主要な14のモデル系統と11のハイパフォーマンスなオープンウェイトエンドポイントから59のリリースレベルレコードを用いて、メカニズムレベルの開発とアーキテクチャの適用を再構築する。 まず、明示的なメモリとリカレントステートのメソッドは、異なるインターフェースを保持するが、重なり合うメモリ関数をますます制御する。 第2に、不均一なアーキテクチャはネットワーク深度をまたいだコーディネートが増加し、レイヤワイド構成は表現段階にまたがって相補的なメモリ処理を分散し、層間再利用は選択したメモリとルーティングアーティファクトを前方に運ぶ。 したがって、深さはコンテキスト記憶が構築され、管理される次元となる。 第3に、これらの開発はステートフルな多次元メモリルーティング仮説を動機付けている: 永続メモリは時間的スコープ、ネットワーク深さ、基板タイプ、表現の粒度にまたがって構成される。 全体として、効率的なシーケンスアーキテクチャ設計は、分離されたアテンション演算子ではなく、コンテキストメモリの組織、ライフサイクル、選択的な使用をますます懸念している。

関連論文リスト

• Beyond Memory Construction: Rethinking Memory Access for LLM-based Conversational Agents [15.388928886536716]
  Threaderは、メモリ構築から、生のインタラクションに対する効率的な構造認識アクセスへと焦点を移すメモリシステムである。 応答精度とエビデンスリコールを継続的に改善し、メモリ構築オーバーヘッドを大幅に削減する。
  論文  参考訳（メタデータ） (2026-09-27T05:07:21Z)
• Beyond Retrieval: Progressive Latent Memory Evolution for Streaming Video Understanding [64.34948094316685]
  latentStreamは、ストリーミングメモリをストア・アンド・レトリーブから検索・インターナライズへシフトする、プログレッシブな潜伏型ワーキングメモリフレームワークです。 LatentStreamは、既存のオンラインおよびオフラインビデオベンチマークで、最先端の新たな結果を達成する。
  論文  参考訳（メタデータ） (2026-09-03T17:28:14Z)
• Memory for Large Language Models [18.001409529004807]
  大規模言語モデルにおけるメモリの体系的・アーキテクチャ中心の分類法を提案する。 メモリ書き込み、ルーティング、状態遷移、統合を規定する粒度のメカニズムを定式化する。 この統一された視点は、計算に結合したメモリと独立して対応可能なメモリの間の概念的境界を解明する。
  論文  参考訳（メタデータ） (2026-07-28T07:34:53Z)
• Graph-based Agent Memory: Taxonomy, Techniques, and Applications [63.70340159016138]
  メモリはLarge Language Model(LLM)ベースのエージェントの中核モジュールとして出現する。 さまざまなパラダイムの中でグラフは、関係依存をモデル化する本質的な能力のため、エージェントメモリの強力な構造として際立っている。 本調査では, エージェントメモリの総合的な検討について, グラフベースの観点から述べる。
  論文  参考訳（メタデータ） (2026-02-05T13:49:05Z)
• The AI Hippocampus: How Far are We From Human Memory? [77.04745635827278]
  インプリシットメモリは、事前訓練されたトランスフォーマーの内部パラメータに埋め込まれた知識を指す。 明示メモリは、動的でクエリ可能な知識表現でモデル出力を増大させるように設計された外部ストレージと検索コンポーネントを含んでいる。 エージェントメモリは、自律エージェント内に永続的、時間的に拡張されたメモリ構造を導入する。
  論文  参考訳（メタデータ） (2026-01-14T03:24:08Z)
• Memory Matters More: Event-Centric Memory as a Logic Map for Agent Searching and Reasoning [55.251697395358285]
  大規模言語モデル(LLM)は、環境を推論し、計画し、相互作用するインテリジェントエージェントとして、ますます多くデプロイされている。 長期のシナリオに効果的にスケールするには、そのようなエージェントの重要な機能は、過去の経験を保持し、整理し、取り出すことができるメモリメカニズムである。 イベント理論にインスパイアされたイベント中心のメモリフレームワークであるCompassMemを提案する。
  論文  参考訳（メタデータ） (2026-01-08T08:44:07Z)
• CAM: A Constructivist View of Agentic Memory for LLM-Based Reading Comprehension [55.29309306566238]
  現在のLarge Language Models (LLM) は、長文文書を解釈する際に圧倒的な情報量に直面している。 この課題は、バニラLSMを自律的な読み出しエージェントに高めることができる凝集性メモリモジュールの必須性を高める。 我々はジャン・ピアジェの構成主義理論(Constructivist Theory)からインスピレーションを得て、エージェントメモリの3つの特性(構造化スキーマ、フレキシブルな同化、動的調節)を表現した。
  論文  参考訳（メタデータ） (2025-10-07T02:16:30Z)
• A Cognitive Architecture for Machine Consciousness and Artificial Superintelligence: Thought Is Structured by the Iterative Updating of Working Memory [0.0]
  本稿では、コンピュータ内での人間的な思考プロセスのシミュレートのための分析フレームワークを提供する。 注意と記憶がどのように構造化され、更新され、思考ストリームへの連想的な追加を探すために利用されるかを記述する。
  論文  参考訳（メタデータ） (2022-03-29T22:28:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。