論文の概要: ARM: Attention with Routed-Memory for Learnable Sparse Control

• arxiv url: http://arxiv.org/abs/2609.24417v1
• Date: Mon, 21 Sep 2026 11:11:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:01.261086
• Title: ARM: Attention with Routed-Memory for Learnable Sparse Control
• Title（参考訳）: ARM:学習可能なスパース制御のためのルートメモリによる注意
• Abstract要約: 我々は、新しいKVキャッシュ構造として、ARM(Routed Memory)を用いた注意法を提案する。 ARMは, 固定KVキャッシング方式と比較して, 性能と効率性が優れていることを示す。
• 参考スコア（独自算出の注目度）: 36.55955164910601
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite advances in long-context inference, large language models (LLMs) remain fundamentally limited by the key-value (KV) caching mechanisms that are necessary for stable computation. Techniques such as selective token eviction and pruning have vastly mitigated these issues, but often discard core information to manage the growing cache. In this paper, we propose Attention with Routed Memory (ARM) a novel KV caching structure that introduces a fully differentiable, fixed-size memory system organized as a hierarchical router. Via a Gumbel-Softmax, ARM learns to select memory slots and perform sigmoid-gated updates that softly combine new and stored information, avoiding hard eviction and reducing information loss. By further training a policy to dynamically select varying amounts of memory at inference, ARM adapts its accesses for both simple contexts and inputs that require deeper reasoning, enabling more scalable and effective retrieval on both short- and long-contexts. Experimental results on standard commonsense and long-context reasoning benchmarks demonstrate that ARM achieves superior performance and efficiency compared to fixed KV-caching approaches, while remaining efficient and scalable in terms of both memory and generation latency.
• Abstract（参考訳）: 長文推論の進歩にもかかわらず、大規模言語モデル(LLM)は、安定計算に必要なキー値(KV)キャッシング機構によって、基本的に制限されている。 選択トークンの排除やプルーニングといった技術はこれらの問題を大いに軽減したが、成長するキャッシュを管理するためにコア情報を破棄することが多い。 本稿では,階層型ルータとして構成された完全微分可能な固定サイズのメモリシステムを実現する,新しいKVキャッシュ構造であるAtention with Routed Memory (ARM)を提案する。 Gumbel-Softmaxでは、ARMはメモリスロットの選択を学び、新しい情報と保存された情報をソフトに組み合わせたシグミドゲート更新を実行し、ハード・エヴィジョンを避け、情報損失を減らす。 さらに、推論時に様々な量のメモリを動的に選択するためのポリシーをトレーニングすることで、ARMは、より深い推論を必要とする単純なコンテキストと入力の両方にそのアクセスを適用し、短文と長文の両方でよりスケーラブルで効果的な検索を可能にする。 標準コモンセンスと長期コンテキスト推論ベンチマークの実験結果から、ARMはメモリと生成遅延の両面で効率的かつスケーラブルでありながら、固定KVキャッシングアプローチよりも優れた性能と効率を達成することが示された。

関連論文リスト

• Comparative Characterization of KV Cache Management Strategies for LLM Inference [0.31498833540989407]
  大言語モデル(LLM)を用いた効率的な推論にはキーバリューキャッシュが不可欠である これらのキャッシュは、自己回帰トークン生成時の冗長な計算を最小限にするために必須である。 KVキャッシュの成長は、システムレベルの大きな課題を引き起こしている。
  論文  参考訳（メタデータ） (2026-04-06T16:00:39Z)
• AMA: Adaptive Memory via Multi-Agent Collaboration [54.490349689939166]
  複数の粒度にまたがるメモリ管理に協調エージェントを活用する新しいフレームワークであるAMA(Adaptive Memory via Multi-Agent Collaboration)を提案する。 AMAは、ステート・オブ・ザ・アートのベースラインを著しく上回り、トークンの消費をフルコンテキストの手法と比べて約80%削減する。
  論文  参考訳（メタデータ） (2026-01-28T08:09:49Z)
• DynaKV: Enabling Accurate and Efficient Long-Sequence LLM Decoding on Smartphones [10.813495376006427]
  大規模言語モデル(LLM)は、効率的で効果的な長シーケンスデコードをサポートすることがますます期待されている。 DRAM容量が限られているため、スマートフォン上でのLLM復号化はキー値キャッシュ(KVCache)によって制限される。 我々はDynaKVを提案する。DynaKVはスマートフォン上での長時間デコードにおける精度と効率を両立させる最初の適応KVキャッシュ管理手法である。
  論文  参考訳（メタデータ） (2025-10-20T08:56:02Z)
• Accelerating LLM Inference via Dynamic KV Cache Placement in Heterogeneous Memory System [20.652641518700346]
  大規模言語モデル(LLM)推論は、メモリ帯域幅によってますます制限される。 現代のAIハードウェアは、高速オフパッケージDRAMと高速帯域メモリ(HBM)を統合している。 本研究は,キャパシティ制約下での集積帯域利用を最大化するために,そのようなシステムにまたがる動的KVキャッシュ配置について検討する。
  論文  参考訳（メタデータ） (2025-08-17T19:07:08Z)
• ZSMerge: Zero-Shot KV Cache Compression for Memory-Efficient Long-Context LLMs [15.76582272387931]
  本稿では,効率的なキャッシュ管理のための動的KVキャッシュ圧縮フレームワークZSMergeを提案する。 ZSMergeはメモリ効率と推論速度を無視可能な性能劣化で著しく向上させる。
  論文  参考訳（メタデータ） (2025-03-13T03:36:03Z)
• ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
  大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。 本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。 我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
  論文  参考訳（メタデータ） (2024-07-30T17:59:08Z)
• CORM: Cache Optimization with Recent Message for Large Language Model Inference [57.109354287786154]
  メモリフットプリントを大幅に最小化するKVキャッシュを最適化する革新的な手法を提案する。 KVキャッシュ消去ポリシーであるCORMは、モデル微調整を必要とせずに、推論に必要なキーと値のペアを動的に保持する。 検証の結果,CORMはKVキャッシュの推論メモリ使用量を最大70%削減し,LongBenchの6つのタスクで性能劣化を無視できることがわかった。
  論文  参考訳（メタデータ） (2024-04-24T16:11:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。