論文の概要: Move the Query, Not the Cache: Characterizing Cross-Instance Latent Attention Redistribution Across GPU Fabrics

• arxiv url: http://arxiv.org/abs/2606.01502v1
• Date: Sun, 31 May 2026 23:53:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:29.737757
• Title: Move the Query, Not the Cache: Characterizing Cross-Instance Latent Attention Redistribution Across GPU Fabrics
• Title（参考訳）: クエリの移動、キャッシュではなく:GPUファブリック間のクロスインスタンス遅延注意再配布の特徴
• Authors: Bole Ma, Jan Eitzinger, Harald Köstler, Gerhard Wellein,
• Abstract要約: Multi-head Latent Attentionは算術を逆転し、各トークンのキーと値を1つの狭いベクトルに圧縮する。 実マルチノードH100クラスタ上でのクロスインスタンスMLAの注意を特徴付ける。
• 参考スコア（独自算出の注目度）: 1.081571058570587
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Frontier LLMs increasingly decide what a query attends to with a sparse-attention indexer that picks a few KV-cache blocks per query: attention's unit is now a small, reusable chunk. Agentic workloads hammer it: many sub-agents query one large codebase, reusing the same blocks. When that corpus outgrows one GPU it is partitioned across instances, so a query and the blocks it selects often sit on different GPUs: answering it means attention across instances. The reflex of prior cross-instance KV systems is to move the cache: pull the selected blocks to the requester. Multi-head Latent Attention inverts the arithmetic, compressing each token's key and value into one narrow vector, so a routed query row is only ~1 KB, smaller than the chunk it attends; routing the query is then often cheaper than moving the cache. Which primitive wins, over which fabric and request shape, is uncharted, least of all on device-initiated RDMA that makes per-request cross-node transfers cheap. We characterize cross-instance MLA attention on a real multi-node H100 cluster, distilling two reusable artifacts: a topology-aware cost model (probe / transfer / compute / return / merge) and a closed-form route/fetch/local predicate, whose constants we measure on real IBGDA, where the model tracks batched round-trips to within ~7%. At decode it routes the query, trading the cost of moving the cache (a ~3 ms re-adaptation splice for a contiguous chunk, or a scattered gather under selection) for a tens-of-microsecond round trip, and picks the fabric by probe latency, not peak bandwidth. We instantiate the cost model and predicate for MLA, but neither is MLA-specific: they apply wherever compression or sparse selection shrinks attention to small chunks (DeepSeek-V3.2, V4, and GLM-5.1 today). Extending them to a new architecture requires measuring just two coefficients: the routed payload and fetch's move-the-cache cost.
• Abstract（参考訳）: Frontier LLMは、クエリ毎に数ブロックのKV-cacheブロックを選択するスパースアテンションインデクサで、クエリが何を処理するかをますます決定します。 多くのサブエージェントがひとつの大きなコードベースに問い合わせ、同じブロックを再利用します。 コーパスが1つのGPUを上回ると、インスタンス間でパーティショニングされるため、クエリとそれが選択するブロックは、しばしば異なるGPU上に置かれる。 以前のクロスインスタンスKVシステムの反射はキャッシュを移動させることである。 マルチヘッド遅延注意(Multi-head Latent Attention)は演算を反転させ、各トークンのキーと値を1つの狭いベクトルに圧縮する。 どのプリミティブな勝利、どのファブリックとリクエストの形状が、少なくとも、要求毎のノード転送を安くするデバイス初期RDMAで、チャージされない。 実マルチノードH100クラスタ上でのクロスインスタンスMLAの注意を特徴付け、トポロジ対応コストモデル(プローブ/転送/計算/戻り/マージ)とクローズド形式のルート/フェッチ/ローカル述語という2つの再利用可能なアーティファクトを抽出する。 デコードでは、クエリをルーティングし、数十マイクロ秒のラウンドトリップでキャッシュ(連続チャンクや散在する集合体)を移動させるコストを取引し、ピーク帯域幅ではなくプローブレイテンシによってファブリックを選択する。 MLAのコストモデルと述語をインスタンス化しますが、MLA固有のものではありません。圧縮やスパースセレクションを適用すれば、小さなチャンク(DeepSeek-V3.2、V4、GLM-5.1)に注意を向けることができます。 それらを新しいアーキテクチャに拡張するには、ルーティングされたペイロードとフェッチの移動コストの2つの係数だけを測定する必要がある。

関連論文リスト

• Nectar: Neural Estimation of Cached-Token Attention via Regression [36.709992864731866]
  固定長コンテキスト上でのソフトマックスアテンションを評価するために,コンパクトニューラルネットワークをどのように利用できるかを示す。 Nectarは、層ごとに2つのネットワークに適合し、KVヘッドは、注意出力を予測するターゲットネットワークと、ログ正規化器を予測するスコアネットワークである。 我々は,5つの長文データセットにまたがる1.7Bから8Bパラメータのモデルについて実験を行った。
  論文  参考訳（メタデータ） (2026-05-10T21:51:36Z)
• Sparse Prefix Caching for Hybrid and Recurrent LLM Serving [0.7284556903703034]
  重なり合う深さの分布の下で,スパースプレフィックスキャッシングをチェックポイント配置として定式化する。 リクエストが非自明なプレフィックスを共有する場合、実世界のデータ上で標準非対称性によって追跡されるフロンティアを一貫して改善することを示す。 正確な出力を保持し、リカレント計算自体を変更したり、新しいリカレント更新カーネルを必要としたりしない。
  論文  参考訳（メタデータ） (2026-04-17T09:24:58Z)
• Joint Encoding of KV-Cache Blocks for Scalable LLM Serving [3.3230675313521716]
  既存のKV-cache圧縮手法は剛性に依存し、テンソルレイアウトを乱したり、特別な計算を必要とする。 KV-cacheブロックの連成符号化を提案し、要求と入力チャンクに類似したブロックを融合して共有表現を生成する。 これにより、KV-cacheメモリのボトルネックが軽減され、特別なハードウェアを使わずに高コンカレンシー機能をサポートする。
  論文  参考訳（メタデータ） (2026-01-06T14:50:58Z)
• vCache: Verified Semantic Prompt Caching [95.16654660556975]
  本稿では,ユーザ定義エラー率保証を備えた最初の検証済みセマンティックキャッシュであるvCacheを提案する。 オンライン学習アルゴリズムを使用して、キャッシュされたプロンプト毎に最適な閾値を推定し、追加のトレーニングなしで信頼性の高いキャッシュ応答を可能にする。 我々の実験によると、vCacheは特定のエラー境界を一貫して満たし、最先端の静的な閾値と微調整された埋め込みベースラインより優れています。
  論文  参考訳（メタデータ） (2025-02-06T04:16:20Z)
• Cache-Craft: Managing Chunk-Caches for Efficient Retrieval-Augmented Generation [14.842469293627271]
  CacheCraftは、テキストチャンクに対応する計算済みKVの再利用を管理するシステムである。 再利用可能なチャンクキャッシュの特定方法、キャッシュの修正に少数の再計算を効率的に行う方法、ハードウェアにチャンクキャッシュを効率よく保存・削除する方法を示す。
  論文  参考訳（メタデータ） (2025-02-05T14:12:33Z)
• Compute Or Load KV Cache? Why Not Both? [6.982874528357836]
  Cakeは計算資源とI/Oリソースを並列に最適に利用する新しいKVキャッシュローディングシステムである。 Cakeは、計算のみの手法やI/Oのみの手法と比較して、TTFT(Time to First Token)の平均2.6倍の削減を実現している。
  論文  参考訳（メタデータ） (2024-10-04T01:11:09Z)
• ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
  大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。 本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。 我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
  論文  参考訳（メタデータ） (2024-07-30T17:59:08Z)
• CORM: Cache Optimization with Recent Message for Large Language Model Inference [57.109354287786154]
  メモリフットプリントを大幅に最小化するKVキャッシュを最適化する革新的な手法を提案する。 KVキャッシュ消去ポリシーであるCORMは、モデル微調整を必要とせずに、推論に必要なキーと値のペアを動的に保持する。 検証の結果,CORMはKVキャッシュの推論メモリ使用量を最大70%削減し,LongBenchの6つのタスクで性能劣化を無視できることがわかった。
  論文  参考訳（メタデータ） (2024-04-24T16:11:54Z)
• KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache [67.9776980972508]
  我々はKIVIというチューニング不要な2ビットKVキャッシュ量子化アルゴリズムを開発した。 KIVI は Llama, Falcon, Mistral のモデルを $mathbf2.6times$ less peak memory を使用しながらほぼ同じ品質を維持することができる。
  論文  参考訳（メタデータ） (2024-02-05T06:06:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。