論文の概要: Requests of a Feather Must Flock Together: Batch Size vs. Prefix Homogeneity in LLM Inference

• arxiv url: http://arxiv.org/abs/2605.06046v1
• Date: Thu, 07 May 2026 11:34:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:11.726281
• Title: Requests of a Feather Must Flock Together: Batch Size vs. Prefix Homogeneity in LLM Inference
• Title（参考訳）: LLM推論におけるFather Must Flockの要求:バッチサイズと修正前均一性
• Abstract要約: 大規模言語モデルにおける自動回帰トークン生成には、すべての前のトークンのキーと値テンソル(KVキャッシュ)を"到着"する必要がある。 以前の作業は、複数のリクエストを合わせて、このデコードプロセスの効率を改善することを目的としていた。 高速なプレフィックス検出と効率的な要求選択を可能にする軽量なデータ構造であるChunked Hash Tree(CHT)を紹介する。
• 参考スコア（独自算出の注目度）: 2.752817022620644
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Auto-regressive token generation in large language models is memory-bound because it requires "attending to" key and value tensors (KV cache) of all previous tokens. Prior work aims to improve the efficiency of this decode process by batching multiple requests together, and maximizing batch size subject to GPU memory constraints. The key observation of our work is that with prefix-sharing workloads, smaller, prefix-homogeneous batches -- where all requests share a common prefix -- can achieve higher decode throughput than larger, heterogeneous batches, due to better spatial and temporal locality during KV cache accesses. However, prefix-aware schedulers in state-of-the-art inference engines maximize prefix reuse within a batch only to reduce KV cache memory footprint, but do not stop batch formation at smaller homogeneous batches that could have performed better. Further, we show that shared prefix detection in existing schedulers relies on radix-tree traversals, incurring substantial CPU overhead that is often comparable to GPU execution time. This paper presents Feather, a prefix-aware scheduler that uses reinforcement learning (RL) to learn the optimal tradeoff between batch size and prefix homogeneity. We also introduce Chunked Hash Tree (CHT), a lightweight data structure that enables fast prefix detection and efficient request selection for the RL scheduler, avoiding expensive tree traversals. We integrate Feather into vLLM and SGLang, and our evaluation shows that Feather achieves 2--10$\times$ higher end-to-end throughput as compared to existing schedulers, while doing no worse than the status quo when the workload does not have enough prefix sharing. Feather achieves these gains by reducing the total number of KV cache accesses, surpassing the performance of prefix-aware attention kernels that have the same goal.
• Abstract（参考訳）: 大規模言語モデルにおける自動回帰トークン生成は、すべての以前のトークンのキーと値テンソル(KVキャッシュ)を必要とするため、メモリバウンドである。 以前の作業は、複数のリクエストをまとめてバッチ化し、GPUメモリ制約によるバッチサイズを最大化することで、このデコードプロセスの効率を改善することを目的としていた。 私たちの作業における重要な観察は、プレフィックス共有ワークロードでは、KVキャッシュアクセス時の空間的および時間的局所性の向上により、すべてのリクエストが共通のプレフィックスを共有するような、より小さなプレフィックス均質なバッチが、より大きな異種バッチよりも高いデコードスループットを達成できるということです。 しかし、最先端推論エンジンのプレフィックス対応スケジューラは、KVキャッシュメモリのフットプリントを減らすためだけにバッチ内でプレフィックスの再利用を最大化するが、より優れた性能を持つより小さな同種バッチでのバッチ生成を止めることはできない。 さらに、既存のスケジューラにおける共有プレフィックス検出は、Radix-treeトラバーサルに依存しており、GPUの実行時間に匹敵するCPUオーバーヘッドが発生することを示す。 本稿では、強化学習(RL)を用いて、バッチサイズとプレフィックス均質との間の最適なトレードオフを学習するプレフィックス対応スケジューラであるFeatherを提案する。 また、高速プレフィックス検出とRLスケジューラの効率的な要求選択を可能にする軽量データ構造であるChunked Hash Tree (CHT)を導入し、高額なツリートラバースを回避する。 We integrate Feather into vLLM and SGLang, and our evaluation shows that Feather achieves 2--10$\times$ higher end-to-end throughput than existing schedulers, while did no worse than the status quo if the workload have enough prefix sharing。 また、KVキャッシュアクセスの総数を減らし、同じ目標を持つプレフィックス対応アテンションカーネルのパフォーマンスを上回り、これらのゲインを達成する。

関連論文リスト

• Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
  近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。 より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。 我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
  論文  参考訳（メタデータ） (2026-07-30T02:42:51Z)
• Make Each Token Count: Towards Improving Long-Context Performance with KV Cache Eviction [65.710271475739]
  我々は,各トークンの将来のユーティリティを統一メモリ予算の下で学習する,グローバルな保持に基づくKV消去手法を提案する。 提案手法は,フルキャッシュ推論に適合したり,超えたりしながら,KVメモリを大幅に削減することを示す。 これらの結果から,世界規模で校正されたKV消去は圧縮技術であるだけでなく,長文推論を改善するメカニズムでもあることが示唆された。
  論文  参考訳（メタデータ） (2026-05-10T16:47:50Z)
• ZoomR: Memory Efficient Reasoning through Multi-Granularity Key Value Retrieval [58.575695990976136]
  大規模言語モデル(LLM)は複雑な推論タスクにおいて優れたパフォーマンスを示している。 LLMは、最終的な答えに到達する前に、長い中間的思考を生成する必要があることが多い。 我々は,LLMが動詞の推論思考を要約に適応的に圧縮することを可能にする新しいアプローチであるZoomRを紹介する。
  論文  参考訳（メタデータ） (2026-04-13T02:00:35Z)
• IceCache: Memory-efficient KV-cache Management for Long-Sequence LLMs [12.353502602473695]
  キーバリュー(KV)キャッシュは、大規模言語モデルにおける推論の加速に重要な役割を果たす。 セマンティックトークンクラスタリングとPagedAttentionを統合した新しいKVキャッシュ管理戦略を提案する。 256の予算で、IceCacheは完全なKVキャッシュモデルによって達成された元の精度の99%を維持している。
  論文  参考訳（メタデータ） (2026-04-12T09:02:20Z)
• PrefixKV: Adaptive Prefix KV Cache is What Vision Instruction-Following Models Need for Efficient Generation [97.41972925670508]
  大規模視覚言語モデル(LVLM)は、推論中に重要な計算とメモリオーバーヘッドを引き起こす。 ここでは、PrefixKVについて述べる。ここでは、Prefixは、元のシーケンスの位置ではなく、重要度に基づいて、上位ランクのKVを意味する。 本手法は他の手法と比較して最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-12-04T15:48:59Z)
• BatchLLM: Optimizing Large Batched LLM Inference with Global Prefix Sharing and Throughput-oriented Token Batching [2.392066774757727]
  大規模言語モデル(LLM)は、幅広い情報処理や管理タスクにおいて、ますます重要な役割を担っている。 これらのタスクは通常プレフィックス共有の特徴を示し、異なるプロンプト入力は共通プレフィックスを部分的に示すことができる。 既存のソリューションでは、リクエスト間の共通プレフィックスのKVコンテキストを再利用するために、LRUベースのキャッシュを使用している。 上記の問題に対処するため,BatchLLMを提案する。
  論文  参考訳（メタデータ） (2024-11-29T05:57:37Z)
• ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
  大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。 本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。 我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
  論文  参考訳（メタデータ） (2024-07-30T17:59:08Z)
• DeFT: Decoding with Flash Tree-attention for Efficient Tree-structured LLM Inference [22.684773338989007]
  大規模言語モデル(LLM)は、トークンの共有プレフィックスを持つツリー構造において、複数の世代呼び出しを処理する複雑なタスクにますます採用されている。 木に基づくアプリケーションの既存の推論システムは、注意計算中にクエリとKVキャッシュの不適切なパーティショニングのために非効率である。 我々は,プレフィックス認識と負荷分散KVキャッシュパーティションを用いたハードウェア効率の高いアテンションアルゴリズムであるDeFTを提案する。
  論文  参考訳（メタデータ） (2024-03-30T04:34:54Z)
• ChunkAttention: Efficient Self-Attention with Prefix-Aware KV Cache and Two-Phase Partition [3.659659889927316]
  ChunkAttentionは、大きな言語モデルのためのプレフィックス対応のセルフアテンションモジュールである。 複数のリクエストにまたがる一致したプロンプトプレフィックスを検出し、実行時にそのキー/値テンソルをメモリで共有する。 実験の結果、ChunkAttentionは最先端の実装と比較して、自己保持カーネルを3.2-4.8$times$で高速化できることがわかった。
  論文  参考訳（メタデータ） (2024-02-23T09:29:19Z)
• Get More with LESS: Synthesizing Recurrence with KV Cache Compression for Efficient LLM Inference [78.65321721142624]
  我々はキー値(KV)キャッシュによって課されるメモリボトルネックに焦点を当てる。 既存のKVキャッシュ手法は、比較的重要でないKVペアの大きなスワストを刈り取ったり、取り除いたりすることでこの問題に対処する。 本稿では,固定サイズキャッシュと退避型キャッシュを簡易に統合したLESSを提案する。
  論文  参考訳（メタデータ） (2024-02-14T18:54:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。