論文の概要: CommunityKV: Efficient Long-Context Decoding via Graph Partitioning

• arxiv url: http://arxiv.org/abs/2610.00418v1
• Date: Wed, 30 Sep 2026 14:36:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.651383
• Title: CommunityKV: Efficient Long-Context Decoding via Graph Partitioning
• Title（参考訳）: CommunityKV: グラフ分割による効率的な長期デコーディング
• Abstract要約: 本稿では,コミュニティ検出問題として軽視するフレームワークであるCommunityKVを紹介する。 ローカル更新ルールは、新しく生成されたトークンを一定時間にコミュニティに割り当て、ストリーミングデコーディングを通してスパース検索を可能にする。 クエリヘッド毎に1つのグラフで、CommunityKVは、集中した注意のエンドツーエンド世代に対して最大$1.25タイムを提供する。
• 参考スコア（独自算出の注目度）: 12.080747691837269
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Scaling Transformers to long contexts is constrained by the quadratic cost of self-attention and the linear growth of key-value cache memory transfer. Sparse attention mitigates this by retrieving only relevant tokens, but current approaches either require large-scale training or, within the training-free regime, rely on semantically coarse heuristics or expensive clustering that is difficult to update efficiently during decoding. We introduce CommunityKV, a framework that formulates sparse attention as a community detection problem. CommunityKV constructs a token graph from the $QK^T$ scores already computed during standard prefill, and partitions the graph into communities to enable retrieval of semantically coherent token groups. A local update rule assigns newly generated tokens to communities in constant time, enabling sparse retrieval throughout streaming decoding without global re-partitioning. We evaluate CommunityKV on Qwen3 and Llama-3.1 models across three long-context benchmarks. With one graph per query head, CommunityKV delivers up to $1.25\times$ the end-to-end generation throughput of dense attention, while query-group graph aggregation yields up to $1.71\times$ with comparable accuracy.
• Abstract（参考訳）: 長いコンテキストへの変換器のスケーリングは、自己アテンションの2次コストとキー値キャッシュメモリ転送の線形成長によって制約される。 スパースな注意は、関連するトークンのみを取得することでこれを緩和するが、現在のアプローチでは、大規模なトレーニングを必要とするか、トレーニングなしのシステム内では、意味的に粗いヒューリスティックや、復号時に効率的に更新できない高価なクラスタリングに依存している。 本稿では,コミュニティ検出問題として軽度注意を定式化するためのフレームワークであるCommunityKVを紹介する。 CommunityKVは、標準プリフィル中に既に計算されている$QK^T$スコアからトークングラフを構築し、グラフをコミュニティに分割し、意味的に一貫性のあるトークングループの検索を可能にする。 ローカル更新ルールは、新しく生成されたトークンを一定時間にコミュニティに割り当て、グローバルな再分割なしにストリーミングデコーディングを通してスパース検索を可能にする。 Qwen3とLlama-3.1の3つの長文ベンチマークでCommunityKVを評価する。 クエリヘッド毎に1つのグラフで、CommunityKVは、集中した注意のエンドツーエンド生成スループットを最大1.25\times$、クエリグループグラフ集約は、同等の精度で最大1.71\times$を提供する。

関連論文リスト

• CateKV: On Sequential Consistency for Long-Context LLM Inference Acceleration [67.17709877327232]
  ケイトKVは、一貫したヘッドに対して重要なトークン情報のみを保持するハイブリッドKVキャッシュ方式である。 Cate KV はメモリ使用量を最大$2.72 times$に減らし、シングルサンプル入力で$2.18times$に減らした。
  論文  参考訳（メタデータ） (2026-08-31T06:02:37Z)
• GroupKV: Hierarchical KV Cache Management for Long-Context Diffusion LLM Inference [7.469277601079312]
  textscGroupKVは、長文dLLM推論のための軽量階層型KVキャッシュ管理システムである。 textscGroupKVはコンテキストを連続したグループに分割し、粗い粒度選択を行う。 実験の結果、textscGroupKVは最大使用可能なコンテキスト長を最大48.00times$まで拡張している。
  論文  参考訳（メタデータ） (2026-07-30T16:19:56Z)
• SelKV: Selective KV Cache Merging with Per-Token Merge-or-Drop and Attention Compensation [0.0]
  大規模言語モデルは、メモリフットプリントがコンテキスト長とともに線形に増加するキー値(KV)キャッシュに依存して、テキストを自動回帰的に生成する。 最近の圧縮法はトークンマージによるコストを軽減している。 これらの制約に対処するKVキャッシュ圧縮のためのトレーニングフリーでデュアルコンポーネントのフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-19T17:44:56Z)
• DynBenchmark: Customizable Ground Truths to Benchmark Community Detection and Tracking in Temporal Networks [0.764671395172401]
  新しいコミュニティ中心モデルが提案され、カスタマイズ可能なコミュニティ構造を生成する。 このベンチマークは、ノードの出現、消滅、コミュニティ間の移動が可能な、基盤となる時間ネットワークも生成する。 Pythonライブラリ、描画ユーティリティ、バリデーションメトリクスは、基礎真実と動的コミュニティを検出するアルゴリズムの結果を比較するために提供される。
  論文  参考訳（メタデータ） (2025-10-03T14:02:22Z)
• Judge Q: Trainable Queries for Optimized Information Retention in KV Cache Eviction [53.83828564664595]
  大規模言語モデル(LLM)は、キー値(KV)キャッシュを使用して、シーケンス処理中に履歴情報を格納する。 KVキャッシュ消去の現在の方法は、通常、プレフィルフェーズからの最後のウィンドウをクエリとして利用し、消去のためのKV重要度スコアを計算する。 ソフトトークンリストを組み込んだ新しいトレーニング手法であるジャッジQを提案する。
  論文  参考訳（メタデータ） (2025-09-13T03:34:12Z)
• AnchorAttention: Difference-Aware Sparse Attention with Stripe Granularity [9.63873831179673]
  拡張コンテキスト長を持つ大規模言語モデル(LLM)は、事前充足フェーズにおいて重大な計算上の課題に直面します。 重要な注意領域を効率よく識別する,差認識型動的スパースアテンション機構である textbfAnchorAttention を提案する。 textbfAnchorAttentionは、粒度の細かいスペーシング戦略により、同じリコールレベルでより高いスペーサ率を実現し、計算時間を著しく短縮する。
  論文  参考訳（メタデータ） (2025-05-29T14:59:06Z)
• Squeezed Attention: Accelerating Long Context Length LLM Inference [61.787865959140994]
  本稿では,入力コンテキストの大部分を固定したアプリケーションを高速化するために,Squeezed Attentionを提案する。 推論中、ユーザ入力からのクエリトークンとセントロイドを比較し、固定されたコンテキストからどのキーが意味論的に関連しているかを予測する。 また,線形から対数的への注意の複雑さを,固定した文脈長に対して低減できる階層型アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-11-14T18:54:19Z)
• Gradient Coding with Dynamic Clustering for Straggler-Tolerant Distributed Learning [55.052517095437]
  勾配降下(GD)は、複数の労働者にデータセットを分散することで学習タスクの並列化に広く用いられている。 分散同期gdにおけるイテレーション完了時間ごとの重要なパフォーマンスボトルネックは$straggling$ workersである。 コード化された分散技術は、最近ストラグラーを緩和し、労働者に冗長な計算を割り当てることでgdイテレーションを高速化するために導入された。 本稿では,従来のトラグリング動作に依存する可能性のあるコードの中から,冗長なデータを労働者に割り当てて選択する動的GC方式を提案する。
  論文  参考訳（メタデータ） (2021-03-01T18:51:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。