論文の概要: CHESS: Context-aware Hierarchical Efficient Semantic Selection for Long-Context LLM Inference

• arxiv url: http://arxiv.org/abs/2602.20732v1
• Date: Tue, 24 Feb 2026 09:54:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-25 17:34:53.707248
• Title: CHESS: Context-aware Hierarchical Efficient Semantic Selection for Long-Context LLM Inference
• Title（参考訳）: CHESS:Long-Context LLM推論のためのコンテキスト認識型階層的セマンティック選択
• Abstract要約: 我々は,テキスト・ゴリサム・システムであるtextbfCHESS を提案し,KV-cache 管理システムを設計する。 KVキャッシュの textbf1.% は、textbf4.56$times$高スループットで、低コンテキストの安定した推論を提供する。
• 参考スコア（独自算出の注目度）: 9.561727872677173
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Long-context LLMs demand accurate inference at low latency, yet decoding becomes primarily constrained by KV cache as context grows. Prior pruning methods are largely context-agnostic: their token selection ignores step-wise relevance and local semantics, which undermines quality. Moreover, their irregular accesses and selection overheads yield only limited wall-clock speedups. To address this, we propose \textbf{CHESS}, an \textit{algorithm-system co-design} KV-cache management system. Algorithmically, CHESS introduces a context-aware, hierarchical selection policy that dynamically reconstructs a coherent context for the current decoding. System-wise, coarse granularity selection eliminates expensive data movement, fully realizing practical acceleration from theoretical sparsity. Extensive evaluations demonstrate that CHESS surpasses Full-KV quality using only \textbf{1\%} of the KV cache, delivers low-latency stable inference with up to \textbf{4.56$\times$} higher throughput, and consistently outperforms other strong baselines. Code is available at \href{https://anonymous.4open.science/r/CHESS-9958/}{https://anonymous.4open.science/r/CHESS/}.
• Abstract（参考訳）: 長いコンテキストのLLMは低レイテンシで正確な推論を要求するが、コンテキストが大きくなるにつれて、復号化は主にKVキャッシュによって制限される。 トークンの選択はステップワイズとローカルセマンティクスを無視し、品質を損なう。 さらに、不規則なアクセスと選択のオーバーヘッドは、壁時計のスピードアップに限られる。 そこで本稿では,KV-cache 管理システムである textbf{CHESS} を提案する。 アルゴリズム的にCHESSは、現在のデコードのためのコヒーレントなコンテキストを動的に再構築するコンテキスト対応の階層的選択ポリシーを導入している。 システムレベルでは、粗粒度選択は高価なデータ移動を排除し、理論的な間隔から実用的な加速を実現する。 大規模な評価では、CHESSはKVキャッシュのtextbf{1\%}のみを使用してフルKV品質を上回り、高スループットのtextbf{4.56$\times$}で低レイテンシの安定な推論を提供する。 コードは \href{https://anonymous.4open.science/r/CHESS-9958/}{https://anonymous.4open.science/r/CHESS/} で公開されている。

関連論文リスト

• CateKV: On Sequential Consistency for Long-Context LLM Inference Acceleration [67.17709877327232]
  ケイトKVは、一貫したヘッドに対して重要なトークン情報のみを保持するハイブリッドKVキャッシュ方式である。 Cate KV はメモリ使用量を最大$2.72 times$に減らし、シングルサンプル入力で$2.18times$に減らした。
  論文  参考訳（メタデータ） (2026-08-31T06:02:37Z)
• HARD-KV: Head-Adaptive Regularization for Decoding-time KV Compression [11.40656413331368]
  ヘッド適応圧縮アルゴリズムは、メモリ予算を動的に変動させることにより、より優れた精度を提供する。 しかし、現代的な推論エンジンは、GraphsとPagedAttentionを利用するために厳格で静的なメモリパターンを必要とする。 HARD-KVは,動的選択を厳密なシステム制約でブリッジする統合フレームワークである。
  論文  参考訳（メタデータ） (2026-06-27T09:36:37Z)
• You Only Index Once: Cross-Layer Sparse Attention with Shared Routing [61.29627714699688]
  層間スパースアテンション(A)はYOCOなどのKV共有アーキテクチャ上に構築されている。 シングルインデクサはトークンレベルのトップk選択を一度計算し、その結果のインデックスをレイヤ間で再利用する。 その結果、CLSAは正確かつ効率的であり、最大7.6倍のデコードスピードアップと17.1倍のスループット向上を実現している。
  論文  参考訳（メタデータ） (2026-06-04T17:54:04Z)
• Kwai Summary Attention Technical Report [69.40814939510126]
  長文の能力は、次世代の大規模言語モデルの最も重要な方向性の1つになっている。 標準ソフトマックスアテンションは、シーケンスの長さに関して2次時間複雑性を示す。 歴史的文脈を圧縮することでシーケンスモデリングコストを削減する新しいアテンションメカニズムであるKwai Summary Attention (KSA)を提案する。
  論文  参考訳（メタデータ） (2026-04-27T12:59:53Z)
• CSAttention: Centroid-Scoring Attention for Accelerating LLM Inference [3.1255988998610307]
  CSAttention(Centroid-Scoring Attention)は、高スループットコンテキストに最適化された訓練不要のスパースアテンション手法である。 計算処理を1回のオフラインプリフィルフェーズにフロントロードし、複数のクエリでアモートできる。 モデル精度と推論速度の両方において、最先端のスパースアテンション手法より一貫して優れている。
  論文  参考訳（メタデータ） (2026-03-30T01:42:29Z)
• BEAVER: A Training-Free Hierarchical Prompt Compression Method via Structure-Aware Page Selection [21.177715869071793]
  既存の圧縮手法は、攻撃的なトークンプルーニングによる訓練コストや意味的な断片化に悩まされることが多い。 線形トークン除去から構造対応階層選択へ圧縮を移行する新しいトレーニングフリーフレームワークBEAVERを提案する。 BEAVERがLongLLMLinguaのような最先端(SOTA)メソッドに匹敵するパフォーマンスを実現することを示す。
  論文  参考訳（メタデータ） (2026-03-20T04:35:04Z)
• Training-free Context-adaptive Attention for Efficient Long Context Modeling [57.703159205740185]
  トレーニングフリーコンテキスト適応注意(TCA-Attention)は、学習不要なスパースアテンション機構であり、効率的な長文推論のための情報トークンのみに選択的に参画する。 TCA-Attentionは2.8$times$のスピードアップを実現し、128Kのコンテキスト長でKVキャッシュを61%削減し、フルアテンションに匹敵するパフォーマンスを維持している。
  論文  参考訳（メタデータ） (2025-12-10T01:54:57Z)
• OjaKV: Context-Aware Online Low-Rank KV Cache Compression with Oja's Rule [54.37983890753086]
  我々は,戦略的ハイブリッドストレージポリシとオンラインサブスペース適応を統合したフレームワークであるOjaKVを紹介する。 OjaKVは、重要かつ最新のトークンをフルランクで保存し、注意のために高忠実なアンカーを維持している。 オンライン主成分分析のためのOjaのアルゴリズムを用いて、プロジェクションベースを漸進的に適応させることにより、低ランク圧縮を適用する。
  論文  参考訳（メタデータ） (2025-09-25T21:42:27Z)
• KVCompose: Efficient Structured KV Cache Compression with Composite Tokens [7.922206020386125]
  大規模言語モデル(LLM)は、効率的な自己回帰復号化のためにキー値(KV)キャッシュに依存している。 我々は,注意誘導型,層適応型複合トークンに基づく,シンプルで効果的なKVキャッシュ圧縮フレームワークを提案する。 本手法は精度を保ちながらメモリの大幅な削減を実現し,従来手法と半構造化手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2025-09-05T14:58:24Z)
• Activation-aware Probe-Query: Effective Key-Value Retrieval for Long-Context LLMs Inference [56.71209737306054]
  我々は,プローブ-textbfQuery を動的に決定し,関連する textbfKV ペアを推論するために利用する,トレーニングフリーの textbfActivation-aware アプローチである textbfActQKV を提案する。 Long-Bench と $infty$ Benchmarks の実験では、競合する推論品質とリソース効率を備えた最先端のパフォーマンスが実証されている。
  論文  参考訳（メタデータ） (2025-02-19T08:50:44Z)
• ChunkKV: Semantic-Preserving KV Cache Compression for Efficient Long-Context LLM Inference [61.412894960600205]
  大きな言語モデル(LLM)は、長いテキストを処理する際に大きなGPUメモリを必要とする。 ChunkKVは、セマンティックチャンクを基本的な圧縮単位として扱うことで、KVキャッシュ圧縮を再定義する。 結果: ChunkKVは最先端の手法を最大8.7%精度で上回る。
  論文  参考訳（メタデータ） (2025-02-01T03:49:47Z)
• TreeKV: Smooth Key-Value Cache Compression with Tree Structures [19.06842704338332]
  TreeKVは、スムーズなキャッシュ圧縮のためにツリー構造を利用するトレーニング不要の手法である。 PG19とOpenWebText2の言語モデリングタスクのベースラインモデルを一貫して上回っている。
  論文  参考訳（メタデータ） (2025-01-09T06:00:27Z)
• EXIT: Context-Aware Extractive Compression for Enhancing Retrieval-Augmented Generation [8.757777529568383]
  現在のRAGシステムは、検索モデルが最も関連性の高い文書のランク付けに失敗したときにしばしば苦労する。 抽出文脈圧縮フレームワークEXITを紹介する。 評価の結果,EXITは既存の圧縮手法を一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-12-17T05:38:27Z)
• SCBench: A KV Cache-Centric Analysis of Long-Context Methods [61.025422435235456]
  KVキャッシュ中心の視点から長文の手法を評価するベンチマークであるSCBenchを紹介する。 我々は、Gated Linear RNNsやMamba-Attention Hybridsを含む8つのカテゴリの長期コンテキストソリューションについて、広範なKVキャッシュ中心の分析を行う。 本研究は,O(n)メモリとサブO(n2)プリフィルによるスパース符号化が堅牢に動作する一方で,サブO(n)メモリ手法がマルチターンシナリオに悩まされていることを示す。
  論文  参考訳（メタデータ） (2024-12-13T17:59:52Z)
• Training-Free Exponential Context Extension via Cascading KV Cache [49.608367376911694]
  カスケードサブキャッシュバッファを利用して,最も関連性の高いトークンを選択的に保持する機構を導入する。 本手法は,1Mトークンのフラッシュアテンションと比較して,プリフィルステージ遅延を6.8倍削減する。
  論文  参考訳（メタデータ） (2024-06-24T03:59:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。