論文の概要: KAP: Bridging the Knowledge Selection-Runtime Consumption Gap in LLM Systems

• arxiv url: http://arxiv.org/abs/2607.24260v1
• Date: Mon, 27 Jul 2026 10:51:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-28 22:34:15.38844
• Title: KAP: Bridging the Knowledge Selection-Runtime Consumption Gap in LLM Systems
• Title（参考訳）: KAP:LLMシステムにおける知識選択・実行時消費ギャップのブリッジ化
• Abstract要約: LLMシステムは、高価値な構造化前の知識選択プロセスにますます依存している。 このような信号をプロンプトにシリアライズすると、バックエンドはフラットなトークンシーケンスのみを観測し、デコード中に全キー値(KV)状態の密度と均一な消費を強制する。 本稿では,パッシブ・プロンプト・コンストラクション・ヒントから第1級物理実行アーティファクトへ構造化知識を高めるパラダイムシフト実行抽象化である知識アクセス計画(KAP)を提案する。
• 参考スコア（独自算出の注目度）: 6.2114179704860275
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern LLM systems increasingly rely on knowledge-selection processes that produce high-value structured priors, such as ranked evidence, graph topology, multimodal alignment, and confidence signals. Yet LLM serving remains fundamentally oblivious to this rich structure: once such signals are serialized into a prompt, the backend observes only a flat token sequence, forcing dense and uniform consumption of the full key-value (KV) state during decoding. We term this architectural mismatch the Knowledge Selection-Runtime Consumption (KSRC) gap: richer contexts enlarge the full-prompt KV footprint and decode-time memory traffic, increasing latency and degrading throughput even when reasoning depends on only a small fraction of the context. To bridge the gap, we propose Knowledge Access Planning (KAP), a paradigm-shifting execution abstraction that elevates structured knowledge priors from passive prompt-construction hints into first-class physical execution artifacts. KAP establishes a universal intermediate representation (IR)-the runtime access plan-which compiles structured knowledge signals to govern physical KV access without altering logical prompt semantics, model weights, or training procedures. Through this IR, KAP shifts LLM serving from token-aware context consumption to plan-driven, knowledge-aware runtime consumption. We instantiate KAP with GraphSpec, a compiler-executor realization connecting structured knowledge selection to an LLM serving backend. We derive a phase-boundary model for the positive-speedup regime of plan-guided execution. Across 4K-128K long-context QA workloads, GraphSpec maintains answer quality comparable to full-context decoding while decoupling physical KV consumption from prompt length, reducing proposal-time KV access to 5.5% of source KV state at 128K, and fundamentally shifting the scaling trajectory of long-context generation.
• Abstract（参考訳）: 現代のLLMシステムは、ランク付けされたエビデンス、グラフトポロジ、マルチモーダルアライメント、信頼信号など、高価値な事前構造を生成する知識選択プロセスにますます依存している。 しかし、LSMは、このリッチな構造に対して基本的に不明瞭なままであり、そのような信号がプロンプトにシリアライズされると、バックエンドはフラットなトークンシーケンスのみを観測し、デコード中に全キー値(KV)状態の密度と均一な消費を強制する。 よりリッチなコンテキストは、フルプロンプトのKVフットプリントとデコード時のメモリトラフィックを拡大し、推論がコンテキストのごく一部に依存する場合でも、レイテンシを増大させ、スループットを低下させます。 このギャップを埋めるために、我々は、パッシブ・プロンプト・コンストラクションヒントから構造化知識を第一級の物理実行アーティファクトに高めるパラダイムシフト実行抽象化である知識アクセス計画(KAP)を提案する。 KAPは、論理的プロンプトのセマンティクス、モデルウェイト、トレーニング手順を変更することなく、構造化された知識信号をコンパイルして物理的なKVアクセスを管理するユニバーサル中間表現(IR)を確立する。 このIRを通じて、KAPはLLMをトークン対応のコンテキスト消費から計画駆動の知識対応のランタイム消費にシフトする。 構造化知識の選択をLLMサービスバックエンドに接続するコンパイラ・エグゼクタ実現であるGraphSpecでKAPをインスタンス化する。 我々は、計画誘導実行の正の高速化体制のための位相境界モデルを導出する。 4K-128Kの長いコンテキストQAワークロード全体において、GraphSpecは、フルコンテキストのデコーディングに匹敵する応答品質を維持しながら、物理的KV消費を即時長から切り離し、提案時のKVアクセスを128KのソースKV状態の5.5%に削減し、ロングコンテキスト生成のスケーリング軌道を根本的にシフトしている。

関連論文リスト

• Towards Efficient Large Language Model Serving: A Survey on System-Aware KV Cache Optimization [15.075255332478394]
  大規模言語モデル(LLM)を提供するためのシステム対応KVインフラストラクチャに焦点を当てる。 我々の研究は急速に発展している領域を体系化し、現代のLLMサービスインフラにおけるKVキャッシュ設計の理解と革新の基盤を提供する。
  論文  参考訳（メタデータ） (2026-07-09T02:11:18Z)
• Planning-aligned Token Compression for Long-Context Autonomous Driving [95.59023657139208]
  条件付きVQ-VA上に構築した計画整合型ワーキングメモリフレームワークを提案する。 圧縮は歴史的軌跡と学習した計画意図の両方で条件付けられている。 歴史的文脈が行動の正確性に最も重要となる高信号動的シナリオについて評価する。
  論文  参考訳（メタデータ） (2026-06-05T17:16:21Z)
• Kwai Summary Attention Technical Report [69.40814939510126]
  長文の能力は、次世代の大規模言語モデルの最も重要な方向性の1つになっている。 標準ソフトマックスアテンションは、シーケンスの長さに関して2次時間複雑性を示す。 歴史的文脈を圧縮することでシーケンスモデリングコストを削減する新しいアテンションメカニズムであるKwai Summary Attention (KSA)を提案する。
  論文  参考訳（メタデータ） (2026-04-27T12:59:53Z)
• Understanding by Reconstruction: Reversing the Software Development Process for LLM Pretraining [66.89012795621349]
  大規模言語モデル(LLM)は、複雑なソフトウェア工学に必要な、深く、長期にわたる推論に苦しむことが多い。 本稿では,再構築による理解という,新しいパラダイムを提案する。 マルチエージェントシミュレーションを用いて潜在エージェント軌道を合成するフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-11T09:23:20Z)
• CHESS: Context-aware Hierarchical Efficient Semantic Selection for Long-Context LLM Inference [9.561727872677173]
  我々は,テキスト・ゴリサム・システムであるtextbfCHESS を提案し,KV-cache 管理システムを設計する。 KVキャッシュの textbf1.% は、textbf4.56$times$高スループットで、低コンテキストの安定した推論を提供する。
  論文  参考訳（メタデータ） (2026-02-24T09:54:59Z)
• ARKV: Adaptive and Resource-Efficient KV Cache Management under Limited Memory Budget for Long-Context Inference in LLMs [1.1267872663780352]
  大規模言語モデル(LLM)は、超長期のコンテキスト推論を必要とするシナリオにますますデプロイされている。 既存のメモリ削減技術、例えば消去や量子化は、しばしば静的キャッシュに依存している。 キャッシュされたトークンに精度レベルを動的に割り当てる軽量で適応的なフレームワークARKVを提案する。
  論文  参考訳（メタデータ） (2026-02-19T16:24:08Z)
• Training-free Context-adaptive Attention for Efficient Long Context Modeling [57.703159205740185]
  トレーニングフリーコンテキスト適応注意(TCA-Attention)は、学習不要なスパースアテンション機構であり、効率的な長文推論のための情報トークンのみに選択的に参画する。 TCA-Attentionは2.8$times$のスピードアップを実現し、128Kのコンテキスト長でKVキャッシュを61%削減し、フルアテンションに匹敵するパフォーマンスを維持している。
  論文  参考訳（メタデータ） (2025-12-10T01:54:57Z)
• SparseVILA: Decoupling Visual Sparsity for Efficient VLM Inference [49.84148668264725]
  SparseVILAは効率的なVLM推論のための新しいパラダイムであり、前処理と復号の段階で視覚空間を疎結合する。 AWQ最適化推論パイプライン上に構築されたSparseVILAは、プリフィルの最大4.0倍、デコーディングの2.5倍、長文ビデオタスクの2.6倍のエンドツーエンド高速化を実現している。
  論文  参考訳（メタデータ） (2025-10-20T17:35:47Z)
• AtlasKV: Augmenting LLMs with Billion-Scale Knowledge Graphs in 20GB VRAM [60.583864162256525]
  数十億の知識グラフを持つ大規模言語モデルを拡張するための,スケーラブルで効果的で汎用的な方法を提案する。 KG2KVとHiKVPはKGトリプルをLLMに統合し、サブ線形時間とメモリの複雑さを持つ。 LLM固有の注意機構を用いて、強力な知識基盤と一般化性能を維持している。
  論文  参考訳（メタデータ） (2025-10-20T15:40:14Z)
• Sparse Attention Remapping with Clustering for Efficient LLM Decoding on PIM [7.651654889371008]
  トランスフォーマーベースのモデルは現代の機械学習の基礎であるが、その実行はメモリシステムに大きな圧力をかける。 プロセッシング・イン・メモリ(PIM)アーキテクチャは、メモリ近傍で高い内部帯域幅と計算並列性を提供する、有望なソリューションである。 現在のPIM設計は、主に、KVキャッシュスパーシリティ技術によって導入された動的で不規則なアクセスパターンに対処するために最適化されている。
  論文  参考訳（メタデータ） (2025-05-09T04:17:05Z)
• LServe: Efficient Long-sequence LLM Serving with Unified Sparse Attention [26.54297116028556]
  大規模言語モデル(LLM)は、長いシーケンスや複雑な推論タスクの処理において顕著な可能性を示している。 LServeは,ハイブリッドスパースアテンションにより長周期LLMサービスを高速化する,効率的なシステムである。 LServeはLLMプリフィルを最大2.9倍加速し、vLLMで1.3-2.1倍デコードする。
  論文  参考訳（メタデータ） (2025-02-20T18:59:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。