論文の概要: Parser States Already Know: Structure-Conditioned KV Persistence for Structured Generation

• arxiv url: http://arxiv.org/abs/2608.28276v1
• Date: Fri, 28 Aug 2026 12:38:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-31 17:16:04.331876
• Title: Parser States Already Know: Structure-Conditioned KV Persistence for Structured Generation
• Title（参考訳）: パーサー状態はすでに知っている:構造化生成のための構造条件付きKVパーシステンス
• Abstract要約: 我々は,PASK(-Persistence KV Persistence)を導入し,構造を層群固有のKV永続性決定に変換する。 PASKは、最小の保護床を設定するためにタスクエラー感度を使用して、モデル側のKV感度とタスクレベルの構造化リスクのミスマッチに対処する。 最大2.2倍のスループットと3.3倍のTPOTを実現し、フルKVの最大GPUメモリは0.53倍である。
• 参考スコア（独自算出の注目度）: 2.650789986664154
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Structured generation underpins large language model (LLM) agents that produce JSON, SQL, and function calls, where a single wrong field can cause the downstream action to fail. Constrained decoding already tracks parser transitions to enforce formal validity, and these transitions expose how generated tokens participate in schema-critical decisions such as required fields, arguments, and structural boundaries under the active grammar. Existing KV compression largely leaves this task-relevant structural signal unused. We introduce PASK (Parser-Aware Structural KV Persistence), which turns parser-derived structure into layer-group-specific KV persistence decisions. PASK addresses the mismatch between model-side KV sensitivity and task-level structured risk by using task-error sensitivity to set minimum protection floors and attention-output distortion to allocate residual KV capacity. An offline calibration stage compiles these signals into a persistence policy, leaving only lightweight structure-conditioned lookup online. At a targe total KV budget of 0.33, PASK outperforms the strongest compressed baseline by 17.39 percentage points on average across eight BFCL non-live and Live subcategories on Qwen3-4B. In end-to-end serving, PASK achieves up to 2.2x higher throughput and 3.3x lower TPOT, while using 0.53x the peak GPU memory of Full KV.
• Abstract（参考訳）: 構造化生成は、JSON、SQL、関数呼び出しを生成する大きな言語モデル(LLM)エージェントを支える。 制約付き復号化(Constrained decoding)は、パーサのトランジションを追跡して正式な妥当性を強制し、これらのトランジションは、生成したトークンが要求されたフィールド、引数、アクティブ文法の下での構造的境界といったスキーマクリティカルな決定にどのように関与するかを明らかにする。 既存のKV圧縮は、このタスク関連構造信号にほとんど使われていない。 本稿では,PASK(Parser-Aware Structure KV Persistence)を導入する。 PASKは、最小保護床を設定するタスクエラー感度と、残留KV容量を割り当てるアテンション出力歪みを用いて、モデル側KV感度とタスクレベルの構造化リスクのミスマッチに対処する。 オフラインキャリブレーションステージは、これらの信号を永続化ポリシーにコンパイルし、軽量な構造条件のルックアップのみをオンラインで残す。 総KV予算の0.33で、PASKはQwen3-4B上の8つのBFCL非ライブおよびライブサブカテゴリの平均17.39ポイントで圧縮されたベースラインを上回っている。 エンドツーエンドのサービスでは、PASKは最大2.2倍のスループットと3.3倍のTPOTを実現し、フルKVのピークGPUメモリは0.53倍である。

関連論文リスト

• SemPIC: Learning Semantic Position-Independent KV Caches [26.14495003304512]
  emphSemPICはLoRA対応のWriterをトレーニングし、ネイティブなレイヤごとのドキュメントKVを振る舞いの蒸留を通じてコンパイルする。 KV Gradient Checkpointing – キャッシュされたKVをスレッディングすることなく、ピークトレーニングメモリを削減する。
  論文  参考訳（メタデータ） (2026-07-30T11:45:24Z)
• Efficient RWKV-based Representation Learning for 3D Point Clouds [53.911842457391636]
  textbfP-RWKVブロックは、シーケンスモデリングと不規則な3次元幾何学の間のギャップを埋める。 P-RWKVブロックとそのキーサブモジュールは、計算コストと推論遅延の少ない様々なタスクで競合性能を達成する。
  論文  参考訳（メタデータ） (2026-06-09T04:16:39Z)
• Adaptive Mass-Segmented KV Compression for Long-Context Reasoning [7.152154762874602]
  本稿では、トークンレベルの競合から地域対応クォータ割り当てへパラダイムをシフトさせるフレームワークである、適応質量分離(AMS)KV圧縮を提案する。 AMSは、注意質量の空間分布に基づいてKVキャッシュを適応的に分割し、構造上重要な推論セグメントが保証されたメモリクォータを受け取ることを保証する。 TOVA, expected Attention, KeyDiff, R-KV, Tri.Attention などの代表的なメソッドにシームレスに統合できる。
  論文  参考訳（メタデータ） (2026-05-22T03:32:52Z)
• CompactAttention: Accelerating Chunked Prefill with Block-Union KV Selection [13.937483869660648]
  既存のスパースアテンションメソッドは、チャンクされたプリフィルに効率的に変換しない。 ブロック・ユニオンKV選択に基づくチャンクド・プレフィルアテンション機構であるCompactAttentionを提案する。 最大2.72$times$ attention speedup at 128K context length under chunked prefill。
  論文  参考訳（メタデータ） (2026-05-16T06:47:41Z)
• ART: Attention Run-time Termination for Efficient Large Language Model Decoding [7.365525319097287]
  LLM(Long-context Decoding in Large Language Models)は、キーバリュー(KV)キャッシュへのアクセスと処理のコストによって制約される。 本稿では,カーネル実行時のアテンション出力の追跡を行う軽量な実行時機構であるAttention Run-time Termination(ART)を提案する。 LongBenchおよびRULER Needle-in-a-Haystackタスクの実験では、ARTが既存のKV-cacheメソッドの生成スループットを最大20%向上することが示された。
  論文  参考訳（メタデータ） (2026-04-15T06:55:14Z)
• KV Packet: Recomputation-Free Context-Independent KV Caching for LLMs [11.980880525012056]
  大規模言語モデルは、推論遅延を最小限に抑えるためにキーバリュー(KV)キャッシングに大きく依存する。 CacheBlend、EPIC、SAM-KVといった既存のソリューションは、トークンのサブセットを選択的に再計算することでこの問題を軽減する。 我々は,KV Packetを提案する。KV Packetは,キャッシュされた文書を,軽量なトレーニング可能なソフトトーケンアダプタでラップした不変パケットとして扱う,再計算不要なキャッシュ再利用フレームワークである。
  論文  参考訳（メタデータ） (2026-04-14T18:50:47Z)
• DeltaKV: Residual-Based KV Cache Compression via Long-Range Similarity [50.52392445266824]
  そこで本稿では,KV表現における長距離間類似性と高共有遅延成分を動機とする残差ベースのKVキャッシュ圧縮フレームワークを提案する。 DeltaKVはトークンを捨てる代わりに、検索した履歴参照に対するセマンティックな残基をエンコードし、保存を著しく削減する。 実験によると、DeltaKVは、LongBench、SCBench、AIMEでほぼロスレスの精度を維持しながら、KVキャッシュメモリを元の29%に削減している。
  論文  参考訳（メタデータ） (2026-02-08T15:14:36Z)
• ForesightKV: Optimizing KV Cache Eviction for Reasoning Models by Learning Long-Term Contribution [84.41751286055909]
  我々は、長文世代におけるどのKVペアを退避させるかを予測する訓練ベースのKVキャッシュ消去フレームワークを開発した。 我々は、マルコフ決定過程としてキャッシュ消去を定式化し、GRPOアルゴリズムを適用し、低エントロピートークンにおける言語モデリング損失の増加を緩和する。
  論文  参考訳（メタデータ） (2026-02-03T07:16:51Z)
• OjaKV: Context-Aware Online Low-Rank KV Cache Compression with Oja's Rule [54.37983890753086]
  我々は,戦略的ハイブリッドストレージポリシとオンラインサブスペース適応を統合したフレームワークであるOjaKVを紹介する。 OjaKVは、重要かつ最新のトークンをフルランクで保存し、注意のために高忠実なアンカーを維持している。 オンライン主成分分析のためのOjaのアルゴリズムを用いて、プロジェクションベースを漸進的に適応させることにより、低ランク圧縮を適用する。
  論文  参考訳（メタデータ） (2025-09-25T21:42:27Z)
• Graph-KV: Breaking Sequence via Injecting Structural Biases into Large Language Models [63.64507678113921]
  構造的帰納バイアスを通して相互作用を管理するグラフ-KVを導入する。 このフレームワークでは、「ターゲット」セグメントは指定された「ソース」セグメントのKV-cacheのみに選択的に参加する。 我々は,(1)直接推論,マルチホップ推論,長期文書理解にまたがる7つのRAGベンチマーク,(2)引用エゴグラフとして構造化された全文科学論文を用いた新しい学術論文QAタスクArxiv-QA,(3)引用ネットワーク内の論文トピック分類の3つのシナリオでグラフ-KVを評価する。
  論文  参考訳（メタデータ） (2025-06-09T00:30:08Z)
• Model Tells You What to Discard: Adaptive KV Cache Compression for LLMs [82.08922896531618]
  大規模言語モデル(LLM)における生成推論のメモリフットプリントを削減するプラグイン・アンド・プレイ方式である適応KVキャッシュ圧縮を導入する。 我々は,アテンションモジュールの本質的な構造を明らかにするために,ターゲットプロファイリングを行う。 認識された構造に基づいて、我々はKVキャッシュを適応的に構築する: 注意頭上の長距離コンテキストを排除し、局所的なコンテキストを強調し、特別なトークンを中心とした注意頭上の特別なトークンを排除し、すべてのトークンに広く参加する注目頭に対して標準のKVキャッシュのみを使用する。
  論文  参考訳（メタデータ） (2023-10-03T05:17:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。