論文の概要: C3: Speech-Guided KV Retrieval for Long-Context SpeechLLM Inference

• arxiv url: http://arxiv.org/abs/2611.00333v1
• Date: Fri, 30 Oct 2026 20:07:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-14 01:59:40.652029
• Title: C3: Speech-Guided KV Retrieval for Long-Context SpeechLLM Inference
• Title（参考訳）: C3:Long-Context SpeechLLM推論のための音声誘導KV検索
• Abstract要約: 音声言語モデルはテキストよりもはるかに高い速度で音声を符号化し、KVキャッシュが長文生成のメモリ、帯域幅、復号コストを支配した。 提案するC3$(Cluster-Compete-Compete)は,音声KVを階層的なキー空間インデックスで整理し,クエリヘッドが共通の検索予算を競うことを可能にする。
• 参考スコア（独自算出の注目度）: 27.48483608450036
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Speech language models encode audio at a much higher rate than text, causing the KV cache to dominate the memory, bandwidth, and decoding cost of long-form generation. KV retrieval can reduce per-step access by attending to only a query-dependent subset of the cache, but existing methods are designed primarily for text and do not account for the structure of audio attention. We first show that retrieval errors may compound autoregressively into generation drift. We then analyze full audio attention during long-form generation and identify three properties relevant to retrieval: unequal attention concentration across query heads, non-contiguous audio support, and temporal continuity across decoding steps. Guided by these observations, we propose $C^3$(Cluster-Compete-Compete), which organizes audio KVs in a hierarchical key-space index, lets query heads sharing a KV head compete for a common retrieval budget, and adaptively reallocates retrieval resolution through paired split-merge updates. Across long-form speech recognition, translation, and summarization on four SpeechLLMs, $C^3$ achieves the strongest overall performance among retrieval methods under comparable final-KV access budgets, with particularly large gains in the tight-budget regime, while improving long-context decoding efficiency and accelerator-memory scaling.
• Abstract（参考訳）: 音声言語モデルはテキストよりもはるかに高い速度で音声を符号化し、KVキャッシュが長文生成のメモリ、帯域幅、復号コストを支配した。 KV検索は、キャッシュのクエリ依存サブセットにのみ参加することで、ステップ単位のアクセスを減らすことができるが、既存のメソッドは主にテキスト用に設計されており、オーディオアテンションの構造を考慮していない。 まず、検索エラーが自己回帰的に生成ドリフトに複雑化することを示す。 次に、長文生成中の全音声の注意を解析し、検索に関連する3つの特性、すなわち、クエリーヘッド間の不均一な注意集中、非連続的な音声サポート、デコードステップ間の時間的連続性を同定する。 提案手法は,音声KVを階層的なキー空間インデックスに整理し,KVヘッドを共有するクエリヘッドが共通の検索予算を競い合うようにし,ペア化された分割マージ更新によって検索解像度を適応的に再配置する。 4つのSpeechLLMの長文音声認識、翻訳、要約において、$C^3$は、最終KVアクセス予算に匹敵する検索手法の中で最も高い総合的な性能を達成する。

関連論文リスト

• FAD-KV: Adaptive Dictionary KV Caching for Efficient Reasoning Decoding [56.15700232387851]
  キーバリュー(KV)キャッシングは、大規模言語モデルのコアメカニズムである。 我々は,textbfFast textbfAdaptive textbfDictionary KVキャッシングフレームワークであるFAD-KVを提案する。
  論文  参考訳（メタデータ） (2026-10-27T20:05:31Z)
• CateKV: On Sequential Consistency for Long-Context LLM Inference Acceleration [67.17709877327232]
  ケイトKVは、一貫したヘッドに対して重要なトークン情報のみを保持するハイブリッドKVキャッシュ方式である。 Cate KV はメモリ使用量を最大$2.72 times$に減らし、シングルサンプル入力で$2.18times$に減らした。
  論文  参考訳（メタデータ） (2026-08-31T06:02:37Z)
• WnW: Waxing-and-Waning KV Cache for Long-Form Speech LLMs [60.6692467625441]
  Waxing-and-Waning KVキャッシュはKVヘッドをオフラインキャリブレーションによってアンカー、タイダル、固定ロールに分類する。 3Bバックボーンが2つあるLibri-Speechでは、WnWはほぼフルキャッシュの精度を維持しながら、プリフィルオンリーのベースラインが終了しないGPU上のオーディオトークンの20%しか保持しない。
  論文  参考訳（メタデータ） (2026-08-24T01:48:30Z)
• VoxZip: Semantic-Anchored Temporal KV Cache Compression for Long-Context Audio Inference [53.883871460875234]
  VoxZipは、セマンティックアンコールされたKVキャッシュ圧縮フレームワークである。 第1段階では、音声トークンを時間的に調整、圧縮、融合するために明示的なセマンティックアンカーとして自動音声認識(ASR)文字を使用する。 第2段階では、時間的に減衰した蓄積された注意に基づいて動的フィルタリング戦略を採用し、非定常トークンを除去する。
  論文  参考訳（メタデータ） (2026-08-09T08:17:18Z)
• MuKV: Multi-Grained KV Cache Compression for Long Streaming Video Question-Answering [75.0394545769057]
  KVキャッシュは、LLMプリフィルを介して歴史的なトークンのキーバリューを格納する。 MuKV は KV キャッシュ圧縮モジュールと半階層的検索手法を特徴とする手法である。 長時間ストリーミングのVideoQAベンチマークの実験では、MKVはメモリとオンラインQA効率を犠牲にすることなく、回答の正確性を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2026-05-21T10:13:03Z)
• Kwai Summary Attention Technical Report [69.40814939510126]
  長文の能力は、次世代の大規模言語モデルの最も重要な方向性の1つになっている。 標準ソフトマックスアテンションは、シーケンスの長さに関して2次時間複雑性を示す。 歴史的文脈を圧縮することでシーケンスモデリングコストを削減する新しいアテンションメカニズムであるKwai Summary Attention (KSA)を提案する。
  論文  参考訳（メタデータ） (2026-04-27T12:59:53Z)
• S$^3$-Attention:Attention-Aligned Endogenous Retrieval for Memory-Bounded Long-Context Inference [11.779449360037518]
  S3-Attentionは,長期コンテキスト処理を注目に順応した内因性検索として扱うメモリファースト推論時フレームワークである。 S3-Attentionは、軽量なスパースオートエンコーダを使用して、トランジェントキーとクエリプロジェクションをトップkスパース機能識別子にデコードする。 単一のストリーミングスキャン中にトークンの位置やスパンにCPUベースの逆インデックスマッピング機能を構築する。
  論文  参考訳（メタデータ） (2026-01-25T05:25:22Z)
• $A^3$: Attention-Aware Accurate KV Cache Fusion for Fast Large Language Model Serving [42.02864241423696]
  大きな言語モデル(LLM)は、長いコンテキストを処理する上で強力な能力を示している。 長いシーケンスを処理できるにもかかわらず、結果としてデコーディングのレイテンシとメモリオーバーヘッドは大きいままである。 KVキャッシュの再利用の最近の進歩は、これらのコストを軽減する可能性を示しているが、それでも顕著なパフォーマンス劣化に悩まされている。
  論文  参考訳（メタデータ） (2025-11-13T07:28:59Z)
• ClusterKV: Manipulating LLM KV Cache in Semantic Space for Recallable Compression [10.003118268356017]
  ロングコンテキストは推論効率に重大な課題をもたらす。 本稿では,意味クラスタの粒度でトークンをリコールするClusterKVを紹介する。 実験結果から、ClusterKVは32kのコンテキスト長を持つ様々なタスクにおいて、無視可能な精度の損失が得られることがわかった。
  論文  参考訳（メタデータ） (2024-12-04T10:58:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。