論文の概要: Acoustic-to-Text KV Compression for Full-Duplex Speech Models

• arxiv url: http://arxiv.org/abs/2609.31224v1
• Date: Fri, 25 Sep 2026 13:04:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.402139
• Title: Acoustic-to-Text KV Compression for Full-Duplex Speech Models
• Title（参考訳）: 全二重音声モデルのための音響-テキストKV圧縮
• Abstract要約: 本稿では,入力した音声をコンパクトなテキストメモリに変換するための書き起こしチャネルを提案する。 我々は、クロスエントロピー転写セグメントを用いて、LoRAでサイドチャネルを訓練する。 我々のMini-o 4.5実装は,最大KVキャッシュサイズを64.6%削減する。
• 参考スコア（独自算出の注目度）: 11.115821694268716
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Full-duplex speech language models continuously accumulate acoustic key-value (KV) states, making long-running interactions memory-intensive. During listening, the model can finish processing an audio unit before the next arrives; we term the remaining interval listening-time slack. We propose acoustic-to-text KV compression, which introduces a transcription side channel to convert incoming speech into compact textual memory within this interval. When the cache exceeds a target budget during inference, older acoustic states are evicted while transcripts and recent acoustic context remain. We train the side channel with LoRA using cross-entropy on transcription segments. To preserve listening and speaking behavior, we apply knowledge distillation to the original model's token-level output distributions at native prediction positions. On ten-minute LongSpeech sessions, our MiniCPM-o 4.5 implementation reduces peak streaming KV-cache size by 64.6% compared with the same model without eviction. The proposed method also improves transcription, temporal question answering, and summarization over the baseline. Full-Duplex-Bench evaluations further show comparable pause-handling, turn-taking, and interruption performance.
• Abstract（参考訳）: 完全二重言語モデルは、連続的に音響キー値(KV)状態を蓄積し、長期にわたる相互作用をメモリ集約化する。 聴取中、モデルは次の到着前にオーディオユニットの処理を終了することができる。 本稿では,この間隔で入力した音声をコンパクトなテキストメモリに変換するための書き起こし側チャネルを導入する音響-テキスト間KV圧縮を提案する。 推論中にキャッシュが目標予算を超えると、古い音響状態は削除され、書き起こしや最近の音響状況は残る。 我々は、転写セグメントのクロスエントロピーを用いて、LoRAでサイドチャネルを訓練する。 聴取行動と発声行動を保存するため,原モデルの固有位置におけるトークンレベルの出力分布に知識蒸留を適用した。 10分間のLongSpeechセッションでは,MiniCPM-o 4.5の実装により,最大ストリーミングKVキャッシュサイズが64.6%削減された。 提案手法は, ベースライン上での書き起こし, 時間的質問応答, 要約も改善する。 フルDuplex-Bench評価では、停止処理、ターンテイク、割り込み性能が同等である。

関連論文リスト

• Mitigating Speaker Leakage in Cascaded Multi-talker ASR with Diarization-based Transcript Correction [0.8749675983608171]
  マルチトーカーASR (MT-ASR) の性能は、分離時に話者の漏れによって制限されることが多い。 本稿では, 漏洩物を確実に識別し, 除去する相補的プルーニングに基づくパラダイムを提案する。 LibriMix, LibriSpeechMix, AMI Meeting corpus の結果から, 多様な重なり合う条件において, アルゴリズムが常に cpW ER を減少させることが示された。
  論文  参考訳（メタデータ） (2026-08-23T03:21:45Z)
• VoxZip: Semantic-Anchored Temporal KV Cache Compression for Long-Context Audio Inference [53.883871460875234]
  VoxZipは、セマンティックアンコールされたKVキャッシュ圧縮フレームワークである。 第1段階では、音声トークンを時間的に調整、圧縮、融合するために明示的なセマンティックアンカーとして自動音声認識(ASR)文字を使用する。 第2段階では、時間的に減衰した蓄積された注意に基づいて動的フィルタリング戦略を採用し、非定常トークンを除去する。
  論文  参考訳（メタデータ） (2026-08-09T08:17:18Z)
• Temporal Contrastive Decoding: A Training-Free Method for Large Audio-Language Models [56.91801348360746]
  大規模な音声言語モデル(LALM)は、音声、音声、音楽にまたがって一般化される。 統一デコーダは 時空間のスムーズなバイアスを示します LALMの学習自由復号法であるemphTemporal Contrastive Decoding (TCD)を提案する。
  論文  参考訳（メタデータ） (2026-04-16T02:30:41Z)
• VibeVoice Technical Report [90.14596405668135]
  VibeVoiceは、複数の話者で長めの音声を合成するために設計されたモデルである。 本稿では,エンコーデックモデルと比較した場合,データ圧縮を80倍改善する新しい連続音声トークンを提案する。
  論文  参考訳（メタデータ） (2025-08-26T17:09:12Z)
• READ: Real-time and Efficient Asynchronous Diffusion for Audio-driven Talking Head Generation [55.58089937219475]
  本稿では,最初のリアルタイム拡散変換器を用いた音声ヘッド生成フレームワークREADを提案する。 提案手法はまず,VAEを用いて高度に圧縮されたビデオ潜時空間を学習し,音声生成におけるトークン数を大幅に削減する。 また,READは,実行時間を大幅に短縮した競合する音声ヘッドビデオを生成することにより,最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-08-05T13:57:03Z)
• RefreshKV: Updating Small KV Cache During Long-form Generation [54.00118604124301]
  生成中の入力トークンのサブセットに対して、完全なコンテキストアテンションとアテンションを柔軟に交互に交互に切り替える新しい推論手法RefreshKVを提案する。 本手法をオフザシェルフ LLM に適用することにより,様々な長文生成タスクの性能を向上しつつ,エビクションベースの手法に匹敵する高速化を実現する。
  論文  参考訳（メタデータ） (2024-11-08T18:57:07Z)
• CrisperWhisper: Accurate Timestamps on Verbatim Speech Transcriptions [0.5120567378386615]
  より冗長な音声の書き起こしを生成するために、モデルを微調整する。 複数の話者に対する頑健さと背景雑音を高めるために,我々はいくつかの手法を採用している。
  論文  参考訳（メタデータ） (2024-08-29T14:52:42Z)
• Duration-aware pause insertion using pre-trained language model for multi-speaker text-to-speech [40.65850332919397]
  事前訓練された言語モデルに基づいて,より強力な停止挿入フレームワークを提案する。 提案手法では,大規模テキストコーパス上で事前学習した変換器(BERT)の双方向エンコーダ表現を用いる。 また、より自然なマルチスピーカTSに対して、持続時間対応の停止挿入を利用する。
  論文  参考訳（メタデータ） (2023-02-27T10:40:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。