論文の概要: CoSTA: Compressed Speech Token Adaptation for Efficient Spoken Dialogue Models

• arxiv url: http://arxiv.org/abs/2610.21143v1
• Date: Thu, 15 Oct 2026 03:00:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.144119
• Title: CoSTA: Compressed Speech Token Adaptation for Efficient Spoken Dialogue Models
• Title（参考訳）: CoSTA:効率的な音声対話モデルのための圧縮音声トークン適応
• Abstract要約: CoSTAは、生成と合成トークン空間を分離する互換性を保つポストホックフレームワークである。 バイリンガル音声対話ベンチマークでは、CoSTAは約1.7Times$ expanded speech-token generation speedを達成している。 分析により、限られた予算下でのより持続的な相互作用が示され、圧縮、復号効率、品質の実践的なトレードオフが示される。
• 参考スコア（独自算出の注目度）: 14.81976097317724
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spoken Dialogue Models (SDMs) typically share a speech-token space for generation and synthesis, leading to long autoregressive sequences and costly inference. Lower-rate speech tokenizers shorten sequences but may introduce compression-quality trade-offs and costly replacement without breaking this coupling. To address this limitation, we propose CoSTA, a compatibility-preserving post-hoc framework that decouples generation and synthesis token spaces while retaining the original speech tokenizer and decoder. CoSTA extends the generation token space with compressed representations via mean-initialized vocabulary extension, pronunciation adaptation, and dialogue adaptation, followed by deterministic expansion back to the original speech-token space before synthesis. On bilingual speech-dialogue benchmarks, CoSTA achieves approximately $1.7\times$ expanded speech-token generation speed, lower full-response latency, and higher throughput while preserving response quality. Analyses show more sustained interaction under limited budgets and a practical trade-off among compression, decoding efficiency, and quality. Further experiments demonstrate cross-architecture transfer and complementarity to low-rate tokenization.
• Abstract（参考訳）: 音声対話モデル(SDM)は通常、生成と合成のための音声処理空間を共有し、長い自己回帰シーケンスとコストのかかる推論をもたらす。 低いレートの音声トークンはシーケンスを短縮するが、圧縮品質のトレードオフを導入し、この結合を壊さずにコストがかかる。 この制限に対処するため、私たちは、元の音声トークン化器とデコーダを維持しながら、生成と合成のトークン空間を分離する、互換性を保ったポストホックフレームワークであるCoSTAを提案する。 CoSTAは、平均初期化語彙拡張、発音適応、対話適応を通じて圧縮された表現で生成トークン空間を拡張し、その後、合成前に元の音声-音声空間に決定論的に拡張する。 バイリンガル音声対話ベンチマークでは、CoSTAは約1.7\times$拡張された音声トケ生成速度、全応答遅延の低減、応答品質の保存によるスループットの向上を実現している。 分析により、限られた予算下でのより持続的な相互作用が示され、圧縮、復号効率、品質の実践的なトレードオフが示される。 さらなる実験では、クロスアーキテクチャ転送と低レートトークン化の相補性を示す。

関連論文リスト

• TASTE-Streaming: Towards Streamable Text-Aligned Speech Tokenization and Embedding for Spoken Language Modeling [52.519745466772825]
  テキスト音声による音声合成は、自然とインテリジェントな音声に基づく対話を指向する。 TASTEは音声トークンを生成し、テキストのトークンと長さを一致させる。 本稿ではリアルタイム利用に適したTASTEの拡張であるTASTE-Sを提案する。
  論文  参考訳（メタデータ） (2026-03-12T18:13:48Z)
• Beyond Fixed Frames: Dynamic Character-Aligned Speech Tokenization [27.32235541083431]
  動的キャラクタアライズされた音声トケナイザであるDyCASTを紹介する。 DyCASTは、訓練中にトークンと文字レベルの言語単位を関連付けることを学ぶ。 また,不確かさを増大させることなく再現性を高める検索拡張復号機構を導入する。
  論文  参考訳（メタデータ） (2026-01-30T16:58:40Z)
• Towards Efficient Speech-Text Jointly Decoding within One Speech Language Model [76.06585781346601]
  音声言語モデル(Speech LMs)は、単一のモデル内でエンドツーエンドの音声テキストモデリングを可能にする。 音声テキストの共同復号パラダイムの選択は、性能、効率、アライメント品質において重要な役割を担っている。
  論文  参考訳（メタデータ） (2025-06-04T23:53:49Z)
• CosyVoice: A Scalable Multilingual Zero-shot Text-to-speech Synthesizer based on Supervised Semantic Tokens [49.569695524535454]
  本稿では, ベクトル量子化をエンコーダに挿入することにより, 多言語音声認識モデルから導出される, 教師付きセマンティックトークンを用いた音声表現を提案する。 トークンをベースとした拡張性のあるゼロショットTSシンセサイザーであるCosyVoiceは,テキスト・ツー・ツー・ケン生成のためのLLMと,トークン・ツー・音声合成のための条件付きフローマッチングモデルから構成される。
  論文  参考訳（メタデータ） (2024-07-07T15:16:19Z)
• A Non-autoregressive Generation Framework for End-to-End Simultaneous Speech-to-Speech Translation [48.84039953531355]
  同時音声翻訳のための新しい非自己回帰生成フレームワーク(NAST-S2X)を提案する。 NAST-S2Xは、音声テキストと音声音声タスクを統合エンドツーエンドフレームワークに統合する。 3秒未満の遅延で高品質な同時解釈を実現し、オフライン生成において28倍のデコードスピードアップを提供する。
  論文  参考訳（メタデータ） (2024-06-11T04:25:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。