論文の概要: TLDR: Compressing Audio Tokens for Efficient Autoregressive Text-to-Speech

• arxiv url: http://arxiv.org/abs/2606.09019v1
• Date: Mon, 08 Jun 2026 04:32:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:06.697096
• Title: TLDR: Compressing Audio Tokens for Efficient Autoregressive Text-to-Speech
• Title（参考訳）: TLDR:効率的な自己回帰型テキスト音声合成のための音声トークン圧縮
• Authors: Yejin Lee, Junwon Moon, Hyoeun Kim, Hyunjin Choi, Heeseung Kim, Kyuhong Shim,
• Abstract要約: Codec-based autoregressive (AR) speech language model has achieved strong text-to-speech (TTS) quality by modeling speech as sequences of disk audio tokens with large pretrained backbones。 音声入力シーケンスはテキストシーケンスよりもはるかに長いので、ARバックボーンは各トークン位置で因果計算を行い、シーケンスの長さで成長するKVキャッシュを維持する必要がある。 TLDRは、トークンレベルの音声シーケンスからパッチレベルのシーケンスへ因果モデリングをシフトすることで、AR-TTSを高速化するパッチベースの自動回帰フレームワークである。
• 参考スコア（独自算出の注目度）: 17.3338731714368
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Codec-based autoregressive (AR) speech language models have achieved strong text-to-speech (TTS) quality by modeling speech as sequences of discrete audio tokens with large pretrained backbones. However, this token-level formulation creates a structural efficiency bottleneck: speech-token sequences are much longer than text sequences, requiring the AR backbone to perform causal computation at every token position and maintain a KV cache that grows with the sequence length. We introduce TLDR, a patch-based autoregressive framework that accelerates codec-based AR-TTS by shifting the causal modeling from token-level speech sequences to patch-level sequences. TLDR groups consecutive codec tokens into compact latent patches using a lightweight compressor, models the resulting shorter patch sequence with a frozen pretrained AR-TTS backbone adapted by LoRA, and reconstructs fine-grained speech tokens within each patch using a speaker-conditioned extractor. With a patch size of 4, TLDR achieves a 1.8x inference speedup over the baseline AR-TTS model and reduces global KV-cache memory by up to 75%. Experimental results indicate that patch-level global causal modeling can be a practical way to reduce the inference cost of pretrained codec-based AR-TTS systems without replacing the existing modules.
• Abstract（参考訳）: Codec-based autoregressive (AR) speech language model has achieved strong text-to-speech (TTS) quality by modeling speech as sequences of disk audio tokens with large pretrained backbones。 しかし、このトークンレベルの定式化は構造的効率のボトルネックを生み出す: 音声入力シーケンスはテキストシーケンスよりもはるかに長いので、ARバックボーンは各トークン位置で因果計算を行い、シーケンスの長さで成長するKVキャッシュを維持する必要がある。 TLDRは,トークンレベルの音声シーケンスからパッチレベルのシーケンスへ因果モデリングをシフトすることで,コーデックベースのAR-TTSを高速化する,パッチベースの自己回帰フレームワークである。 TLDRは、軽量な圧縮機を用いてコンパクトな潜伏パッチに連続的にコーデックトークンをグループ化し、結果として得られた短いパッチシーケンスを、LoRAに適応した凍結事前訓練されたAR-TTSバックボーンでモデル化し、スピーカーコンディショニングされた抽出器を用いて各パッチ内の微細な音声トークンを再構成する。 パッチサイズ4のTLDRは、ベースラインのAR-TTSモデルよりも1.8倍の高速化を実現し、グローバルなKVキャッシュメモリを最大75%削減する。 実験結果から,パッチレベルのグローバル因果モデリングは,既存のモジュールを置き換えることなく,事前学習したコーデックベースのAR-TTSシステムの推論コストを削減できる可能性が示唆された。

関連論文リスト

• Beyond Fixed Frames: Dynamic Character-Aligned Speech Tokenization [27.32235541083431]
  動的キャラクタアライズされた音声トケナイザであるDyCASTを紹介する。 DyCASTは、訓練中にトークンと文字レベルの言語単位を関連付けることを学ぶ。 また,不確かさを増大させることなく再現性を高める検索拡張復号機構を導入する。
  論文  参考訳（メタデータ） (2026-01-30T16:58:40Z)
• Next Tokens Denoising for Speech Synthesis [51.320443764269726]
  Dragon-FMは、ARとフローマッチングを統合する新しいテキスト音声(TTS)設計である。 毎秒12.5トークンのコンパクトレートで48kHzのオーディオトークンをチャンクで処理する。 ポッドキャストデータセットの実験では、高品質なゼロショットポッドキャストを効率的に生成できることが示されている。
  論文  参考訳（メタデータ） (2025-07-30T15:03:36Z)
• Quantize More, Lose Less: Autoregressive Generation from Residually Quantized Speech Representations [26.938560887095658]
  既存の自己回帰的アプローチは、しばしば大きな情報損失を被るシングルコードブック表現に依存している。 我々は、新しいオーディオであるQDAC上に構築された新しいTSフレームワークであるQTTSを提案する。 実験により,提案フレームワークは,ベースラインよりも高い合成品質を実現し,表現的コンテンツを保存できることが実証された。
  論文  参考訳（メタデータ） (2025-07-16T12:47:09Z)
• Pseudo-Autoregressive Neural Codec Language Models for Efficient Zero-Shot Text-to-Speech Synthesis [64.12708207721276]
  本稿では,AR と NAR を統一した新しい擬似自己回帰(PAR)言語モデリング手法を提案する。 PAR 上に構築した PALLE は 2 段階の TTS システムであり, PAR を初期生成に利用し, NAR を改良する。 実験では、LibriTTSでトレーニングされたPALLEが、大規模データでトレーニングされた最先端システムを上回っていることが示された。
  論文  参考訳（メタデータ） (2025-04-14T16:03:21Z)
• Spark-TTS: An Efficient LLM-Based Text-to-Speech Model with Single-Stream Decoupled Speech Tokens [31.575335190916995]
  本稿では,音声を2つの補完トークンタイプに分解する単一ストリーム音声であるBiCodecを利用した新しいシステムであるSpark-TTSを紹介する。 制御可能なTSの研究を容易にするために,包括的な属性アノテーションを備えた10000時間データセットであるVoxBoxを紹介した。
  論文  参考訳（メタデータ） (2025-03-03T16:23:10Z)
• VALL-E R: Robust and Efficient Zero-Shot Text-to-Speech Synthesis via Monotonic Alignment [101.2489492032816]
  VALL-E Rは、堅牢で効率的なゼロショットテキスト音声合成システムである。 この研究は、失語症に罹患した人々のためのスピーチの作成を含む有意義なプロジェクトに適用される可能性がある。
  論文  参考訳（メタデータ） (2024-06-12T04:09:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。