Fugu-MT 論文翻訳(概要): Stable Autoregressive Speech Generation with Low-Frame-Rate High-Dimensional Continuous Tokens

論文の概要: Stable Autoregressive Speech Generation with Low-Frame-Rate High-Dimensional Continuous Tokens

arxiv url: http://arxiv.org/abs/2607.29363v1
Date: Fri, 31 Jul 2026 12:51:24 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-03 14:29:40.713104
Title: Stable Autoregressive Speech Generation with Low-Frame-Rate High-Dimensional Continuous Tokens
Title（参考訳）: 低フレーム高次元連続トークンを用いた安定自己回帰音声生成
Abstract要約: 低フレームレート,高次元,高帯域幅の連続表現が,ストリーミング生成フレームワークと共設計可能であることを示す。本設計では, 復元品質を保ち, 単点予測性を向上し, 競合するWERを実現し, 安定な長周期合成を維持できる。
参考スコア（独自算出の注目度）: 29.85404709913323
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Balancing sequence length, representational capacity, and long-horizon stability is a central problem in autoregressive (AR) speech and audio generation. Representations with higher frame rates or greater capacity can preserve more signal detail, but they also make streaming generation more vulnerable to distribution drift and AR error accumulation. Conversely, shorter and more compressed representations simplify AR modeling, but their limited bandwidth may discard important components and constrain the upper bound of reconstruction fidelity and generation quality. We ask whether a low-frame-rate, high-dimensional, high-bandwidth continuous representation can be co-designed with a streaming generation framework to support robust high-fidelity reconstruction, strong single-token predictability, and superior long-horizon stability. We decompose this goal into two coupled problems: what geometric and statistical properties a high-dimensional representation space should have, and how an AR continuous-token generator should be structured to resist error accumulation. Accordingly, we propose Locodec, a locally encoded codec that shapes its representation space to improve the interpolatability of a lower-dimensional core manifold and the identifiability of the native high-dimensional coordinates, thereby improving the predictability of high-dimensional high-bandwidth tokens. We also propose MP-ELD, a single-token AR flow-matching framework that uses multi-path information routing and residual classifier-free guidance to mitigate error accumulation. Experiments with 8-Hz, 768-dimensional tokens show that our design preserves reconstruction quality, improves single-token predictability, achieves competitive WER, and maintains stable long-form synthesis, without using external SSL/ASR models, pretrained text language models, or post-training stages.
Abstract（参考訳）: 自己回帰(AR)音声および音声生成において、配列長のバランシング、表現能力、長水平安定性が中心的な問題である。フレームレートやキャパシティの高い表現は、より多くの信号の詳細を保存することができるが、配信のドリフトやARエラーの蓄積に対してストリーミング生成をより脆弱にする。逆に、より短くより圧縮された表現はARモデリングを単純化するが、その限られた帯域幅は重要なコンポーネントを廃止し、再構成の忠実さと生成品質の上限を制約する可能性がある。低フレームレート,高次元,高帯域幅の連続表現が,堅牢な高忠実度再構成,強いシングルトーケン予測可能性,優れた長水平安定性をサポートするためのストリーミング生成フレームワークと共設計可能かどうかを問う。我々はこの目標を,高次元表現空間の幾何学的および統計的性質が持つべき問題と,AR連続点生成器がエラーの蓄積に抵抗するためにどのように構成されるべきかという2つの結合した問題に分解する。そこで我々は,ローコーデック(Locodec)を提案する。ローコーデックは,低次元コア多様体の補間性とネイティブ高次元座標の識別性を改善し,高次元高帯域トークンの予測可能性を向上させる。また,マルチパス情報ルーティングと残差分類器フリーガイダンスを用いて,誤りの蓄積を緩和する単一トークンARフローマッチングフレームワークMP-ELDを提案する。 8Hz, 768次元のトークンを用いた実験により, 設計は再構築品質を保ち, シングルトークンの予測可能性を改善し, 競争力のあるWERを実現し, 外部SSL/ASRモデル, 事前訓練されたテキスト言語モデル, あるいは後訓練段階を使わずに, 安定した長期合成を維持できることがわかった。

関連論文リスト

Rarity-Aware Discrete Diffusion with Spatially Consistent Decoding for Photo-Realistic Image Super-Resolution [80.28905986756685]
DiMOO-SRは光リアル画像超解法のための多モード離散拡散フレームワークである。広く使われている実世界のSRベンチマークの実験では、DiMOO-SRはいくつかの並列デコードステップで競合する知覚品質を達成する。
論文参考訳（メタデータ） (2026-07-20T07:01:01Z)
Where to Refine, When to Stop: Rethinking Redundancy via Latent Discrepancy for Efficient Visual Autoregressive Generation [50.139984798361375]
遅延不一致による冗長性を除去する学習自由フレームワークを提案する。 LD-Pruningは、Infinity-8Bの最大2.35倍のスピードアップを実現し、高い生成品質を維持しながら推論を大幅に削減する。
論文参考訳（メタデータ） (2026-05-29T19:34:39Z)
Improving Reconstruction of Representation Autoencoder [52.817427902597416]
低レベル情報を欠いた意味的特徴を増強する表現オートエンコーダLV-RAEを提案する。実験により,LV-RAEは意味的抽象化を保ちながら,再構成の忠実度を著しく向上することが示された。
論文参考訳（メタデータ） (2026-02-09T13:12:35Z)
ResTok: Learning Hierarchical Residuals in 1D Visual Tokenizers for Autoregressive Image Generation [64.84095852784714]
Residual Tokenizer (ResTok)は、画像トークンと潜在トークンの両方の階層的残基を構築する1Dビジュアルトークンライザである。視覚的トークン化における階層的残差の復元はAR画像生成を著しく改善し,ImageNet-256ではわずか9ステップで2.34gFIDを達成した。
論文参考訳（メタデータ） (2026-01-07T14:09:18Z)
LUMA-RAG: Lifelong Multimodal Agents with Provably Stable Streaming Alignment [0.0]
Retrieval-Augmented Generationは、検証可能な証拠で大規模言語モデルのアウトプットを基礎づける主要なパラダイムとして登場した。 LUMA-RAGは,3つの重要なイノベーションを特徴とする,生涯にわたるマルチモーダルエージェントアーキテクチャである。実験では、堅牢なテキスト・ツー・イメージ検索(Recall@10 = 0.94)、製品量子化オフロードによる優雅なパフォーマンス劣化、安定したオーディオ・ツー・イメージランキング(Safe@1 = 1.0)が示されている。
論文参考訳（メタデータ） (2025-11-04T08:47:12Z)
Hawk: Leveraging Spatial Context for Faster Autoregressive Text-to-Image Generation [87.00172597953228]
投機的復号化は、品質を損なうことなくテキスト生成を加速させる可能性を示している。我々は、画像の空間構造を利用して投機モデルをより正確で効率的な予測へと導く新しいアプローチであるHawkを紹介する。複数のテキストと画像のベンチマークの実験結果は、標準的なARモデルよりも1.71倍のスピードアップを示している。
論文参考訳（メタデータ） (2025-10-29T17:43:31Z)
Next Tokens Denoising for Speech Synthesis [51.320443764269726]
Dragon-FMは、ARとフローマッチングを統合する新しいテキスト音声(TTS)設計である。毎秒12.5トークンのコンパクトレートで48kHzのオーディオトークンをチャンクで処理する。ポッドキャストデータセットの実験では、高品質なゼロショットポッドキャストを効率的に生成できることが示されている。
論文参考訳（メタデータ） (2025-07-30T15:03:36Z)
Frequency-Aware Autoregressive Modeling for Efficient High-Resolution Image Synthesis [40.93077975823353]
視覚的自己回帰モデリングは、次のスケールの予測パラダイムに基づいており、画像の品質とモデルのスケーラビリティにおいて顕著な優位性を示している。しかし、高解像度の段階での計算オーバーヘッドは、相当数のトークンが関与しているため、依然として重要な課題である。 Sparsevarは、次世代の予測のためのプラグイン・アンド・プレイ・アクセラレーション・フレームワークで、追加のトレーニングを必要とせず、推論中に低周波トークンを動的に排除する。
論文参考訳（メタデータ） (2025-07-28T01:13:24Z)
Quantize More, Lose Less: Autoregressive Generation from Residually Quantized Speech Representations [26.938560887095658]
既存の自己回帰的アプローチは、しばしば大きな情報損失を被るシングルコードブック表現に依存している。我々は、新しいオーディオであるQDAC上に構築された新しいTSフレームワークであるQTTSを提案する。実験により,提案フレームワークは,ベースラインよりも高い合成品質を実現し,表現的コンテンツを保存できることが実証された。
論文参考訳（メタデータ） (2025-07-16T12:47:09Z)
Fast Autoregressive Models for Continuous Latent Generation [49.079819389916764]
自己回帰モデルは、特にNLPにおいて、シーケンシャルなデータ生成において顕著な成功を収めている。最近の研究で、マスク付き自己回帰モデル(MAR)は拡散ヘッドを用いて連続空間内のトーケン分布をモデル化することによって量子化をバイパスする。本稿では,MARの拡散ヘッドを軽量ショートカットヘッドに置き換える新しいフレームワークであるFast AutoRegressive Model (FAR)を提案する。
論文参考訳（メタデータ） (2025-04-24T13:57:08Z)
CD-NGP: A Fast Scalable Continual Representation for Dynamic Scenes [31.783117836434403]
CD-NGPは、メモリオーバーヘッドを減らし、スケーラビリティを向上させる継続的学習フレームワークである。トレーニングメモリ使用量は14GBに大幅に削減され、DyNeRFのストリーミング帯域幅はわずか0.4MBである。
論文参考訳（メタデータ） (2024-09-08T17:35:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。