論文の概要: JoyAI-Voice 2.0: A Full-Continuous Autoregressive Speech Generation Model with Semantic-Acoustic Joint Representation

• arxiv url: http://arxiv.org/abs/2610.08834v1
• Date: Tue, 29 Sep 2026 10:12:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.510454
• Title: JoyAI-Voice 2.0: A Full-Continuous Autoregressive Speech Generation Model with Semantic-Acoustic Joint Representation
• Title（参考訳）: JoyAI-Voice 2.0:Semantic-Acoustic Joint Representationを用いた完全連続自己回帰音声生成モデル
• Abstract要約: 完全連続なデュアルエンコーダアーキテクチャ上に構築されたエンドツーエンドの人文型音声生成モデルであるJoyAI-Voice2.0を提案する。 音声は連続的な潜伏語に符号化され、パッチに分割される。各パッチは意味論的・音響的二重エンコーダによって意味的に精製された表現と音響的表現に分解され、これらは計画のために因果自己回帰変換器に融合され、共同で供給される。 Seed-TTSにおける平均単語誤り率は2.51%で、最強のベースラインに対する14.9%の相対的な減少、そして最先端の属性忠実性を実現している。
• 参考スコア（独自算出の注目度）: 57.91059754207182
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present JoyAI-Voice~2.0, an end-to-end anthropomorphic speech generation model built upon a fully continuous, dual-encoder architecture. Raw speech is encoded into continuous latents and partitioned into patches. Each patch is decomposed by a semantic-acoustic dual encoder into a semantically purified representation and an acoustic representation, which are fused and jointly fed to a causal autoregressive Transformer for planning. The Transformer predicts the conditioning for the next patch, and a local diffusion Transformer renders its full latents for 48\,kHz synthesis. The model is trained with a joint flow-matching and stop-prediction objective, followed by supervised fine-tuning and reinforcement learning with DiffusionNFT to improve model performance. It achieves the lowest average word error rate of 2.51\% on Seed-TTS, a 14.9\% relative reduction over the strongest baseline, and state-of-the-art attribute fidelity on InstructTTSEval in both Chinese and English, leading on 5 of 10 perceptual dimensions with the highest overall score of 0.893 on MDVD-Eval.
• Abstract（参考訳）: We present JoyAI-Voice~2.0, a end-to-end anthropomorphic speech generation model built on a fully continuous, dual-encoder architecture。 生音声は連続的な潜伏語にエンコードされ、パッチに分割される。 各パッチは、意味論的二重エンコーダによって意味論的に精製された表現と音響的表現に分解され、これらは、計画のための因果自己回帰変換器に融合され、共同で供給される。 Transformerは次のパッチの条件付けを予測し、ローカル拡散変換器は48,kHzの合成のために完全な潜伏剤をレンダリングする。 本モデルでは,DiffusionNFTを用いた微調整および強化学習を行い,モデル性能の向上を図る。 Seed-TTSにおける平均単語誤り率は2.51\%で、最強のベースラインに対する14.9\%の相対的な減少と、中国語と英語のインストラクションTTSEvalにおける最先端の属性の忠実さを達成し、MDVD-Evalにおける最高スコア0.893の知覚次元の10の内5を達成している。

関連論文リスト

• DiTAR+: Dual Optimization for Robust Autoregressive Diffusion Speech Synthesis [18.187203738724563]
  連続遅延自己回帰拡散変換器(AR-DiT)モデルは、ゼロショット音声生成において大きな可能性を示した。 長い発話や複雑な言語構造を合成する際には、復号安定性が制限されている。 これらの課題に対処する双対最適化フレームワークであるDiTAR+を提案する。
  論文  参考訳（メタデータ） (2026-09-12T12:32:02Z)
• TontaubeV1: Streaming Text-to-Speech with Hierarchical Codec Modeling and Bounded Context [0.04583541422554719]
  TontaubeV1は、単一のコンシューマGPUからのストリーミングを可能にしながら、自然な韻律を保存するモデルである。 本設計では,セマンティックストリームの生成時に,韻律構造がほぼ確立されていると仮定する。 このモデルは、音声コンディショニングのために最大1分間のレファレンスオーディオを受け入れ、主に英語とドイツ語向けに設計されている。
  論文  参考訳（メタデータ） (2026-09-08T13:03:46Z)
• TurboT2VA: Fast Large-Scale Text-to-Video-Audio Generation via Score-Regularized Consistency Distillation [105.14745366152725]
  TurboT2VAは、ジョイントテキスト・ツー・ビデオ・オーディオ生成のための蒸留および推論フレームワークである。 LTX-2では、4段階の蒸留により512$times$768の標準評価解像度でジェネレータのレイテンシを50.52sから2.51sに短縮する。 完全なスタックは、ジェネレータのレイテンシを318.74sから1つのNVIDIA H20で5.83sに短縮し、54.67$times$ジェネレータのみのスピードアップを達成した。
  論文  参考訳（メタデータ） (2026-08-25T15:09:02Z)
• CuteTTS: Efficient and High-Quality Speech Synthesis via Autoregressive Modeling of Continuous Latents [53.73961877379327]
  CuteTTSはコンパクトな連続自己回帰型TSシステムである。 意味的に整列した因果性VAE潜伏剤とパッチレベルの自己回帰、明示的な話者条件付け、双方向のフローマッチングヘッドを組み合わせる。
  論文  参考訳（メタデータ） (2026-08-09T11:10:20Z)
• DiffusionGemma Technical Report [72.10570774996219]
  DiffusionGemma(ディフュージョン・ジェマ)は、離散拡散を用いてテキストを生成する言語モデルである。 DiffusionGemmaは、一度に1つのトークンをデコードする代わりに、256個のトークンのブロックを並列に繰り返し洗練する。 私たちの計算効率の良い2段階トレーニングパイプラインは、開始したARモデルの総トレーニングトークン予算の10%未満を使用します。
  論文  参考訳（メタデータ） (2026-07-31T16:11:46Z)
• Talker-T2AV: Joint Talking Audio-Video Generation with Autoregressive Diffusion Modeling [59.97930201616015]
  本研究では,共有バックボーン内で高レベルなクロスモーダルモデリングを行う自己回帰拡散フレームワークであるTalker-T2AVを提案する。 共有自己回帰言語モデルは、統一されたパッチレベルのトークン空間において、オーディオとビデオに対して共同で原因となる。 ポートレートベンチマークの実験では、Talker-T2AVはリップシンク精度、ビデオ品質、オーディオ品質において、デュアルブランチベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-04-26T07:48:47Z)
• DiM-Gestor: Co-Speech Gesture Generation with Adaptive Layer Normalization Mamba-2 [6.6954598568836925]
  DiM-GestorはMamba-2アーキテクチャを利用したエンドツーエンドの生成モデルである。 Mamba-2上にファジィ特徴抽出器と音声・ジェスチャーマッピングモジュールを構築する。 提案手法は競合する結果をもたらし,メモリ使用量を約2.4倍に削減し,推論速度を2～4倍に向上させる。
  論文  参考訳（メタデータ） (2024-11-23T08:02:03Z)
• TranSpeech: Speech-to-Speech Translation With Bilateral Perturbation [61.564874831498145]
  TranSpeechは、両側摂動を伴う音声から音声への翻訳モデルである。 我々は,非自己回帰S2ST手法を構築し,繰り返しマスキングを行い,単位選択を予測する。 TranSpeechは推論遅延を大幅に改善し、自動回帰技術よりも最大21.4倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2022-05-25T06:34:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。