論文の概要: DiTAR+: Dual Optimization for Robust Autoregressive Diffusion Speech Synthesis

• arxiv url: http://arxiv.org/abs/2609.13909v1
• Date: Sat, 12 Sep 2026 12:32:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.607285
• Title: DiTAR+: Dual Optimization for Robust Autoregressive Diffusion Speech Synthesis
• Title（参考訳）: DiTAR+:ロバスト自己回帰拡散音声合成のための二重最適化
• Abstract要約: 連続遅延自己回帰拡散変換器(AR-DiT)モデルは、ゼロショット音声生成において大きな可能性を示した。 長い発話や複雑な言語構造を合成する際には、復号安定性が制限されている。 これらの課題に対処する双対最適化フレームワークであるDiTAR+を提案する。
• 参考スコア（独自算出の注目度）: 18.187203738724563
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continuous-latent Autoregressive Diffusion Transformer (AR-DiT) models have demonstrated immense potential in zero-shot speech generation. However, they still suffer from limited decoding stability when synthesizing long utterances or complex linguistic structures. This instability primarily stems from a restricted historical receptive field and an acoustic inertia dependency within the diffusion decoder, which causes the model to ignore semantic conditions. To address these challenges, we propose DiTAR+, a dual-optimization framework. First, we introduce Dilated Context Sampling to expand the macro-level historical receptive field without violating physical temporal continuity, thereby preventing cumulative error propagation. Second, we propose Hierarchical Acoustic Masking to prevent shallow layers from attending to acoustic pre-context, explicitly decoupling semantic alignment from acoustic detail reconstruction. Extensive experiments show that our framework effectively mitigates pronunciation errors and semantic hallucinations, enhances generation robustness on challenging sentences, and maintains exceptionally high speaker similarity throughout the entirety of long-form utterances. On the linguistically challenging ZH-Hard set, DiTAR+ reduces the word error rate from 12.478% to 9.893%, and on extended utterances of 25 to 35 seconds it improves speaker similarity from 0.741 to 0.759 while simultaneously lowering the word error rate from 2.778% to 2.173%, outperforming both discrete-token and pure flow-matching baselines.
• Abstract（参考訳）: 連続遅延自己回帰拡散変換器(AR-DiT)モデルは、ゼロショット音声生成において大きな可能性を示した。 しかし、長い発話や複雑な言語構造を合成する際には、復号安定性が制限されている。 この不安定性は主に、制限された歴史的受容場と拡散復号器内の音響的慣性依存性に起因し、モデルが意味的条件を無視する原因となる。 これらの課題に対処するため、我々は双対最適化フレームワークであるDiTAR+を提案する。 まず、Dilated Context Smplingを導入し、物理的時間的連続性に違反することなくマクロレベルの歴史的受容領域を拡張し、累積誤差の伝播を防止する。 第2に, 階層型音響マスキングにより, 浅い層が音響前コンテキストに到達することを防止し, 意味的アライメントを音響的詳細再構成から明確に分離する。 大規模な実験により,我々のフレームワークは発音誤りや意味幻覚を効果的に軽減し,難解な文に対する生成の堅牢性を高め,長文発話全体を通して非常に高い話者類似性を維持できることが示された。 言語的に難しいZH-Hardセットでは、DiTAR+は単語エラー率を12.478%から9.893%に減らし、25秒から35秒の延長で話者類似度を0.741から0.759に改善し、同時に単語エラー率を2.778%から2.173%に下げ、離散的トケンと純粋なフローマッチングベースラインの両方を上回った。

関連論文リスト

• DriftSE: Speech Enhancement with Generative Drifting [11.481441941913985]
  本稿では,潜時分布平衡問題として定式化された音声強調のための一段階生成フレームワークであるDriftSEを提案する。 訓練中、ドリフトフィールドは、潜伏領域でのドリフトを通して、ジェネレータのプッシュフォワード分布とクリーン音声多様体とを一致させる。 我々はDriftSEが正確なポイントワイド目標ではなく、潜在分布を整列させることにより、完全に不対のトレーニングを可能にすることを実証した。
  論文  参考訳（メタデータ） (2026-09-10T22:17:31Z)
• CuteTTS: Efficient and High-Quality Speech Synthesis via Autoregressive Modeling of Continuous Latents [53.73961877379327]
  CuteTTSはコンパクトな連続自己回帰型TSシステムである。 意味的に整列した因果性VAE潜伏剤とパッチレベルの自己回帰、明示的な話者条件付け、双方向のフローマッチングヘッドを組み合わせる。
  論文  参考訳（メタデータ） (2026-08-09T11:10:20Z)
• OmniForcing: Unleashing Real-time Joint Audio-Visual Generation [51.031726911410594]
  最近のジョイントオーディオ・視覚拡散モデルは、優れた生成品質を実現するが、高いレイテンシーに悩まされる。 OmniForcingは、オフラインの双方向拡散モデルを高忠実度ストリーミングオートレジェネレータに蒸留する最初のフレームワークである。
  論文  参考訳（メタデータ） (2026-03-12T08:17:36Z)
• HiAR: Efficient Autoregressive Long Video Generation via Hierarchical Denoising [52.237486207964245]
  HiARは階層的なデノベーションフレームワークで、従来の世代順を逆転させる。 発声ステップ毎に全てのブロックを因果生成し、各ブロックが常に同じノイズレベルでコンテキストで条件付けされるようにする。 VBench(20世代)では、HiARは比較したすべての方法の中で最高の総合スコアと最低時間ドリフトを達成する。
  論文  参考訳（メタデータ） (2026-03-09T17:58:16Z)
• Listen Like a Teacher: Mitigating Whisper Hallucinations using Adaptive Layer Attention and Knowledge Distillation [9.486565210140279]
  Whisperモデルは、多言語およびゼロショット設定における強力なパフォーマンスのために広く採用されている。 ウィスパースタイルのASRシステムにおける幻覚を減らすための以前の研究は、主に誤ったコンテンツをフィルタリングするために、音声前処理や書き起こしの後処理に重点を置いていた。 本稿では,まずアダプティブ・レイヤ・アテンション(ALA)を用いてエンコーダのロバスト性を向上し,多目的知識蒸留(KD)フレームワークを用いた幻覚を抑制する2段階アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2025-11-18T07:52:47Z)
• DASA: Difficulty-Aware Semantic Augmentation for Speaker Verification [55.306583814017046]
  本稿では,話者認証のための難易度認識型セマンティック拡張(DASA)手法を提案する。 DASAは、話者埋め込み空間における多様なトレーニングサンプルを、無視できる余分な計算コストで生成する。 最も良い結果は、CN-Celeb評価セット上でのEER測定値の14.6%の相対的な減少を達成する。
  論文  参考訳（メタデータ） (2023-10-18T17:07:05Z)
• High-Fidelity Speech Synthesis with Minimal Supervision: All Using Diffusion Models [56.00939852727501]
  最小教師付き音声合成は、2種類の離散音声表現を組み合わせることでTSを分離する。 非自己回帰フレームワークは、制御可能性を高め、持続拡散モデルは、多様化された韻律表現を可能にする。
  論文  参考訳（メタデータ） (2023-09-27T09:27:03Z)
• Bridging the Granularity Gap for Acoustic Modeling [32.453554287092054]
  トランスフォーマーは音声のデファクトスタンダードになっているが、きめ細かいフレームレベルの特徴に基づくモデリングは依然としてオープンな課題である。 より完全な意味情報を含む粗粒度単位に徐々に音響特徴を圧縮するtextitProgressive Down-Sampling (PDS)を提案する。
  論文  参考訳（メタデータ） (2023-05-27T03:52:52Z)
• TranSpeech: Speech-to-Speech Translation With Bilateral Perturbation [61.564874831498145]
  TranSpeechは、両側摂動を伴う音声から音声への翻訳モデルである。 我々は,非自己回帰S2ST手法を構築し,繰り返しマスキングを行い,単位選択を予測する。 TranSpeechは推論遅延を大幅に改善し、自動回帰技術よりも最大21.4倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2022-05-25T06:34:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。