論文の概要: DiTAR: Diffusion Transformer Autoregressive Modeling for Speech Generation

• arxiv url: http://arxiv.org/abs/2502.03930v2
• Date: Fri, 14 Feb 2025 09:49:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-17 18:05:52.575136
• Title: DiTAR: Diffusion Transformer Autoregressive Modeling for Speech Generation
• Title（参考訳）: DiTAR:音声生成のための拡散変圧器自己回帰モデル
• Authors: Dongya Jia, Zhuo Chen, Jiawei Chen, Chenpeng Du, Jian Wu, Jian Cong, Xiaobin Zhuang, Chumin Li, Zhen Wei, Yuping Wang, Yuxuan Wang,
• Abstract要約: Diffusion Transformer Autoregressive Modeling (DiTAR)は、言語モデルと拡散トランスフォーマーを組み合わせたパッチベースの自動回帰フレームワークである。 ゼロショット音声生成において、DiTARは、ロバスト性、話者類似性、自然性において最先端のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 24.85655658070008
• License:
• Abstract: Several recent studies have attempted to autoregressively generate continuous speech representations without discrete speech tokens by combining diffusion and autoregressive models, yet they often face challenges with excessive computational loads or suboptimal outcomes. In this work, we propose Diffusion Transformer Autoregressive Modeling (DiTAR), a patch-based autoregressive framework combining a language model with a diffusion transformer. This approach significantly enhances the efficacy of autoregressive models for continuous tokens and reduces computational demands. DiTAR utilizes a divide-and-conquer strategy for patch generation, where the language model processes aggregated patch embeddings and the diffusion transformer subsequently generates the next patch based on the output of the language model. For inference, we propose defining temperature as the time point of introducing noise during the reverse diffusion ODE to balance diversity and determinism. We also show in the extensive scaling analysis that DiTAR has superb scalability. In zero-shot speech generation, DiTAR achieves state-of-the-art performance in robustness, speaker similarity, and naturalness.
• Abstract（参考訳）: 最近のいくつかの研究では、拡散モデルと自己回帰モデルを組み合わせることで、離散的な音声トークンを使わずに、連続した音声表現を自動回帰的に生成しようと試みているが、過度な計算負荷や準最適結果の課題に直面していることが多い。 本研究では,Diffusion Transformer Autoregressive Modeling (DiTAR)を提案する。 このアプローチは、連続トークンに対する自己回帰モデルの有効性を大幅に向上させ、計算要求を減らす。 DiTARは、言語モデルが集約されたパッチ埋め込みを処理し、拡散変換器はその後、言語モデルの出力に基づいて次のパッチを生成する。 本稿では,逆拡散モードにおける雑音発生の時点として温度を定義することで,多様性と決定性のバランスをとることを提案する。 また、DiTARがスケーラビリティを超越しているという広範なスケーリング分析でも示しています。 ゼロショット音声生成において、DiTARは、ロバスト性、話者類似性、自然性において最先端のパフォーマンスを達成する。

関連論文リスト

• Continuous Autoregressive Modeling with Stochastic Monotonic Alignment for Speech Synthesis [4.062046658662013]
  音声合成のための新しい自己回帰モデル手法を提案する。 本稿では,変分型オートエンコーダ(VAE)と多モード潜在空間と,ガウス混合モデル(GMM)を条件付き確率分布として用いた自己回帰モデルを組み合わせる。 提案手法は, 主観的, 客観的な評価において, 最先端の自己回帰モデルであるVALL-Eよりも優れていた。
  論文  参考訳（メタデータ） (2025-02-03T05:53:59Z)
• Multimodal Latent Language Modeling with Next-Token Diffusion [111.93906046452125]
  マルチモーダル生成モデルは、離散データ(テキストやコードなど)と連続データ(画像、オーディオ、ビデオなど)の両方を扱う統一的なアプローチを必要とする。 因果変換器を用いて連続データと離散データをシームレスに統合する潜在言語モデリング(LatentLM)を提案する。
  論文  参考訳（メタデータ） (2024-12-11T18:57:32Z)
• ACDiT: Interpolating Autoregressive Conditional Modeling and Diffusion Transformer [95.80384464922147]
  連続的な視覚生成には、フルシーケンスの拡散に基づくアプローチが必要である。 本稿では,自己回帰的ブロックワイド条件拡散変換器ACDiTを提案する。 本稿では,拡散目標を訓練しながら,視覚理解タスクにACDiTをシームレスに使用できることを実証する。
  論文  参考訳（メタデータ） (2024-12-10T18:13:20Z)
• Conditional [MASK] Discrete Diffusion Language Model [14.208510167132983]
  Diffusion-EAGSは、条件付きマスキング言語モデルと拡散言語モデルを統合するフレームワークである。 本研究では,Diffusion-EAGSが最高の品質・多様性のトレードオフを実現し,非自己回帰テキスト生成の有効性を示す。
  論文  参考訳（メタデータ） (2024-11-10T11:49:36Z)
• Energy-Based Diffusion Language Models for Text Generation [126.23425882687195]
  エネルギーベース拡散言語モデル(Energy-based Diffusion Language Model, EDLM)は、拡散ステップごとに全シーケンスレベルで動作するエネルギーベースモデルである。 我々のフレームワークは、既存の拡散モデルよりも1.3$times$のサンプリングスピードアップを提供する。
  論文  参考訳（メタデータ） (2024-10-28T17:25:56Z)
• Diffusion of Thoughts: Chain-of-Thought Reasoning in Diffusion Language Models [100.53662473219806]
  Diffusion-of-Thought (DoT) は、拡散モデルとChain-of-Thoughtを統合する新しいアプローチである。 DoTは、拡散言語モデルを通じて、時間とともに推論ステップが拡散することを可能にする。 本研究は,多桁乗算,論理学,小学校数学におけるDoTの有効性を示すものである。
  論文  参考訳（メタデータ） (2024-02-12T16:23:28Z)
• Minimally-Supervised Speech Synthesis with Conditional Diffusion Model and Language Model: A Comparative Study of Semantic Coding [57.42429912884543]
  Diff-LM-Speech, Tetra-Diff-Speech, Tri-Diff-Speechを提案する。 また,変分オートエンコーダと韻律ボトルネックに基づくプロンプトエンコーダ構造を導入し,プロンプト表現能力の向上を図る。 実験の結果,提案手法はベースライン法よりも優れていた。
  論文  参考訳（メタデータ） (2023-07-28T11:20:23Z)
• PLANNER: Generating Diversified Paragraph via Latent Language Diffusion Model [37.2192243883707]
  本稿では,潜在意味の拡散と自己回帰生成を組み合わせ,流動的なテキストを生成するモデルであるPLANNERを提案する。 意味生成, テキスト補完, 要約の結果は, 高品質な長文を生成する上での有効性を示す。
  論文  参考訳（メタデータ） (2023-06-05T01:36:39Z)
• Semantic-Conditional Diffusion Networks for Image Captioning [116.86677915812508]
  画像キャプションに適した拡散モデルに基づく新しいパラダイム,すなわちセマンティック・コンディション・ディフュージョン・ネットワーク(SCD-Net)を提案する。 SCD-Netでは、複数の拡散変換器構造を積み重ねて、より優れた視覚言語アライメントと言語的コヒーレンスで出力文を徐々に強化する。 COCOデータセットの実験は、困難な画像キャプションタスクにおいて拡散モデルを使用することの有望な可能性を示している。
  論文  参考訳（メタデータ） (2022-12-06T16:08:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。