論文の概要: MeanAudio: Fast and Faithful Text-to-Audio Generation with Mean Flows

• arxiv url: http://arxiv.org/abs/2508.06098v1
• Date: Fri, 08 Aug 2025 07:49:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-11 20:39:06.129199
• Title: MeanAudio: Fast and Faithful Text-to-Audio Generation with Mean Flows
• Title（参考訳）: MeanAudio: 平均フローによる高速で忠実なテキスト・ツー・オーディオ生成
• Authors: Xiquan Li, Junxi Liu, Yuzhe Liang, Zhikang Niu, Wenxi Chen, Xie Chen,
• Abstract要約: MeanAudioはMeanFlowベースの新しいモデルで、高速で忠実なテキスト・オーディオ生成に適している。 トレーニング中の平均速度場を後退させ、フロー軌跡の始点から終点へ直接マッピングすることで、高速な生成を可能にする。 実験により、MeanAudioは1ステップの音声生成において最先端のパフォーマンスを達成することが示された。
• 参考スコア（独自算出の注目度）: 2.808913221639433
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent developments in diffusion- and flow- based models have significantly advanced Text-to-Audio Generation (TTA). While achieving great synthesis quality and controllability, current TTA systems still suffer from slow inference speed, which significantly limits their practical applicability. This paper presents MeanAudio, a novel MeanFlow-based model tailored for fast and faithful text-to-audio generation. Built on a Flux-style latent transformer, MeanAudio regresses the average velocity field during training, enabling fast generation by mapping directly from the start to the endpoint of the flow trajectory. By incorporating classifier-free guidance (CFG) into the training target, MeanAudio incurs no additional cost in the guided sampling process. To further stabilize training, we propose an instantaneous-to-mean curriculum with flow field mix-up, which encourages the model to first learn the foundational instantaneous dynamics, and then gradually adapt to mean flows. This strategy proves critical for enhancing training efficiency and generation quality. Experimental results demonstrate that MeanAudio achieves state-of-the-art performance in single-step audio generation. Specifically, it achieves a real time factor (RTF) of 0.013 on a single NVIDIA RTX 3090, yielding a 100x speedup over SOTA diffusion-based TTA systems. Moreover, MeanAudio also demonstrates strong performance in multi-step generation, enabling smooth and coherent transitions across successive synthesis steps.
• Abstract（参考訳）: 近年の拡散・流動モデルの発展により,テキスト・ツー・オーディオ・ジェネレーション(TTA)が大幅に進歩している。 優れた合成品質と制御性を達成する一方で、現在のTTAシステムは依然として推論速度が遅く、実用性が著しく制限されている。 本稿では,高速で忠実なテキスト・オーディオ生成に適したMeanFlowベースの新しいモデルであるMeanAudioについて述べる。 フラックス式潜水トランス上に構築されたMeanAudioは、トレーニング中の平均速度場を回帰し、フロー軌道の始点から終点への直接マッピングによって高速な生成を可能にする。 MeanAudioは、分類器フリーガイダンス(CFG)をトレーニング対象に組み込むことで、ガイドされたサンプリングプロセスに追加のコストを発生させない。 さらにトレーニングの安定化を図るため,フローフィールドを混合した即時学習カリキュラムを提案し,まず基礎的な瞬間力学を学習し,その後,平均フローに徐々に適応させる。 この戦略は、訓練効率と生成品質を向上させるために重要である。 実験結果から,MeanAudioは1段階の音声生成において最先端の性能を実現することが示された。 具体的には、単一のNVIDIA RTX 3090上で0.013のリアルタイム係数(RTF)を達成し、SOTA拡散ベースのTTAシステムよりも100倍のスピードアップを実現している。 さらに、MeanAudioはマルチステップ生成において強い性能を示し、連続した合成ステップ間で滑らかでコヒーレントな遷移を可能にする。

関連論文リスト

• Voxtral Realtime [134.66962524291424]
  Voxtral Realtimeはストリーミング自動音声認識モデルである。 オフラインの書き込み品質は、秒以下のレイテンシで一致します。 私たちはApache 2.0ライセンスの下でモデルウェイトをリリースしています。
  論文  参考訳（メタデータ） (2026-02-11T19:17:10Z)
• Representation-Regularized Convolutional Audio Transformer for Audio Understanding [53.092757178419355]
  スクラッチからのブートストラップ表現は計算に高価で、しばしば収束するために広範囲のトレーニングを必要とします。 本稿では,これらの課題に対処するための統合フレームワークであるConvolutional Audio Transformer (CAT)を提案する。
  論文  参考訳（メタデータ） (2026-01-29T12:16:19Z)
• FCPE: A Fast Context-based Pitch Estimation Model [10.788664167503676]
  本稿では,低計算コストと頑健な耐雑音性を維持しつつ,メルスペクトルの特徴を捉える高速な文脈ベースピッチ推定モデルを提案する。 実験の結果,MIR-1Kデータセット上で96.79%のRAW Pitch Accuracy(RPA)が達成された。
  論文  参考訳（メタデータ） (2025-09-18T16:50:09Z)
• MeanFlow-Accelerated Multimodal Video-to-Audio Synthesis via One-Step Generation [12.665130073406651]
  サイレントビデオから音声を合成する上で重要な課題は、合成品質と推論効率のトレードオフである。 平均速度を用いて流れ場を特徴付ける平均流加速モデルを提案する。 我々は,MeanFlowをネットワークに組み込むことで,知覚品質を損なうことなく推論速度を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2025-09-08T07:15:21Z)
• READ: Real-time and Efficient Asynchronous Diffusion for Audio-driven Talking Head Generation [55.58089937219475]
  本稿では,最初のリアルタイム拡散変換器を用いた音声ヘッド生成フレームワークREADを提案する。 提案手法はまず,VAEを用いて高度に圧縮されたビデオ潜時空間を学習し,音声生成におけるトークン数を大幅に削減する。 また,READは,実行時間を大幅に短縮した競合する音声ヘッドビデオを生成することにより,最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-08-05T13:57:03Z)
• StreamMel: Real-Time Zero-shot Text-to-Speech via Interleaved Continuous Autoregressive Modeling [50.537794606598254]
  StreamMelは、継続的メル-スペクトログラムをモデル化する、先駆的なシングルステージストリーミングTSフレームワークである。 高い話者類似性と自然性を保ちながら、低レイテンシで自己回帰的な合成を可能にする。 オフラインシステムに匹敵するパフォーマンスを実現し、効率的なリアルタイム生成もサポートしている。
  論文  参考訳（メタデータ） (2025-06-14T16:53:39Z)
• AudioTurbo: Fast Text-to-Audio Generation with Rectified Diffusion [23.250409921931492]
  整流流は直線常微分方程式経路を学習することにより推論速度を向上させる。 このアプローチでは、フローマッチングモデルをスクラッチからトレーニングする必要があります。 本稿では,事前学習したTTAモデルにより生成された定性雑音サンプルペアから一階ODEパスを学習するAudioTurboを提案する。
  論文  参考訳（メタデータ） (2025-05-28T08:33:58Z)
• Fast Text-to-Audio Generation with Adversarial Post-Training [39.000388217500785]
  テキストとオーディオのシステムは推論時に遅いため、多くのクリエイティブなアプリケーションではレイテンシが実用的ではない。 本稿では, 蒸留法をベースとしない拡散流モデルに対する最初の逆数加速アルゴリズムである, ARC(Adversarial Relativistic-Contrastive Re-trainstive Re-training)について述べる。
  論文  参考訳（メタデータ） (2025-05-13T02:25:47Z)
• FlowTS: Time Series Generation via Rectified Flow [67.41208519939626]
  FlowTSは、確率空間における直線輸送を伴う整流フローを利用するODEベースのモデルである。 非条件設定では、FlowTSは最先端のパフォーマンスを達成し、コンテキストFIDスコアはStockとETThデータセットで0.019と0.011である。 条件設定では、太陽予測において優れた性能を達成している。
  論文  参考訳（メタデータ） (2024-11-12T03:03:23Z)
• FlowTurbo: Towards Real-time Flow-Based Image Generation with Velocity Refiner [70.90505084288057]
  フローベースモデルはサンプリングプロセス中により直線的なサンプリング軌道を生成する傾向にある。 擬似修正器やサンプル認識コンパイルなどいくつかの手法を導入し,推論時間をさらに短縮する。 FlowTurboはImageNet上で100(ms/img)で2.12FID、38(ms/img)で3.93FIDに達する
  論文  参考訳（メタデータ） (2024-09-26T17:59:51Z)
• Frieren: Efficient Video-to-Audio Generation Network with Rectified Flow Matching [51.70360630470263]
  Video-to-audio (V2A) は、サイレントビデオからコンテンツマッチング音声を合成することを目的としている。 本稿では,修正フローマッチングに基づくV2AモデルであるFrierenを提案する。 実験により、フリーレンは世代品質と時間的アライメントの両方で最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2024-06-01T06:40:22Z)
• Guided Flows for Generative Modeling and Decision Making [55.42634941614435]
  その結果,ガイドフローは条件付き画像生成やゼロショット音声合成におけるサンプル品質を著しく向上させることがわかった。 特に、我々は、拡散モデルと比較して、オフライン強化学習設定axスピードアップにおいて、まず、計画生成にフローモデルを適用する。
  論文  参考訳（メタデータ） (2023-11-22T15:07:59Z)
• VoiceFlow: Efficient Text-to-Speech with Rectified Flow Matching [14.7974342537458]
  VoiceFlowは,修正フローマッチングアルゴリズムを用いて,限られたサンプリングステップ数で高い合成品質を実現する音響モデルである。 単話者コーパスと多話者コーパスの主観的および客観的評価の結果,VoiceFlowの合成品質は拡散コーパスに比べて優れていた。
  論文  参考訳（メタデータ） (2023-09-10T13:47:39Z)
• FastDiff: A Fast Conditional Diffusion Model for High-Quality Speech Synthesis [90.3069686272524]
  本稿では,高品質音声合成のための高速条件拡散モデルであるFastDiffを提案する。 FastDiffは、長期の依存関係を効率的にモデル化するために、さまざまな受容的フィールドパターンの時間認識可能な位置可変の畳み込みを使用する。 我々は、FastDiffに基づいて、高忠実度音声波形を生成するエンドツーエンドのテキスト音声合成器FastDiff-TTSを設計する。
  論文  参考訳（メタデータ） (2022-04-21T07:49:09Z)
• Neural Waveshaping Synthesis [0.0]
  ニューラルオーディオ合成に対する,新しい,軽量で完全な因果的アプローチを提案する。 ニューラルウェーブシェイピングユニット(NEWT)は、波形領域で直接動作する。 入力信号と出力信号の単純なアフィン変換によって複雑な鼓膜進化を生成する。
  論文  参考訳（メタデータ） (2021-07-11T13:50:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。