論文の概要: AudioX-Turbo: A Unified Framework for Efficient Anything-to-Audio Generation

• arxiv url: http://arxiv.org/abs/2606.12555v1
• Date: Wed, 10 Jun 2026 18:06:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-12 15:55:27.394848
• Title: AudioX-Turbo: A Unified Framework for Efficient Anything-to-Audio Generation
• Title（参考訳）: AudioX-Turbo: 効率的なAudio生成のための統一フレームワーク
• Authors: Zeyue Tian, Lei Ke, Zhaoyang Liu, Ruibin Yuan, Liumeng Xue, Yujiu Yang, Weijia Chen, Xu Tan, Qifeng Chen, Wei Xue, Yike Guo,
• Abstract要約: 本稿では,様々なマルチモーダル条件を統合した任意のオーディオ生成のためのフレームワークであるAudioX-Turboを提案する。 AudioX-Turboのトレーニングを支援するため、約9.2Mサンプルからなる大規模で高品質なデータセットIF-caps-Proを構築した。 我々は、AudioX-Turboを幅広いタスクでベンチマークし、特にテキスト音声とテキスト音声生成において、我々のモデルが優れたパフォーマンスを達成することを発見した。
• 参考スコア（独自算出の注目度）: 111.61779149559645
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Audio and music generation based on flexible multimodal control signals is a widely applicable topic, with the following key challenges: 1) a unified multimodal modeling framework, 2) large-scale, high-quality training data, and 3) the prohibitive inference cost of multi-step diffusion sampling. As such, we propose AudioX-Turbo, a unified and efficient framework for anything-to-audio generation that integrates varied multimodal conditions (i.e., text, video, and audio signals) in this work. AudioX-Turbo follows a teacher-student paradigm. The teacher AudioX-Base is built on a Multimodal Diffusion Transformer with a Multimodal Adaptive Fusion module that aligns diverse multimodal inputs for high-fidelity synthesis, and is then distilled into the few-step student AudioX-Turbo via Distribution Matching Distillation adapted to flow matching, complemented by a diffusion-based discriminator for high-quality few-step generation. To support the training of AudioX-Turbo, we construct a large-scale, high-quality dataset, IF-caps-Pro, comprising approximately 9.2M samples curated through a two-stage data collection and annotation pipeline. We benchmark AudioX-Turbo across a wide range of tasks, finding that our model achieves superior performance, especially on text-to-audio and text-to-music generation, while operating at only 4 sampling steps and requiring approximately 25x fewer function evaluations (NFE) than multi-step baselines. These results demonstrate that our method is capable of audio generation under flexible multimodal control, showing efficient and powerful instruction-following capabilities. The code and datasets will be available at https://zeyuet.github.io/AudioX-Turbo/.
• Abstract（参考訳）: フレキシブルなマルチモーダル制御信号に基づくオーディオおよび音楽生成は,次のような重要な課題を伴う,広く適用可能なトピックである。 1)統合マルチモーダルモデリングフレームワーク。 2 大規模で高品質な研修データ及び 3)多段階拡散サンプリングの禁止推論コスト。 そこで本研究では,様々なマルチモーダル条件(テキスト,ビデオ,音声信号など)を組み込んだ任意のオーディオ生成のための,統一的で効率的なフレームワークであるAudioX-Turboを提案する。 AudioX-Turboは教師と学生のパラダイムに従っている。 教師のAudioX-Baseはマルチモーダル拡散変換器とマルチモーダル適応核融合モジュールで構築され、高忠実な合成のために多様なマルチモーダル入力を整列し、フローマッチングに適応し、高品位な数ステップ生成のための拡散ベースの判別器によって補完される数ステップの学生AudioX-Turboに蒸留される。 我々は,AudioX-Turboのトレーニングを支援するために,2段階のデータ収集とアノテーションパイプラインを通じてキュレートされた約9.2Mサンプルからなる,大規模で高品質なデータセットIF-caps-Proを構築した。 我々は,AudioX-Turboを幅広いタスクでベンチマークし,特にテキスト・オーディオ・テキスト・音楽生成において,本モデルが優れた性能を達成し,サンプリングステップはわずか4ステップで,マルチステップベースラインよりも25倍少ない関数評価(NFE)を必要とすることを発見した。 これらの結果から, フレキシブルなマルチモーダル制御下での音声生成が可能であり, 効率的かつ強力な指示追従機能を示すことがわかった。 コードとデータセットはhttps://zeyuet.github.io/AudioX-Turbo/.com/で入手できる。

関連論文リスト

• AudioX: Diffusion Transformer for Anything-to-Audio Generation [72.84633243365093]
  AudioXはAnything-to-Audio and Music Generation用の統合拡散トランスフォーマーモデルである。 オーディオと音楽の両方を高品質で生成でき、柔軟性のある自然言語コントロールを提供する。 データ不足に対処するため、VGGSoundデータセットに基づく190Kの音声キャプションを持つvggsound-capと、V2Mデータセットから派生した600万の音楽キャプションを持つV2M-capの2つのデータセットをキュレートする。
  論文  参考訳（メタデータ） (2025-03-13T16:30:59Z)
• UniForm: A Unified Multi-Task Diffusion Transformer for Audio-Video Generation [44.21422404659117]
  UniFormはマルチタスク拡散変換器であり、音声と視覚の両方を共有潜在空間で生成する。 統一された認知ネットワークを使用することで、UniFormは音と視覚の固有の相関をキャプチャする。 大規模言語モデルと大規模テキスト・オーディオ・ビデオ複合データセットを活用することで、UniFormは以前のアプローチよりも優れた生成多様性を実現する。
  論文  参考訳（メタデータ） (2025-02-06T09:18:30Z)
• Beyond Single-Audio: Advancing Multi-Audio Processing in Audio Large Language Models [56.776580717999806]
  現実世界のアプリケーションは、複数のオーディオストリームを同時に処理することが多い。 11のマルチオーディオタスクから20のデータセットからなる最初のマルチオーディオ評価ベンチマークを提案する。 本稿では,複数の類似した音声間の音声コンテキストをキャプチャするマルチオーディオLLM(MALLM)を提案する。
  論文  参考訳（メタデータ） (2024-09-27T12:06:53Z)
• MM-Diffusion: Learning Multi-Modal Diffusion Models for Joint Audio and Video Generation [70.74377373885645]
  本稿では,視聴体験と視聴体験を同時に実現する,初の共同音声ビデオ生成フレームワークを提案する。 MM拡散(MM-Diffusion)は、設計による共同記述プロセスのための連続的なマルチモーダルなU-Netで構成されている。 実験は、無条件のオーディオビデオ生成とゼロショット条件付タスクにおいて優れた結果を示す。
  論文  参考訳（メタデータ） (2022-12-19T14:11:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。