論文の概要: DreamX-Creator: Democratizing Native Audio-Video Generation at 2K Resolution

• arxiv url: http://arxiv.org/abs/2608.31106v1
• Date: Mon, 31 Aug 2026 17:11:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.535367
• Title: DreamX-Creator: Democratizing Native Audio-Video Generation at 2K Resolution
• Title（参考訳）: DreamX-Creator:2K解像度でネイティブオーディオビデオ生成を民主化
• Abstract要約: 7Bジェネレータをベースとしたコンパクトなジョイントビデオ生成システムであるDreamX-Creator 1.0について述べる。 統合されたオーディオビデオデータシステムは、時間的に一貫性のあるクリップを構築し、フィルタし、構造化されたマルチモーダルアノテーションを生成し、クリップを機能指向のデータプールに整理する。 高分解能出力のために、我々のAutoregressive 1-Step 2K Refinement Pipelineは、双方向多段階教師を自動回帰多段階精錬器に適応させる。
• 参考スコア（独自算出の注目度）: 16.570672947240855
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent video generators often omit audio or synthesize it in a separate stage, limiting reciprocal modeling of visual dynamics and acoustic events. We present DreamX-Creator 1.0, a compact native joint audio-video generation system centered on a 7B generator. Conditioned on a first frame and a text prompt, the generator jointly denoises modality-specialized audio and video streams. The streams are processed independently in the first half of the network and coupled in the latter half through Gated Cross-Modal Attention, whose token- and head-wise output gates modulate each active cross-modal attention-head output. A unified Audio-Video Data System constructs and filters temporally coherent clips, produces structured multimodal annotations, and organizes clips into capability-oriented data pools. Progressive Joint Training comprises two audio-video pre-training stages followed by High-Quality Finetuning. Audio-Video Reinforcement Learning further post-trains the generator with Modality-Aware Multimodal Feedback that routes video-, audio-, and cross-modal feedback to the corresponding streams. For high-resolution output, our Autoregressive 1-Step 2K Refinement pipeline adapts a bidirectional multi-step teacher into an autoregressive multi-step refiner and distills it into a student requiring one denoising evaluation per temporal chunk. Overall, DreamX-Creator 1.0 achieves native, synchronized audio-video generation with performance competitive with state-of-the-art open-source systems. By releasing our compact 7B generator and 2K Refiner, we seek to democratize native audio-video generation and provide an accessible foundation for future research in unified audio-video generative modeling.
• Abstract（参考訳）: 最近のビデオジェネレータは、しばしば音声を省略したり、別のステージで合成したりし、視覚力学と音響イベントの相互モデリングを制限する。 7Bジェネレータをベースとしたコンパクトなジョイントビデオ生成システムであるDreamX-Creator 1.0について述べる。 第1のフレームとテキストプロンプトに条件付きで、ジェネレータは、モーフィナライズされたオーディオとビデオストリームを共同で識別する。 ストリームはネットワークの前半で独立に処理され、後半ではGated Cross-Modal Attentionを通じて結合される。 統合されたオーディオビデオデータシステムは、時間的に一貫性のあるクリップを構築し、フィルタし、構造化されたマルチモーダルアノテーションを生成し、クリップを機能指向のデータプールに整理する。 プログレッシブ・ジョイント・トレーニングは2つのオーディオ・ビデオ前訓練段階とハイクオリティ・ファインタニング(High-Quality Finetuning)からなる。 Audio-Video Reinforcement Learningは、ビデオ、オーディオ、およびクロスモーダルフィードバックを対応するストリームにルーティングするModality-Aware Multimodal Feedbackでジェネレータをさらに訓練する。 高分解能出力のために、我々のAutoregressive 1-Step 2K Refinement Pipelineは、双方向の多段階教師を自己回帰多段階精錬器に適応させ、時間チャンク毎に1つの認知的評価を必要とする学生に蒸留する。 全体として、DreamX-Creator 1.0はネイティブな同期オーディオビデオ生成を実現し、最先端のオープンソースシステムと競合するパフォーマンスを実現している。 コンパクトな7Bジェネレータと2Kリファイナをリリースすることにより、ネイティブオーディオビデオ生成の民主化と、統合オーディオビデオ生成モデリングにおける将来の研究の基盤となることを目指している。

関連論文リスト

• AVTok: 1D Unified Tokenization for Holistic Audio-Video Generation [47.70199516002865]
  音声ビデオ生成のための新しい統一トークンである textbfAVTok を提案する。 AVTokは、共有エンコーダデコーダとモーダル固有の学習可能なクエリを備えたデュアルストリームトランスフォーマーベースのアーキテクチャを備えている。 AVTokは、オーディオ・ビデオ再生と、オーディオ・トゥ・ビデオ、ビデオ・トゥ・オーディオ、およびクラス条件のジョイント・オーディオ・ビデオ生成のための下流パイプラインに統合された場合の両方に優れることを示した。
  論文  参考訳（メタデータ） (2026-06-29T18:35:17Z)
• AudioX-Turbo: A Unified Framework for Efficient Anything-to-Audio Generation [111.61779149559645]
  本稿では,様々なマルチモーダル条件を統合した任意のオーディオ生成のためのフレームワークであるAudioX-Turboを提案する。 AudioX-Turboのトレーニングを支援するため、約9.2Mサンプルからなる大規模で高品質なデータセットIF-caps-Proを構築した。 我々は、AudioX-Turboを幅広いタスクでベンチマークし、特にテキスト音声とテキスト音声生成において、我々のモデルが優れたパフォーマンスを達成することを発見した。
  論文  参考訳（メタデータ） (2026-06-10T18:06:27Z)
• Diffusion Models for Joint Audio-Video Generation [51.56484100374058]
  高品質でペアのオーディオビデオデータセットを2つリリースします。 データセットのスクラッチからMM-拡散アーキテクチャをトレーニングします。 逐次2段階のテキスト・オーディオ・ビデオ生成パイプラインを提案する。
  論文  参考訳（メタデータ） (2026-03-17T03:31:37Z)
• LTX-2: Efficient Joint Audio-Visual Foundation Model [3.1804093402153506]
  LTX-2は、時間的に同期されたオーディオヴィジュアルコンテンツを生成できるオープンソースモデルである。 より広範な理解のために多言語テキストエンコーダを用いる。 LTX-2は、各シーンのキャラクター、環境、スタイル、感情に従うリッチでコヒーレントなオーディオトラックを生成する。
  論文  参考訳（メタデータ） (2026-01-06T18:24:41Z)
• HunyuanVideo-Foley: Multimodal Diffusion with Representation Alignment for High-Fidelity Foley Audio Generation [14.921126281071544]
  HunyuanVideo-Foleyはエンドツーエンドのテキスト・ビデオ・オーディオ・フレームワークである。 高忠実度オーディオを視覚力学や意味文脈と正確に整合させて合成する。 音声の忠実度、視覚的セマンティックなアライメント、時間的アライメント、分布マッチングにまたがる新しい最先端パフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-08-23T07:30:18Z)
• AV-Link: Temporally-Aligned Diffusion Features for Cross-Modal Audio-Video Generation [49.6922496382879]
  本稿では,A2V(Video-to-Audio)生成とA2V(Audio-to-Video)生成のための統合フレームワークを提案する。 我々のフレームワークの鍵は、ビデオとオーディオの拡散モデル間の双方向情報交換を容易にするFusion Blockである。
  論文  参考訳（メタデータ） (2024-12-19T18:57:21Z)
• Frieren: Efficient Video-to-Audio Generation Network with Rectified Flow Matching [51.70360630470263]
  Video-to-audio (V2A) は、サイレントビデオからコンテンツマッチング音声を合成することを目的としている。 本稿では,修正フローマッチングに基づくV2AモデルであるFrierenを提案する。 実験により、フリーレンは世代品質と時間的アライメントの両方で最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2024-06-01T06:40:22Z)
• MM-Diffusion: Learning Multi-Modal Diffusion Models for Joint Audio and Video Generation [70.74377373885645]
  本稿では,視聴体験と視聴体験を同時に実現する,初の共同音声ビデオ生成フレームワークを提案する。 MM拡散(MM-Diffusion)は、設計による共同記述プロセスのための連続的なマルチモーダルなU-Netで構成されている。 実験は、無条件のオーディオビデオ生成とゼロショット条件付タスクにおいて優れた結果を示す。
  論文  参考訳（メタデータ） (2022-12-19T14:11:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。