論文の概要: Enhance Generation Quality of Flow Matching V2A Model via Multi-Step CoT-Like Guidance and Combined Preference Optimization

• arxiv url: http://arxiv.org/abs/2503.22200v1
• Date: Fri, 28 Mar 2025 07:32:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-31 15:31:03.168209
• Title: Enhance Generation Quality of Flow Matching V2A Model via Multi-Step CoT-Like Guidance and Combined Preference Optimization
• Title（参考訳）: マルチステップCoT様誘導と組合せ選好最適化によるフローマッチングV2Aモデルのエンハンス生成品質
• Authors: Haomin Zhang, Sizhe Shan, Haoyu Wang, Zihao Chen, Xiulong Liu, Chaofan Ding, Xinhan Di,
• Abstract要約: 本稿では,Chain-of-Perform(CoP)誘導学習を用いたマルチステージ・マルチモーダル・エンドツーエンド生成フレームワークを提案する。 我々は、高品質な音響効果の発生を保証するために、ステップバイステップのガイダンスに従う多段階トレーニングフレームワークを実装した。 第3に、ステップバイステップの音響効果生成を支援するために、ビデオでガイドされたマルチモーダルデータセットを開発する。
• 参考スコア（独自算出の注目度）: 11.637343484707014
• License:
• Abstract: Creating high-quality sound effects from videos and text prompts requires precise alignment between visual and audio domains, both semantically and temporally, along with step-by-step guidance for professional audio generation. However, current state-of-the-art video-guided audio generation models often fall short of producing high-quality audio for both general and specialized use cases. To address this challenge, we introduce a multi-stage, multi-modal, end-to-end generative framework with Chain-of-Thought-like (CoT-like) guidance learning, termed Chain-of-Perform (CoP). First, we employ a transformer-based network architecture designed to achieve CoP guidance, enabling the generation of both general and professional audio. Second, we implement a multi-stage training framework that follows step-by-step guidance to ensure the generation of high-quality sound effects. Third, we develop a CoP multi-modal dataset, guided by video, to support step-by-step sound effects generation. Evaluation results highlight the advantages of the proposed multi-stage CoP generative framework compared to the state-of-the-art models on a variety of datasets, with FAD 0.79 to 0.74 (+6.33%), CLIP 16.12 to 17.70 (+9.80%) on VGGSound, SI-SDR 1.98dB to 3.35dB (+69.19%), MOS 2.94 to 3.49(+18.71%) on PianoYT-2h, and SI-SDR 2.22dB to 3.21dB (+44.59%), MOS 3.07 to 3.42 (+11.40%) on Piano-10h.
• Abstract（参考訳）: ビデオやテキストのプロンプトから高品質なサウンドエフェクトを作成するには、意味的および時間的に視覚領域と音声領域の正確なアライメントと、プロのオーディオ生成のためのステップバイステップガイダンスが必要である。 しかし、現在の最先端のビデオ誘導オーディオ生成モデルでは、一般的なユースケースと特殊なユースケースの両方で高品質なオーディオを生成できない場合が多い。 この課題に対処するために、Chain-of-Thought-like(CoT-like)ガイダンス学習(Chain-of-Perform(CoP))と呼ばれる多段階、マルチモーダル、エンドツーエンドの生成フレームワークを導入する。 まず、CoPガイダンスを実現するために設計されたトランスフォーマーベースのネットワークアーキテクチャを用いて、汎用オーディオとプロオーディオの両方を生成する。 第2に,高品質な音響効果の発生を保証するため,ステップバイステップの指導に従う多段階学習フレームワークを実装した。 第3に、ステップバイステップの音響効果生成を支援するために、ビデオでガイドされたマルチモーダルデータセットを開発する。 FAD 0.79から0.74(+6.33%)、CLIP 16.12から17.70(+9.80%)、SI-SDR 1.98dBから3.35dB(+69.19%)、MOS 2.94から3.49(+18.71%)、SI-SDR 2.22dBから3.21dB(+44.59%)、MOS 3.07から3.42(+11.40%)である。

関連論文リスト

• Baichuan-Omni-1.5 Technical Report [78.49101296394218]
  Baichuan-Omni-1.5は、Omni-modalの理解能力だけでなく、エンドツーエンドのオーディオ生成機能も備えたOmni-modalモデルである。 マルチモーダルデータのための包括的データクリーニングと合成パイプラインを構築し,約500Bの高品質データを取得する。 第二に、音声トケナイザは、音声から意味情報と音響情報をキャプチャし、シームレスな統合とMLLMとの互換性の強化を可能にするように設計されている。
  論文  参考訳（メタデータ） (2025-01-26T02:19:03Z)
• Taming Data and Transformers for Audio Generation [49.54707963286065]
  AutoCapは高品質で効率的なオーディオキャプションモデルである。 GenAuはスケーラブルなトランスフォーマーベースのオーディオ生成アーキテクチャである。 57Mの環境オーディオクリップをコンパイルし、最大のオーディオテキストデータセットであるAutoReCap-XLを作成します。
  論文  参考訳（メタデータ） (2024-06-27T17:58:54Z)
• Frieren: Efficient Video-to-Audio Generation Network with Rectified Flow Matching [51.70360630470263]
  Video-to-audio (V2A) は、サイレントビデオからコンテンツマッチング音声を合成することを目的としている。 本稿では,修正フローマッチングに基づくV2AモデルであるFrierenを提案する。 実験により、フリーレンは世代品質と時間的アライメントの両方で最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2024-06-01T06:40:22Z)
• Efficient Multiscale Multimodal Bottleneck Transformer for Audio-Video Classification [6.341420717393898]
  我々は,新しいマルチスケールオーディオトランス (MAT) とマルチスケールビデオトランス (MMT) を開発した。 提案されたMATは、3つの公開ベンチマークデータセットでAST[28]を22.2%、4.4%、4.7%で大幅に上回っている。 FLOPの数に基づいて約3%効率が良く、GPUメモリ使用量に基づいて9.8%効率が良い。
  論文  参考訳（メタデータ） (2024-01-08T17:02:25Z)
• MM-Diffusion: Learning Multi-Modal Diffusion Models for Joint Audio and Video Generation [70.74377373885645]
  本稿では,視聴体験と視聴体験を同時に実現する,初の共同音声ビデオ生成フレームワークを提案する。 MM拡散(MM-Diffusion)は、設計による共同記述プロセスのための連続的なマルチモーダルなU-Netで構成されている。 実験は、無条件のオーディオビデオ生成とゼロショット条件付タスクにおいて優れた結果を示す。
  論文  参考訳（メタデータ） (2022-12-19T14:11:52Z)
• A study on joint modeling and data augmentation of multi-modalities for audio-visual scene classification [64.59834310846516]
  音声視覚シーン分類(AVSC)のためのシステム性能を改善するために,共同モデリングとデータ拡張という2つの手法を提案する。 最終システムはDCASE 2021 Task 1bに送信された全AVSCシステムの中で94.2%の精度を達成できる。
  論文  参考訳（メタデータ） (2022-03-07T07:29:55Z)
• VATT: Transformers for Multimodal Self-Supervised Learning from Raw Video, Audio and Text [60.97904439526213]
  video-audio-text transformer (vatt) は生の信号を入力として取り、様々な下流タスクに役立つほどリッチなマルチモーダル表現を抽出する。 マルチモーダルなコントラスト損失を用いて,vattのエンドツーエンドをスクラッチからトレーニングし,映像動作認識,音声イベント分類,画像分類,テキストからビデオへの検索といった下流タスクによってその性能を評価する。
  論文  参考訳（メタデータ） (2021-04-22T17:07:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。