論文の概要: DeepAudio-V1:Towards Multi-Modal Multi-Stage End-to-End Video to Speech and Audio Generation

• arxiv url: http://arxiv.org/abs/2503.22265v1
• Date: Fri, 28 Mar 2025 09:29:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-31 15:31:01.273155
• Title: DeepAudio-V1:Towards Multi-Modal Multi-Stage End-to-End Video to Speech and Audio Generation
• Title（参考訳）: DeepAudio-V1:マルチモード・マルチステージ・エンド・エンド・ビデオから音声・音声生成へ
• Authors: Haomin Zhang, Chang Liu, Junjie Zheng, Zihao Chen, Chaofan Ding, Xinhan Di,
• Abstract要約: 本稿では,ビデオとテキストの条件に基づいて音声と音声を同時に生成する,エンドツーエンドのマルチモーダル生成フレームワークを提案する。 提案するフレームワークであるDeepAudioは、ビデオ音声(V2A)モジュール、テキスト音声(TTS)モジュール、モダリティ融合(MoF)モジュールの動的混合からなる。 評価において,本フレームワークは,ビデオオーディオおよびテキスト音声ベンチマークの最先端モデルとの比較において,同等の結果を得る。
• 参考スコア（独自算出の注目度）: 6.315946909350621
• License:
• Abstract: Currently, high-quality, synchronized audio is synthesized using various multi-modal joint learning frameworks, leveraging video and optional text inputs. In the video-to-audio benchmarks, video-to-audio quality, semantic alignment, and audio-visual synchronization are effectively achieved. However, in real-world scenarios, speech and audio often coexist in videos simultaneously, and the end-to-end generation of synchronous speech and audio given video and text conditions are not well studied. Therefore, we propose an end-to-end multi-modal generation framework that simultaneously produces speech and audio based on video and text conditions. Furthermore, the advantages of video-to-audio (V2A) models for generating speech from videos remain unclear. The proposed framework, DeepAudio, consists of a video-to-audio (V2A) module, a text-to-speech (TTS) module, and a dynamic mixture of modality fusion (MoF) module. In the evaluation, the proposed end-to-end framework achieves state-of-the-art performance on the video-audio benchmark, video-speech benchmark, and text-speech benchmark. In detail, our framework achieves comparable results in the comparison with state-of-the-art models for the video-audio and text-speech benchmarks, and surpassing state-of-the-art models in the video-speech benchmark, with WER 16.57% to 3.15% (+80.99%), SPK-SIM 78.30% to 89.38% (+14.15%), EMO-SIM 66.24% to 75.56% (+14.07%), MCD 8.59 to 7.98 (+7.10%), MCD SL 11.05 to 9.40 (+14.93%) across a variety of dubbing settings.
• Abstract（参考訳）: 現在、高品質な同期音声は、ビデオとオプションのテキスト入力を活用する様々なマルチモーダル共同学習フレームワークを用いて合成されている。 ビデオ・オーディオ・ベンチマークでは、音声品質、セマンティックアライメント、音声・視覚同期が効果的に実現されている。 しかし、現実のシナリオでは、音声と音声は同時に共存することが多く、ビデオとテキストの状態の同期音声と音声のエンドツーエンド生成は十分に研究されていない。 そこで本稿では,ビデオとテキストの条件に基づいて音声と音声を同時に生成する,エンドツーエンドのマルチモーダル生成フレームワークを提案する。 さらに,ビデオから音声を生成するためのV2Aモデルの利点は明らかになっていない。 提案するフレームワークであるDeepAudioは、ビデオ音声(V2A)モジュール、テキスト音声(TTS)モジュール、モダリティ融合(MoF)モジュールの動的混合からなる。 評価において,提案するエンドツーエンドフレームワークは,ビデオ音声ベンチマーク,ビデオ音声ベンチマーク,テキスト音声ベンチマークにおいて,最先端のパフォーマンスを実現する。 WER 16.57% から 3.15% (+80.99%), SPK-SIM 78.30% から 89.38% (+14.15%), EMO-SIM 66.24% から 75.56% (+14.07%), MCD 8.59 から 7.98 (+7.10%), MCD SL 11.05 から 9.40 (+14.93%) まで,ビデオ音声およびテキスト音声ベンチマークの最先端モデルとの比較で比較結果が得られた。

関連論文リスト

• Taming Multimodal Joint Training for High-Quality Video-to-Audio Synthesis [56.01110988816489]
  マルチモーダル・ジョイント・トレーニング・フレームワークであるMMAudioを用いて、高品質で同期化された音声、ビデオ、オプションのテキスト条件を合成することを提案する。 MMAudioは大規模で手軽に利用できるテキストオーディオデータを共同でトレーニングし、セマンティックに整合した高品質なオーディオサンプルを生成する。 MMAudioはテキスト・オーディオ・ジェネレーションにおいて驚くほどの競争力を発揮し、ジョイントトレーニングが単一モダリティのパフォーマンスを妨げないことを示す。
  論文  参考訳（メタデータ） (2024-12-19T18:59:55Z)
• Read, Watch and Scream! Sound Generation from Text and Video [23.990569918960315]
  ビデオはテキスト音声生成モデルの条件制御として機能する。 我々は、ビデオ制御の統合のために、良好なパフォーマンスのテキスト・トゥ・オーディオ・モデルを用いる。 本手法は, 品質, 制御性, 訓練効率の面で優位性を示す。
  論文  参考訳（メタデータ） (2024-07-08T01:59:17Z)
• video-SALMONN: Speech-Enhanced Audio-Visual Large Language Models [27.54879344983513]
  Video-SALMONNは、視覚的なフレームシーケンス、オーディオイベント、音楽だけでなく、音声も理解できる。 Video-SALMONNは、他のav-LLMでは前例のないタスクに対して、驚くべきビデオ理解と推論能力を示す。
  論文  参考訳（メタデータ） (2024-06-22T01:36:11Z)
• InternVideo2: Scaling Foundation Models for Multimodal Video Understanding [51.129913789991924]
  InternVideo2は、ビデオファウンデーションモデル(FM)の新たなファミリーで、ビデオ認識、ビデオ音声タスク、ビデオ中心タスクの最先端の結果を達成する。 私たちのコアデザインは、マスク付きビデオモデリング、クロスコントラスト学習、予測トークンを統合し、最大6Bビデオサイズまでスケールアップするプログレッシブトレーニングアプローチです。
  論文  参考訳（メタデータ） (2024-03-22T17:57:42Z)
• Mirasol3B: A Multimodal Autoregressive model for time-aligned and contextual modalities [67.89368528234394]
  マルチモーダル学習の主な課題の1つは、異質なモダリティを組み合わせる必要があることである。 ビデオとオーディオはテキストよりもはるかに高いレートで取得され、ほぼ時間内に整列される。 我々の手法は、確立されたマルチモーダルベンチマークの最先端性を達成し、はるかに大きなモデルより優れている。
  論文  参考訳（メタデータ） (2023-11-09T19:15:12Z)
• Diverse and Aligned Audio-to-Video Generation via Text-to-Video Model Adaptation [89.96013329530484]
  本研究では,多様な意味クラスから自然音声サンプルによってガイドされる多種多様なリアルなビデオを生成するタスクについて考察する。 既存のテキスト条件付きビデオ生成モデルと事前学習されたオーディオエンコーダモデルを利用する。 提案手法は,音声映像サンプルの有意な意味的多様性を示す3つのデータセットに対して広範に検証する。
  論文  参考訳（メタデータ） (2023-09-28T13:26:26Z)
• Exploring the Role of Audio in Video Captioning [59.679122191706426]
  本稿では,キャプションの音響モダリティの可能性をフル活用することを目的とした音声視覚フレームワークを提案する。 本稿では,音声とビデオ間の情報交換を改善するため,新たなローカル・グローバル融合機構を提案する。
  論文  参考訳（メタデータ） (2023-06-21T20:54:52Z)
• Object Segmentation with Audio Context [0.5243460995467893]
  本プロジェクトは,ビデオインスタンスセグメンテーションタスクのためのマルチモーダル機能アグリゲーションについて検討する。 ビデオセグメンテーションモデルに音声機能を統合することで、音声視覚学習方式を実現する。
  論文  参考訳（メタデータ） (2023-01-04T01:33:42Z)
• Audio-Visual Synchronisation in the wild [149.84890978170174]
  我々は,VGG-Sound Syncという,高い音声・視覚相関を持つテストセットを同定し,キュレートする。 任意の長さの音響信号と視覚信号のモデル化に特化して設計された,トランスフォーマーに基づく多数のアーキテクチャ変種を比較した。 我々は,新しいVGG-Sound Syncビデオデータセットにおいて,160以上の多様なクラスと一般的な音声-視覚同期のための最初のベンチマークを設定した。
  論文  参考訳（メタデータ） (2021-12-08T17:50:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。