論文の概要: Text-to-Audio Generation Synchronized with Videos

• arxiv url: http://arxiv.org/abs/2403.07938v1
• Date: Fri, 8 Mar 2024 22:27:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-14 17:27:47.850964
• Title: Text-to-Audio Generation Synchronized with Videos
• Title（参考訳）: ビデオ同期によるテキスト・ツー・オーディオ生成
• Authors: Shentong Mo, Jing Shi, Yapeng Tian
• Abstract要約: 我々は,T2AV-Benchというビデオと連携したテキスト・ツー・オーディオ生成のための画期的なベンチマークを提案する。 また,ビデオアライメントTTA生成モデル,すなわちT2AVを提案する。 ビデオデータから時間的ニュアンスを抽出し、理解するために、時間的マルチヘッドアテンショントランスフォーマーを使用します。
• 参考スコア（独自算出の注目度）: 44.848393652233796
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent times, the focus on text-to-audio (TTA) generation has intensified, as researchers strive to synthesize audio from textual descriptions. However, most existing methods, though leveraging latent diffusion models to learn the correlation between audio and text embeddings, fall short when it comes to maintaining a seamless synchronization between the produced audio and its video. This often results in discernible audio-visual mismatches. To bridge this gap, we introduce a groundbreaking benchmark for Text-to-Audio generation that aligns with Videos, named T2AV-Bench. This benchmark distinguishes itself with three novel metrics dedicated to evaluating visual alignment and temporal consistency. To complement this, we also present a simple yet effective video-aligned TTA generation model, namely T2AV. Moving beyond traditional methods, T2AV refines the latent diffusion approach by integrating visual-aligned text embeddings as its conditional foundation. It employs a temporal multi-head attention transformer to extract and understand temporal nuances from video data, a feat amplified by our Audio-Visual ControlNet that adeptly merges temporal visual representations with text embeddings. Further enhancing this integration, we weave in a contrastive learning objective, designed to ensure that the visual-aligned text embeddings resonate closely with the audio features. Extensive evaluations on the AudioCaps and T2AV-Bench demonstrate that our T2AV sets a new standard for video-aligned TTA generation in ensuring visual alignment and temporal consistency.
• Abstract（参考訳）: 近年,テキスト・トゥ・オーディオ(TTA)生成への注目が高まり,研究者たちはテキスト記述から音声を合成しようと試みている。 しかし、既存のほとんどの手法は、遅延拡散モデルを利用して音声とテキストの埋め込みの相関関係を学習するが、生成した音声とビデオのシームレスな同期を維持するには不十分である。 これはしばしば、識別可能なオーディオと視覚のミスマッチをもたらす。 このギャップを埋めるために、T2AV-Benchというビデオに合わせたText-to-Audio生成のための画期的なベンチマークを導入する。 このベンチマークは、視覚的アライメントと時間的整合性を評価するための3つの新しい指標と区別する。 また,これを補完するために,T2AVという,シンプルながら効果的なビデオアライメントTTA生成モデルを提案する。 従来の方法を超えて、T2AVは、視覚的に整列したテキスト埋め込みを条件付き基盤として統合することで、潜伏拡散アプローチを洗練する。 ビデオデータから時間的ニュアンスを抽出し理解するために,時間的マルチヘッドアテンショントランスフォーマーを採用している。 この統合をさらに強化し、視覚対応のテキスト埋め込みが音声特徴と密に共鳴することを保証するために、コントラスト学習の目標を織り込んだ。 AudioCapsとT2AV-Benchの広範囲な評価は、我々のT2AVが視覚的アライメントと時間的整合性を確保するために、ビデオアライメントTTA生成の新しい標準を設定していることを示している。

関連論文リスト

• Audio-Agent: Leveraging LLMs For Audio Generation, Editing and Composition [72.22243595269389]
  本稿では,テキストやビデオの入力に基づく音声生成,編集,合成のためのフレームワークであるAudio-Agentを紹介する。 VTA(Video-to-audio)タスクでは、既存のほとんどの手法では、ビデオイベントと生成されたオーディオを同期させるタイムスタンプ検出器のトレーニングが必要である。
  論文  参考訳（メタデータ） (2024-10-04T11:40:53Z)
• Exploring Pre-trained Text-to-Video Diffusion Models for Referring Video Object Segmentation [72.90144343056227]
  ビデオ理解タスクのためのテキスト・ツー・ビデオ拡散モデル(T2V)から生成した視覚的表現について検討する。 固定されたT2Vモデル上に構築された専用コンポーネントを備えた新しいフレームワーク「VD-IT」を紹介する。 我々のVD-ITは、既存の最先端手法を超越して、非常に競争力のある結果を得る。
  論文  参考訳（メタデータ） (2024-03-18T17:59:58Z)
• Auffusion: Leveraging the Power of Diffusion and Large Language Models for Text-to-Audio Generation [13.626626326590086]
  本稿では,T2Iモデルフレームワークをテキスト・トゥ・オーディオ(TTA)タスクに適用したテキスト・トゥ・イメージ(T2I)システムであるAuffusionを紹介する。 評価の結果,Auffusionは限られたデータと計算資源を用いて,従来のTTAアプローチを超越していることがわかった。 以上の結果から,Auffusionはテキスト記述と正確に一致した音声を生成する能力に優れていたことが明らかとなった。
  論文  参考訳（メタデータ） (2024-01-02T05:42:14Z)
• Diverse and Aligned Audio-to-Video Generation via Text-to-Video Model Adaptation [89.96013329530484]
  本研究では,多様な意味クラスから自然音声サンプルによってガイドされる多種多様なリアルなビデオを生成するタスクについて考察する。 既存のテキスト条件付きビデオ生成モデルと事前学習されたオーディオエンコーダモデルを利用する。 提案手法は,音声映像サンプルの有意な意味的多様性を示す3つのデータセットに対して広範に検証する。
  論文  参考訳（メタデータ） (2023-09-28T13:26:26Z)
• Align, Adapt and Inject: Sound-guided Unified Image Generation [50.34667929051005]
  本稿では,音声誘導画像生成,編集,スタイリングのための統合フレームワーク「アライン,アダプティブ,インジェクション(AAI)」を提案する。 本手法は,既存のテキスト・ツー・イメージ(T2I)モデルを用いて,入力音を通常の単語のように音声トークンに適応させる。 提案するAAIは、他のテキストや音声誘導方式よりも優れています。
  論文  参考訳（メタデータ） (2023-06-20T12:50:49Z)
• CLIPSonic: Text-to-Audio Synthesis with Unlabeled Videos and Pretrained Language-Vision Models [50.42886595228255]
  本稿では,橋梁としての視覚的モダリティを活用して,所望のテキスト・オーディオ対応を学習することを提案する。 我々は、事前訓練されたコントラスト言語画像事前学習モデルによって符号化されたビデオフレームを考慮し、条件付き拡散モデルを用いてビデオの音声トラックを生成する。
  論文  参考訳（メタデータ） (2023-06-16T05:42:01Z)
• DiffAVA: Personalized Text-to-Audio Generation with Visual Alignment [30.38594416942543]
  本稿では,遅延拡散モデル,すなわちDiffAVAに基づく視覚アライメントを用いた,新規でパーソナライズされたテキスト・音声生成手法を提案する。 我々のDiffAVAは、ビデオ特徴から時間情報を集約するマルチヘッドアテンショントランスフォーマーと、テキスト埋め込みで時間的視覚表現を融合するデュアルマルチモーダル残差ネットワークを活用している。 AudioCapsデータセットの実験結果から、提案したDiffAVAは、視覚的に整列したテキスト・オーディオ生成において、競合する性能を達成できることが示されている。
  論文  参考訳（メタデータ） (2023-05-22T10:37:27Z)
• AADiff: Audio-Aligned Video Synthesis with Text-to-Image Diffusion [27.47320496383661]
  本稿では,時間的ダイナミクスを制御するために音声信号を利用する新しいT2Vフレームワークを提案する。 音声による局所的な編集と信号の平滑化を提案し,ビデオ合成におけるデシラタの相反する2つのデシラタのバランスを良くする。
  論文  参考訳（メタデータ） (2023-05-06T10:26:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。