Fugu-MT 論文翻訳(概要): FoleyCrafter: Bring Silent Videos to Life with Lifelike and Synchronized Sounds

論文の概要: FoleyCrafter: Bring Silent Videos to Life with Lifelike and Synchronized Sounds

arxiv url: http://arxiv.org/abs/2407.01494v1
Date: Mon, 1 Jul 2024 17:35:56 GMT
ステータス: 処理完了
システム内更新日: 2024-07-03 20:21:46.374611
Title: FoleyCrafter: Bring Silent Videos to Life with Lifelike and Synchronized Sounds
Title（参考訳）: FoleyCrafter: ライフスタイルとシンクロナイズドサウンドで、サイレントな動画を人生に届ける
Authors: Yiming Zhang, Yicheng Gu, Yanhong Zeng, Zhening Xing, Yuancheng Wang, Zhizheng Wu, Kai Chen,
Abstract要約: 我々は,ビデオと同期する高品質な音響効果の自動生成であるNeural Foleyについて検討し,没入型音声視覚体験を実現する。本稿では,高品質な音声生成を実現するために,事前学習されたテキスト・音声モデルを活用する新しいフレームワークであるFoleyCrafterを提案する。 FoleyCrafterの特筆すべき利点は、テキストプロンプトとの互換性である。
参考スコア（独自算出の注目度）: 14.636030346325578
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We study Neural Foley, the automatic generation of high-quality sound effects synchronizing with videos, enabling an immersive audio-visual experience. Despite its wide range of applications, existing approaches encounter limitations when it comes to simultaneously synthesizing high-quality and video-aligned (i.e.,, semantic relevant and temporal synchronized) sounds. To overcome these limitations, we propose FoleyCrafter, a novel framework that leverages a pre-trained text-to-audio model to ensure high-quality audio generation. FoleyCrafter comprises two key components: the semantic adapter for semantic alignment and the temporal controller for precise audio-video synchronization. The semantic adapter utilizes parallel cross-attention layers to condition audio generation on video features, producing realistic sound effects that are semantically relevant to the visual content. Meanwhile, the temporal controller incorporates an onset detector and a timestampbased adapter to achieve precise audio-video alignment. One notable advantage of FoleyCrafter is its compatibility with text prompts, enabling the use of text descriptions to achieve controllable and diverse video-to-audio generation according to user intents. We conduct extensive quantitative and qualitative experiments on standard benchmarks to verify the effectiveness of FoleyCrafter. Models and codes are available at https://github.com/open-mmlab/FoleyCrafter.
Abstract（参考訳）: 我々は,ビデオと同期する高品質な音響効果の自動生成であるNeural Foleyについて検討し,没入型音声視覚体験を実現する。その幅広い応用にもかかわらず、既存のアプローチは高品質とビデオ整列音(セマンティック関連音と時間同期音)を同時に合成する際の限界に遭遇する。このような制約を克服するために,事前学習されたテキスト・音声モデルを利用して高品質な音声生成を実現する新しいフレームワークであるFoleyCrafterを提案する。 FoleyCrafterはセマンティックアライメントのためのセマンティックアダプタと、正確なオーディオビデオ同期のためのテンポラルコントローラの2つの重要なコンポーネントで構成されている。セマンティックアダプタは、並列なクロスアテンション層を利用して、映像の特徴に音声を付加し、視覚内容に意味のある現実的な音響効果を生み出す。一方、テンポラリコントローラは、オンセット検出器とタイムスタンプベースのアダプタを内蔵し、正確なオーディオ映像アライメントを実現する。 FoleyCrafterの特筆すべき利点は、テキストプロンプトとの互換性である。本稿では,FolieCrafterの有効性を検証するため,標準ベンチマークの定量的および定性的な実験を行った。モデルとコードはhttps://github.com/open-mmlab/FoleyCrafter.comで入手できる。

関連論文リスト

Smooth-Foley: Creating Continuous Sound for Video-to-Audio Generation Under Semantic Guidance [20.673800900456467]
本稿では,V2A生成モデルであるSmooth-Foleyを提案する。フレームアダプタは高解像度のフレームワイドビデオ機能を統合し、テンポラリアダプタは、ビジュアルフレームとテキストラベルの類似性から得られる時間条件を統合する。その結果,Smooth-Foleyは連続音のシナリオと一般的なシナリオの両方において,既存のモデルよりも優れた性能を示した。
論文参考訳（メタデータ） (2024-12-24T04:29:46Z)
Taming Multimodal Joint Training for High-Quality Video-to-Audio Synthesis [56.01110988816489]
マルチモーダル・ジョイント・トレーニング・フレームワークであるMMAudioを用いて、高品質で同期化された音声、ビデオ、オプションのテキスト条件を合成することを提案する。 MMAudioは大規模で手軽に利用できるテキストオーディオデータを共同でトレーニングし、セマンティックに整合した高品質なオーディオサンプルを生成する。 MMAudioはテキスト・オーディオ・ジェネレーションにおいて驚くほどの競争力を発揮し、ジョイントトレーニングが単一モダリティのパフォーマンスを妨げないことを示す。
論文参考訳（メタデータ） (2024-12-19T18:59:55Z)
AV-Link: Temporally-Aligned Diffusion Features for Cross-Modal Audio-Video Generation [49.6922496382879]
AV-Linkは、ビデオ・トゥ・オーディオとオーディオ・トゥ・ビデオ生成のための統合されたフレームワークである。バックボーンビデオとオーディオ拡散モデル間の双方向情報交換を可能にするFusion Blockを提案する。設計選択を評価し,同期・高品質な映像コンテンツを実現するための手法の有効性を実証する。
論文参考訳（メタデータ） (2024-12-19T18:57:21Z)
Audio-Agent: Leveraging LLMs For Audio Generation, Editing and Composition [72.22243595269389]
本稿では,テキストやビデオの入力に基づく音声生成,編集,合成のためのフレームワークであるAudio-Agentを紹介する。提案手法では,事前学習したTTA拡散ネットワークを音声生成エージェントとして利用し,GPT-4でタンデムで動作させる。 VTA(Video-to-audio)タスクでは、既存のほとんどのメソッドは、生成されたオーディオとビデオイベントを同期させるタイムスタンプ検出器のトレーニングを必要とする。
論文参考訳（メタデータ） (2024-10-04T11:40:53Z)
Draw an Audio: Leveraging Multi-Instruction for Video-to-Audio Synthesis [28.172213291270868]
フォーリー(英: Foley)は、サイレント映画やビデオに日々の音響効果を加えることで、オーディエンス体験を高めるために、映画製作において一般的に用いられる用語である。 Video-to-Audio (V2A)は、音声と視覚の同期に関する固有の課題を提示する。我々は、描画マスクとラウドネス信号による複数の入力命令をサポートする、Draw an Audioと呼ばれる制御可能なビデオ・オーディオモデルを構築した。
論文参考訳（メタデータ） (2024-09-10T01:07:20Z)
Video-Foley: Two-Stage Video-To-Sound Generation via Temporal Event Condition For Foley Sound [6.638504164134713]
音声合成はマルチメディア生産に不可欠であり、音声と映像を時間的・意味的に同期させることによりユーザエクスペリエンスを向上させる。ビデオから音声生成によるこの労働集約プロセスの自動化に関する最近の研究は、重大な課題に直面している。本稿では,Root Mean Square (RMS) を用いた音声合成システムであるVideo-Foleyを提案する。
論文参考訳（メタデータ） (2024-08-21T18:06:15Z)
Masked Generative Video-to-Audio Transformers with Enhanced Synchronicity [12.848371604063168]
本稿では,V2A生成モデルであるMaskVATを提案する。提案手法は,高品質なオーディオ・ビジュアル特徴とシーケンス・ツー・シーケンス並列構造を組み合わせることで,高い同期性が得られることを示す。
論文参考訳（メタデータ） (2024-07-15T01:49:59Z)
CATR: Combinatorial-Dependence Audio-Queried Transformer for Audio-Visual Video Segmentation [43.562848631392384]
音声視覚映像のセグメンテーションは、画像フレーム内の音生成対象のピクセルレベルのマップを生成することを目的としている。本稿では,それぞれの時間的・空間的次元から音声と映像の特徴を結合した非結合型音声・映像依存性を提案する。
論文参考訳（メタデータ） (2023-09-18T12:24:02Z)
VarietySound: Timbre-Controllable Video to Sound Generation via Unsupervised Information Disentanglement [68.42632589736881]
ビデオ入力と参照音声サンプルを与えられた特定の音色で発音する作業を行う。この課題を解決するために,対象の音声を時間情報,音響情報,背景情報という3つの構成要素にまとめる。提案手法は,ビデオ中のイベントと高音質の音声サンプルを生成し,参照音声と高音質の類似性を示す。
論文参考訳（メタデータ） (2022-11-19T11:12:01Z)
AudioGen: Textually Guided Audio Generation [116.57006301417306]
記述文キャプションに条件付き音声サンプルを生成する問題に対処する。本研究では,テキスト入力に条件付き音声サンプルを生成する自動回帰モデルであるAaudioGenを提案する。
論文参考訳（メタデータ） (2022-09-30T10:17:05Z)
End to End Lip Synchronization with a Temporal AutoEncoder [95.94432031144716]
ビデオ中の唇の動きをオーディオストリームと同期させる問題について検討する。両領域再帰型ニューラルネットワークを用いて最適アライメントを求める。アプリケーションとして、既存のビデオストリームとテキストから音声までの音声を強力にアライメントする能力を実証する。
論文参考訳（メタデータ） (2022-03-30T12:00:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。