論文の概要: Video-Guided Foley Sound Generation with Multimodal Controls

• arxiv url: http://arxiv.org/abs/2411.17698v1
• Date: Tue, 26 Nov 2024 18:59:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:30:35.731567
• Title: Video-Guided Foley Sound Generation with Multimodal Controls
• Title（参考訳）: マルチモーダル制御による映像誘導フォリー音発生
• Authors: Ziyang Chen, Prem Seetharaman, Bryan Russell, Oriol Nieto, David Bourgin, Andrew Owens, Justin Salamon,
• Abstract要約: MultiFoleyは、ビデオ誘導音声生成用に設計されたモデルである。 テキスト、オーディオ、ビデオによるマルチモーダルコンディショニングをサポートする。 私たちのモデルの重要な新規性は、低音質のインターネットビデオデータセットを共同でトレーニングすることにあります。
• 参考スコア（独自算出の注目度）: 30.515964061350395
• License:
• Abstract: Generating sound effects for videos often requires creating artistic sound effects that diverge significantly from real-life sources and flexible control in the sound design. To address this problem, we introduce MultiFoley, a model designed for video-guided sound generation that supports multimodal conditioning through text, audio, and video. Given a silent video and a text prompt, MultiFoley allows users to create clean sounds (e.g., skateboard wheels spinning without wind noise) or more whimsical sounds (e.g., making a lion's roar sound like a cat's meow). MultiFoley also allows users to choose reference audio from sound effects (SFX) libraries or partial videos for conditioning. A key novelty of our model lies in its joint training on both internet video datasets with low-quality audio and professional SFX recordings, enabling high-quality, full-bandwidth (48kHz) audio generation. Through automated evaluations and human studies, we demonstrate that MultiFoley successfully generates synchronized high-quality sounds across varied conditional inputs and outperforms existing methods. Please see our project page for video results: https://ificl.github.io/MultiFoley/
• Abstract（参考訳）: ビデオのサウンドエフェクトを生成するには、実生活のソースと大きく異なる芸術的なサウンドエフェクトを作成し、サウンドデザインを柔軟に制御する必要があることが多い。 この問題に対処するために,テキスト,音声,ビデオによるマルチモーダルコンディショニングをサポートするビデオ誘導音声生成モデルであるMultiFoleyを導入する。 サイレントビデオとテキストプロンプトによって、MultiFoleyはクリーンな音(例えば、風音なしでスケートボードの車輪が回転するなど)や、より気まぐれな音(例えば、ライオンの鳴き声を猫の鳴き声のようにする)を作ることができる。 MultiFoleyでは、サウンドエフェクト(SFX)ライブラリやコンディショニング用の部分的なビデオから参照オーディオを選択することもできる。 私たちのモデルは、低品質のオーディオとプロのSFX録音によるインターネットビデオデータセットとの共同トレーニングによって、高品質でフルバンド幅(48kHz)のオーディオ生成を可能にします。 自動評価と人的研究により,MultiFoleyは様々な条件入力に対して同期した高品質な音を発生し,既存の手法より優れることを示した。 ビデオ結果のプロジェクトページをご覧ください。

関連論文リスト

• Video-Foley: Two-Stage Video-To-Sound Generation via Temporal Event Condition For Foley Sound [6.638504164134713]
  音声合成はマルチメディア生産に不可欠であり、音声と映像を時間的・意味的に同期させることによりユーザエクスペリエンスを向上させる。 ビデオから音声生成によるこの労働集約プロセスの自動化に関する最近の研究は、重大な課題に直面している。 本稿では,Root Mean Square (RMS) を用いた音声合成システムであるVideo-Foleyを提案する。
  論文  参考訳（メタデータ） (2024-08-21T18:06:15Z)
• Read, Watch and Scream! Sound Generation from Text and Video [23.990569918960315]
  本稿では,ReWaSと呼ばれる新しいビデオ・テキスト・音声生成手法を提案する。 本手法は,ユーザのプロンプトからキーコンテンツキューを受信しながら,ビデオから音声の構造情報を推定する。 音声の生成成分を分離することにより、ユーザが好みに応じて、エネルギー、周囲環境、および一次音源を自由に調整できる、より柔軟なシステムとなる。
  論文  参考訳（メタデータ） (2024-07-08T01:59:17Z)
• Action2Sound: Ambient-Aware Generation of Action Sounds from Egocentric Videos [87.32349247938136]
  既存のアプローチでは、トレーニング中にビデオとオーディオの完全な対応を暗黙的に仮定する。 環境に配慮した新しいオーディオ生成モデルAV-LDMを提案する。 我々のアプローチは、観察された視覚コンテンツに忠実にビデオ・オーディオ生成を集中させる最初の方法である。
  論文  参考訳（メタデータ） (2024-06-13T16:10:19Z)
• VidMuse: A Simple Video-to-Music Generation Framework with Long-Short-Term Modeling [71.01050359126141]
  ビデオ入力に対応する音楽を生成するためのフレームワークであるVidMuseを提案する。 VidMuseは、ビデオと音響的、意味的に一致した高忠実な音楽を生成する。
  論文  参考訳（メタデータ） (2024-06-06T17:58:11Z)
• FreeNoise: Tuning-Free Longer Video Diffusion via Noise Rescheduling [85.60543452539076]
  既存のビデオ生成モデルは、典型的には限られた数のフレームで訓練されており、推論中に高忠実度長ビデオを生成することができない。 本研究では,複数のテキストに条件付けされた長編ビデオを生成するためのテキスト駆動能力の拡張の可能性について検討する。 我々は,事前学習したビデオ拡散モデルの生成能力を高めるため,チューニング不要かつ時間効率のパラダイムであるFreeNoiseを提案する。
  論文  参考訳（メタデータ） (2023-10-23T17:59:58Z)
• Conditional Generation of Audio from Video via Foley Analogies [19.681437827280757]
  デザイナーがビデオに付加する音響効果は、特定の芸術効果を伝えるように設計されており、シーンの真の音とはかなり異なるかもしれない。 実音と異なる映像のサウンドトラックを作成するという課題に着想を得て,条件付きフォリーの問題を提案する。 人間の研究と自動評価指標を用いて,本モデルが映像から音声を生成できることを示す。
  論文  参考訳（メタデータ） (2023-04-17T17:59:45Z)
• MM-Diffusion: Learning Multi-Modal Diffusion Models for Joint Audio and Video Generation [70.74377373885645]
  本稿では,視聴体験と視聴体験を同時に実現する,初の共同音声ビデオ生成フレームワークを提案する。 MM拡散(MM-Diffusion)は、設計による共同記述プロセスのための連続的なマルチモーダルなU-Netで構成されている。 実験は、無条件のオーディオビデオ生成とゼロショット条件付タスクにおいて優れた結果を示す。
  論文  参考訳（メタデータ） (2022-12-19T14:11:52Z)
• AudioGen: Textually Guided Audio Generation [116.57006301417306]
  記述文キャプションに条件付き音声サンプルを生成する問題に対処する。 本研究では,テキスト入力に条件付き音声サンプルを生成する自動回帰モデルであるAaudioGenを提案する。
  論文  参考訳（メタデータ） (2022-09-30T10:17:05Z)
• Sound2Sight: Generating Visual Dynamics from Sound and Context [36.38300120482868]
  本稿では,オーディオと過去のフレームの結合埋め込みに先立って,フレーム単位の学習をトレーニングする,深い変動の枠組みであるSound2Sightを紹介する。 生成したフレームの品質とコヒーレンスを改善するために,マルチモーダル判別器を提案する。 実験の結果,Sound2Sightは生成した映像の画質において,映像の状態を著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2020-07-23T16:57:44Z)
• Generating Visually Aligned Sound from Videos [83.89485254543888]
  自然ビデオから音を生成するタスクに焦点をあてる。 音は時間的にも内容的にも視覚信号と一致しているべきです。 カメラの外部で発生する音は、ビデオコンテンツから推測することはできない。
  論文  参考訳（メタデータ） (2020-07-14T07:51:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。