論文の概要: MusicInfuser: Making Video Diffusion Listen and Dance

• arxiv url: http://arxiv.org/abs/2503.14505v1
• Date: Tue, 18 Mar 2025 17:59:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-19 14:18:15.934775
• Title: MusicInfuser: Making Video Diffusion Listen and Dance
• Title（参考訳）: MusicInfuser:ビデオ拡散聴取とダンス
• Authors: Susung Hong, Ira Kemelmacher-Shlizerman, Brian Curless, Steven M. Seitz,
• Abstract要約: MusicInfuserは、特定の音楽トラックに同期した高品質なダンスビデオを生成するアプローチである。 既存の映像拡散モデルがどのように音楽入力に適応できるかを示す。
• 参考スコア（独自算出の注目度）: 20.41612388764672
• License:
• Abstract: We introduce MusicInfuser, an approach for generating high-quality dance videos that are synchronized to a specified music track. Rather than attempting to design and train a new multimodal audio-video model, we show how existing video diffusion models can be adapted to align with musical inputs by introducing lightweight music-video cross-attention and a low-rank adapter. Unlike prior work requiring motion capture data, our approach fine-tunes only on dance videos. MusicInfuser achieves high-quality music-driven video generation while preserving the flexibility and generative capabilities of the underlying models. We introduce an evaluation framework using Video-LLMs to assess multiple dimensions of dance generation quality. The project page and code are available at https://susunghong.github.io/MusicInfuser.
• Abstract（参考訳）: 本稿では,特定の楽曲に同期した高品質なダンスビデオを生成する手法であるMusicInfuserを紹介する。 マルチモーダル・オーディオ・ビデオ・モデルの設計と訓練を行う代わりに,軽量な音楽ビデオ・クロスアテンションと低ランクなアダプタを導入することで,既存の映像拡散モデルを音楽入力に適合させる方法を示す。 モーションキャプチャーデータを必要とする以前の作業とは異なり、我々のアプローチはダンスビデオにのみ微調整される。 MusicInfuserは、基礎となるモデルの柔軟性と生成能力を保ちながら、高品質な音楽駆動ビデオ生成を実現する。 複数次元のダンス生成品質を評価するために,ビデオLLMを用いた評価フレームワークを提案する。 プロジェクトページとコードはhttps://susunghong.github.io/MusicInfuser.comで公開されている。

関連論文リスト

• GVMGen: A General Video-to-Music Generation Model with Hierarchical Attentions [13.9134271174972]
  本稿では,映像入力に高関連音楽を生成するための一般ビデオ・音楽生成モデル(GVMGen)を提案する。 本モデルでは,映像特徴を空間次元と時間次元の両方で抽出・アライメントするために階層的注意を用いた。 提案手法は,ゼロショットシナリオにおいても,異なるビデオ入力からマルチスタイルの楽曲を生成することが可能である。
  論文  参考訳（メタデータ） (2025-01-17T06:30:11Z)
• MuVi: Video-to-Music Generation with Semantic Alignment and Rhythmic Synchronization [52.498942604622165]
  本稿では,ビデオコンテンツに合わせた音楽を生成するためのフレームワークであるMuViについて述べる。 MuViは、特別に設計された視覚適応器を通じて映像コンテンツを分析し、文脈的および時間的に関係のある特徴を抽出する。 音声品質と時間同期の両方において, MuVi が優れた性能を示すことを示す。
  論文  参考訳（メタデータ） (2024-10-16T18:44:56Z)
• VMAS: Video-to-Music Generation via Semantic Alignment in Web Music Videos [32.741262543860934]
  ビデオ入力からバックグラウンド音楽を生成する学習フレームワークを提案する。 我々は,新しいセマンティック・ビデオ・ミュージックアライメント・スキームを用いた生成型ビデオ・ミュージック・トランスフォーマーを開発した。 新しい時間的ビデオエンコーダアーキテクチャにより、多くの高密度なサンプルフレームからなる映像を効率的に処理できる。
  論文  参考訳（メタデータ） (2024-09-11T17:56:48Z)
• VidMuse: A Simple Video-to-Music Generation Framework with Long-Short-Term Modeling [71.01050359126141]
  ビデオ入力に対応する音楽を生成するためのフレームワークであるVidMuseを提案する。 VidMuseは、ビデオと音響的、意味的に一致した高忠実な音楽を生成する。
  論文  参考訳（メタデータ） (2024-06-06T17:58:11Z)
• Diff-BGM: A Diffusion Model for Video Background Music Generation [16.94631443719866]
  ビデオと音楽に関するマルチモーダル情報を提供するために,詳細なアノテーションとショット検出を備えた高品質な音楽ビデオデータセットを提案する。 次に,音楽の多様性や音楽と映像のアライメントなど,音楽の質を評価するための評価指標を提案する。 Diff-BGMフレームワークは、ビデオの背景音楽を自動的に生成し、生成過程において異なる信号を用いて音楽の異なる側面を制御する。
  論文  参考訳（メタデータ） (2024-05-20T09:48:36Z)
• Video2Music: Suitable Music Generation from Videos using an Affective Multimodal Transformer model [32.801213106782335]
  我々は、提供されたビデオにマッチできる生成型音楽AIフレームワーク、Video2Musicを開発した。 そこで本研究では,映像コンテンツにマッチする楽曲を感情的に生成する手法を提案する。
  論文  参考訳（メタデータ） (2023-11-02T03:33:00Z)
• V2Meow: Meowing to the Visual Beat via Video-to-Music Generation [47.076283429992664]
  V2Meow(V2Meow)は、様々な種類のビデオ入力に対して高品質な音楽オーディオを制作できるビデオ・音楽生成システムである。 ビデオフレームから抽出した訓練済みの汎用視覚特徴を条件づけて、高忠実度オーディオ波形を合成する。
  論文  参考訳（メタデータ） (2023-05-11T06:26:41Z)
• Quantized GAN for Complex Music Generation from Dance Videos [48.196705493763986]
  D2M-GAN(Dance2Music-GAN, D2M-GAN, D2M-GAN)は、ダンスビデオに条件付けされた楽曲のサンプルを生成する新しいマルチモーダルフレームワークである。 提案フレームワークは,ダンスビデオフレームと人体の動きを入力とし,対応する入力に付随する音楽サンプルを生成することを学習する。
  論文  参考訳（メタデータ） (2022-04-01T17:53:39Z)
• Lets Play Music: Audio-driven Performance Video Generation [58.77609661515749]
  オーディオ駆動型パーパフォーマンスビデオ生成(APVG)という新しいタスクを提案する。 APVGは、特定の音楽オーディオクリップでガイドされた特定の楽器を演奏する人のビデオを合成することを目的としている。
  論文  参考訳（メタデータ） (2020-11-05T03:13:46Z)
• Foley Music: Learning to Generate Music from Videos [115.41099127291216]
  Foley Musicは、楽器を演奏する人々に関するサイレントビデオクリップのために、可愛らしい音楽を合成できるシステムだ。 まず、ビデオから音楽生成に成功するための2つの重要な中間表現、すなわち、ビデオからのボディーキーポイントと、オーディオ録音からのMIDIイベントを識別する。 身体の動きに応じてMIDIイベントシーケンスを正確に予測できるグラフ$-$Transformerフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-21T17:59:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。