論文の概要: Let Your Video Listen to Your Music!

• arxiv url: http://arxiv.org/abs/2506.18881v1
• Date: Mon, 23 Jun 2025 17:52:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-24 19:06:37.110885
• Title: Let Your Video Listen to Your Music!
• Title（参考訳）: 音楽聴き放題!
• Authors: Xinyu Zhang, Dong Gong, Zicheng Duan, Anton van den Hengel, Lingqiao Liu,
• Abstract要約: 本稿では,音楽トラックのリズムに合わせてビデオを自動的に編集する新しいフレームワークMVAAを提案する。 我々は、タスクをMVAAの2段階のプロセスにモジュール化し、動きをオーディオビートと整列させ、次にリズム対応のビデオ編集を行います。 このハイブリッドアプローチは、CogVideoX-5b-I2Vをバックボーンとして使用した1つのNVIDIA 4090 GPU上で10分以内の適応を可能にする。
• 参考スコア（独自算出の注目度）: 62.27731415767459
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Aligning the rhythm of visual motion in a video with a given music track is a practical need in multimedia production, yet remains an underexplored task in autonomous video editing. Effective alignment between motion and musical beats enhances viewer engagement and visual appeal, particularly in music videos, promotional content, and cinematic editing. Existing methods typically depend on labor-intensive manual cutting, speed adjustments, or heuristic-based editing techniques to achieve synchronization. While some generative models handle joint video and music generation, they often entangle the two modalities, limiting flexibility in aligning video to music beats while preserving the full visual content. In this paper, we propose a novel and efficient framework, termed MVAA (Music-Video Auto-Alignment), that automatically edits video to align with the rhythm of a given music track while preserving the original visual content. To enhance flexibility, we modularize the task into a two-step process in our MVAA: aligning motion keyframes with audio beats, followed by rhythm-aware video inpainting. Specifically, we first insert keyframes at timestamps aligned with musical beats, then use a frame-conditioned diffusion model to generate coherent intermediate frames, preserving the original video's semantic content. Since comprehensive test-time training can be time-consuming, we adopt a two-stage strategy: pretraining the inpainting module on a small video set to learn general motion priors, followed by rapid inference-time fine-tuning for video-specific adaptation. This hybrid approach enables adaptation within 10 minutes with one epoch on a single NVIDIA 4090 GPU using CogVideoX-5b-I2V as the backbone. Extensive experiments show that our approach can achieve high-quality beat alignment and visual smoothness.
• Abstract（参考訳）: ビデオにおける視覚運動のリズムを所定の音楽トラックで調整することは、マルチメディア制作において現実的な必要性であるが、自律的なビデオ編集では未探索の課題である。 モーションビートと音楽ビートとの効果的なアライメントは、特にミュージックビデオ、プロモーションコンテンツ、映画編集において、視聴者のエンゲージメントと視覚的魅力を高める。 既存の方法は通常、同期を達成するために労働集約的な手作業の切断、速度調整、ヒューリスティックベースの編集技術に依存している。 いくつかの生成モデルは、ジョイントビデオと音楽生成を処理するが、彼らはしばしば2つのモードを絡み合わせ、ビデオと音楽のビートを合わせる柔軟性を制限し、完全なビジュアルコンテンツを保存している。 本稿では,MVAA(Music-Video Auto-Alignment)と呼ばれる新鮮で効率的なフレームワークを提案する。 柔軟性を高めるために、私たちはMVAAの2段階のプロセスにタスクをモジュール化しました。 具体的には、まず音楽のビートに合わせたタイムスタンプにキーフレームを挿入し、フレーム条件の拡散モデルを用いてコヒーレントな中間フレームを生成し、元のビデオの意味的内容を保存する。 総合的なテスト時間トレーニングは時間を要する可能性があるため、我々は2段階の戦略を採用する:小さなビデオセットで塗布モジュールを事前訓練し、一般的な動きを学習し、次にビデオ固有の適応のための高速な推論時間微調整を行う。 このハイブリッドアプローチは、CogVideoX-5b-I2Vをバックボーンとして、単一のNVIDIA 4090 GPU上で1エポックで10分以内の適応を可能にする。 広汎な実験により、我々のアプローチは高品質なビートアライメントと視覚的滑らかさを達成できることが示されている。

関連論文リスト

• Audio-Sync Video Generation with Multi-Stream Temporal Control [64.00019697525322]
  我々は,正確な音声-視覚同期を備えたビデオ生成のための多目的フレームワークであるMTVを紹介する。 MTVは音声を音声、エフェクト、トラックに分離し、唇の動き、イベントタイミング、視覚的気分を制御できる。 このフレームワークをサポートするために、高品質な撮影ビデオとデミックスされたオーディオトラックのデータセットであるDremixを提示する。
  論文  参考訳（メタデータ） (2025-06-09T17:59:42Z)
• MuVi: Video-to-Music Generation with Semantic Alignment and Rhythmic Synchronization [52.498942604622165]
  本稿では,ビデオコンテンツに合わせた音楽を生成するためのフレームワークであるMuViについて述べる。 MuViは、特別に設計された視覚適応器を通じて映像コンテンツを分析し、文脈的および時間的に関係のある特徴を抽出する。 音声品質と時間同期の両方において, MuVi が優れた性能を示すことを示す。
  論文  参考訳（メタデータ） (2024-10-16T18:44:56Z)
• VMAS: Video-to-Music Generation via Semantic Alignment in Web Music Videos [32.741262543860934]
  ビデオ入力からバックグラウンド音楽を生成する学習フレームワークを提案する。 我々は,新しいセマンティック・ビデオ・ミュージックアライメント・スキームを用いた生成型ビデオ・ミュージック・トランスフォーマーを開発した。 新しい時間的ビデオエンコーダアーキテクチャにより、多くの高密度なサンプルフレームからなる映像を効率的に処理できる。
  論文  参考訳（メタデータ） (2024-09-11T17:56:48Z)
• VidMuse: A Simple Video-to-Music Generation Framework with Long-Short-Term Modeling [71.01050359126141]
  ビデオ入力に対応する音楽を生成するためのフレームワークであるVidMuseを提案する。 VidMuseは、ビデオと音響的、意味的に一致した高忠実な音楽を生成する。
  論文  参考訳（メタデータ） (2024-06-06T17:58:11Z)
• Dance Any Beat: Blending Beats with Visuals in Dance Video Generation [12.018432669719742]
  音楽によってガイドされた個人の画像から直接ダンスビデオを生成するという新しいタスクを導入する。 我々のソリューションであるDance Any Beat Diffusion Model (DabFusion)は、参照画像と楽曲を使用してダンスビデオを生成する。 AIST++データセットを用いてDabFusionの性能評価を行い,映像品質,オーディオ・ビデオ同期,モーション・ミュージックアライメントに着目した。
  論文  参考訳（メタデータ） (2024-05-15T11:33:07Z)
• Video2Music: Suitable Music Generation from Videos using an Affective Multimodal Transformer model [32.801213106782335]
  我々は、提供されたビデオにマッチできる生成型音楽AIフレームワーク、Video2Musicを開発した。 そこで本研究では,映像コンテンツにマッチする楽曲を感情的に生成する手法を提案する。
  論文  参考訳（メタデータ） (2023-11-02T03:33:00Z)
• Lets Play Music: Audio-driven Performance Video Generation [58.77609661515749]
  オーディオ駆動型パーパフォーマンスビデオ生成(APVG)という新しいタスクを提案する。 APVGは、特定の音楽オーディオクリップでガイドされた特定の楽器を演奏する人のビデオを合成することを目的としている。
  論文  参考訳（メタデータ） (2020-11-05T03:13:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。