論文の概要: Dialogue-Aware Video-to-Music Generation Using Public Domain Film Collections
- arxiv url: http://arxiv.org/abs/2608.11576v1
- Date: Wed, 12 Aug 2026 02:32:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-13 19:07:54.435636
- Title: Dialogue-Aware Video-to-Music Generation Using Public Domain Film Collections
- Title（参考訳）: パブリックドメインフィルムコレクションを用いた対話型ビデオ音楽生成
- Abstract要約: オープンスクリーンサウンドトラックライブラリバージョン2(OSSL-v2)を導入し、34,343本のビデオクリップを合計246.4時間使用した。
クロールコーパスとは異なり、OSSL-v2は再現可能であり、著作権を意識しているが、機能的なビデオから音楽へのモデルを訓練するのに十分な大きさである。
次に、このフィルムドメインコーパスを用いて、映画音楽とオンスクリーン音声の密接な時間的結合を動機とした、ビデオ・音楽生成のためのコンディショニング信号として対話を研究する。
- 参考スコア（独自算出の注目度）: 25.68625139441505
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Video-to-music generation has drawn growing interest for its role in conveying the emotion of visual media, including film. Progress in the field, however, is hampered by a reproducibility gap: models are often trained on crawled corpora referenced through YouTube URLs that may be deleted, with the underlying data often difficult and time-consuming to retrieve. To address this, we introduce the Open Screen Soundtrack Library version 2 (OSSL-v2), a self-hosted corpus of 34,343 video clips totaling 246.4 hours, sourced from public-domain films. Unlike crawled corpora, OSSL-v2 is reproducible (i.e., not subject to link rot) and copyright-conscious, yet still large enough to train functional video-to-music models. We then use this film-domain corpus to study dialogue as a conditioning signal for video-to-music generation, motivated by the close temporal coupling between film music and on-screen speech. Specifically, we augment existing models' video cross-attention with a time axis and modulate it frame-by-frame with the dialogue track. Evaluated on both public-domain and commercial films, our approach shows improvement over the state-of-the-art baselines. The dataset is available at https://huggingface.co/datasets/McAuley-Lab/OSSL-v2.
- Abstract（参考訳）: 映像から音楽への生成は、映画を含む視覚メディアの感情を伝える役割への関心が高まっている。
しかし、この分野の進歩は再現性ギャップによって妨げられている。モデルはしばしば、削除される可能性のあるYouTubeURLを通じて参照されるクロールコーパスでトレーニングされる。
この問題を解決するために、公開ドメイン映画から246.4時間、34,343本のビデオクリップをセルフホストしたOpen Screen Soundtrack Libraryバージョン2(OSSL-v2)を紹介した。
クロールコーパスとは異なり、OSSL-v2は再現可能であり、著作権を意識するが、機能的なビデオから音楽へのモデルを訓練するのに十分な大きさである。
次に、このフィルムドメインコーパスを用いて、映画音楽とオンスクリーン音声の密接な時間的結合を動機とした、ビデオ・音楽生成のためのコンディショニング信号として対話を研究する。
具体的には、既存のモデルの動画のクロスアテンションを時間軸で拡張し、対話トラックでフレーム単位に調整する。
パブリックドメイン映画とコマーシャル映画の両方で評価し,最先端のベースラインよりも改良されたアプローチを示した。
データセットはhttps://huggingface.co/datasets/McAuley-Lab/OSSL-v2で公開されている。
関連論文リスト
- SpA2V: Harnessing Spatial Auditory Cues for Audio-driven Spatially-aware Video Generation [50.03810359300705]
SpA2Vは、生成プロセスをオーディオ誘導ビデオ計画とレイアウト接地ビデオ生成の2つの段階に分解する。
入力音声に意味的・空間的アライメントを持たせた実写映像の制作において,SpA2Vが優れていることを示す。
論文 参考訳（メタデータ） (2025-08-01T17:05:04Z) - Let Your Video Listen to Your Music! [62.27731415767459]
本稿では,音楽トラックのリズムに合わせてビデオを自動的に編集する新しいフレームワークMVAAを提案する。
我々は、タスクをMVAAの2段階のプロセスにモジュール化し、動きをオーディオビートと整列させ、次にリズム対応のビデオ編集を行います。
このハイブリッドアプローチは、CogVideoX-5b-I2Vをバックボーンとして使用した1つのNVIDIA 4090 GPU上で10分以内の適応を可能にする。
論文 参考訳（メタデータ） (2025-06-23T17:52:16Z) - Long-Video Audio Synthesis with Multi-Agent Collaboration [20.332328741375363]
LVAS-Agentは、協調的な役割を通じてプロのダビングをエミュレートする新しいフレームワークである。
提案手法は,シーンセグメンテーション,スクリプト生成,音響設計,音声合成の4段階に分割する。
中心的なイノベーションには、シーン/スクリプトの洗練のための議論の補正機構や、時間-意味的アライメントのための世代-検索ループが含まれる。
論文 参考訳（メタデータ） (2025-03-13T07:58:23Z) - ReelWave: Multi-Agentic Movie Sound Generation through Multimodal LLM Conversation [72.22243595269389]
本稿では,自律型サウンドディレクタによって教師される音声生成のためのマルチエージェントフレームワークを提案する。
Foley ArtistはComposerとVoice Actorのエージェントと共同で働き、共同でオフスクリーンサウンドを自動生成して全体の生産を補完する。
本フレームワークは,映画から抽出した映像クリップに調和した,リッチで関連性の高い音声コンテンツを生成できる。
論文 参考訳（メタデータ） (2025-03-10T11:57:55Z) - TANGO: Co-Speech Gesture Video Reenactment with Hierarchical Audio Motion Embedding and Diffusion Interpolation [4.019144083959918]
TANGO(Tango)は、音声による体温映像を生成するためのフレームワークである。
TANGOは、わずか数分間のシングルスピーカー参照ビデオから、ボディジェスチャーを同期させた高忠実度ビデオを生成する。
論文 参考訳（メタデータ） (2024-10-05T16:30:46Z) - VMAS: Video-to-Music Generation via Semantic Alignment in Web Music Videos [32.741262543860934]
ビデオ入力からバックグラウンド音楽を生成する学習フレームワークを提案する。
我々は,新しいセマンティック・ビデオ・ミュージックアライメント・スキームを用いた生成型ビデオ・ミュージック・トランスフォーマーを開発した。
新しい時間的ビデオエンコーダアーキテクチャにより、多くの高密度なサンプルフレームからなる映像を効率的に処理できる。
論文 参考訳（メタデータ） (2024-09-11T17:56:48Z) - VidMuse: A Simple Video-to-Music Generation Framework with Long-Short-Term Modeling [71.01050359126141]
ビデオ入力に対応する音楽を生成するためのフレームワークであるVidMuseを提案する。
VidMuseは、ビデオと音響的、意味的に一致した高忠実な音楽を生成する。
論文 参考訳（メタデータ） (2024-06-06T17:58:11Z) - V2Meow: Meowing to the Visual Beat via Video-to-Music Generation [47.076283429992664]
V2Meow(V2Meow)は、様々な種類のビデオ入力に対して高品質な音楽オーディオを制作できるビデオ・音楽生成システムである。
ビデオフレームから抽出した訓練済みの汎用視覚特徴を条件づけて、高忠実度オーディオ波形を合成する。
論文 参考訳（メタデータ） (2023-05-11T06:26:41Z) - Towards Smooth Video Composition [59.134911550142455]
ビデオ生成には、時間とともに動的コンテンツを伴う一貫した永続的なフレームが必要である。
本研究は, 生成的対向ネットワーク(GAN)を用いて, 任意の長さの映像を構成するための時間的関係を, 数フレームから無限までモデル化するものである。
単体画像生成のためのエイリアスフリー操作は、適切に学習された知識とともに、フレーム単位の品質を損なうことなく、スムーズなフレーム遷移をもたらすことを示す。
論文 参考訳（メタデータ） (2022-12-14T18:54:13Z) - Lets Play Music: Audio-driven Performance Video Generation [58.77609661515749]
オーディオ駆動型パーパフォーマンスビデオ生成(APVG)という新しいタスクを提案する。
APVGは、特定の音楽オーディオクリップでガイドされた特定の楽器を演奏する人のビデオを合成することを目的としている。
論文 参考訳（メタデータ） (2020-11-05T03:13:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。