論文の概要: Bring Music The Horizon: Music-Driven 360$^\circ$ Video Generation
- arxiv url: http://arxiv.org/abs/2607.13471v1
- Date: Wed, 15 Jul 2026 06:00:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-16 16:39:12.666255
- Title: Bring Music The Horizon: Music-Driven 360$^\circ$ Video Generation
- Title（参考訳）: 音楽中心の360ドル^\circ$ビデオジェネレーション
- Abstract要約: 音楽を提供する The Horizonは、音楽駆動の360ドル周ビデオ生成のための感情認識パイプラインだ。
我々のパイプラインは、入力された歌の感情的な進行と時間的構造を反映した360ドル周の音楽視覚化ビデオを生成する。
- 参考スコア（独自算出の注目度）: 0.9099663022952497
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Music visualization offers a powerful way to enhance listeners' understanding and experience of music by translating auditory signals into visual forms. However, most existing approaches either rely heavily on lyrics or generate flat, non-immersive videos similar to conventional music videos, which limits their ability to convey the emotional dynamics of music and provide an immersive listening experience. We propose Bring Music The Horizon, an emotion-aware pipeline for music-driven 360$^\circ$ video generation. Given an input song, our work first estimates its emotional trajectory by predicting valence-arousal values at the level of every four bars. These values are then converted into emotion-aware visual guidance using EmotiCrafter, and these guidance vectors can be manipulated by the SEGA framework, which provides fine-grained semantic control for keyframe generation. Finally, image-to-video models are applied to the generated keyframes to synthesize temporally continuous 360$^\circ$ videos for immersive music visualization. Our pipeline generates 360$^\circ$ music visualization videos that reflect the emotional progression and temporal structure of the input song. We demonstrate its capability using songs from different genres and provide qualitative comparisons with From-Sound-To-Sight, a representative audio-to-visual generation baseline, on our project page at https://etoile-et-toi-mp3.github.io/BMTH_Project_Page/.
- Abstract（参考訳）: 音楽ヴィジュアライゼーションは、聴覚信号を視覚形式に変換することで、聴取者の音楽に対する理解と経験を高める強力な手段を提供する。
しかし、既存のほとんどのアプローチは、歌詞に大きく依存するか、従来のミュージックビデオと同様、フラットで没入的でないビデオを生成するかのいずれかであり、これは音楽の感情的ダイナミクスを伝達し、没入的聴取体験を提供する能力を制限している。
本稿では,音楽駆動型360$^\circ$ビデオ生成のための感情認識パイプラインであるBring Music The Horizonを提案する。
入力歌が与えられた場合、まず4バーごとに価-覚醒値を予測することで感情の軌跡を推定する。
これらの値はEmotiCrafterを使って感情認識型ビジュアルガイダンスに変換され、これらのガイダンスベクトルはSEGAフレームワークによって操作できる。
最後に、生成したキーフレームに画像から映像のモデルを適用し、時間的に連続した360$^\circ$ビデオを合成して没入型音楽可視化を行う。
パイプラインは、入力歌の感情的進行と時間的構造を反映した360$^\circ$音楽可視化ビデオを生成する。
我々は,異なるジャンルの楽曲を用いてその能力を実証し,プロジェクトページ https://etoile-et-toi-mp3.github.io/BMTH_Project_Page/ で,代表的なオーディオ対視覚生成ベースラインである From-Sound-To-Sight と比較した。
関連論文リスト
- From Sound to Sight: Towards AI-authored Music Videos [6.8291397456847625]
ユーザが指定した、ボーカルまたは楽器の曲から、音楽ビデオを自動的に生成するための2つの新しいパイプラインを提案する。
音楽ビデオ制作者のマニュアルにインスパイアされた我々は、潜在機能に基づく技術がいかに音声を分析できるかを実験した。
次に、生成モデルを用いて、対応するビデオクリップを生成する。
論文 参考訳（メタデータ） (2025-08-20T13:54:53Z) - Extending Visual Dynamics for Video-to-Music Generation [51.274561293909926]
DyViMは、ビデオから音楽への生成のための動的モデリングを強化する新しいフレームワークである。
高レベルのセマンティクスは、クロスアテンションメカニズムを通じて伝達される。
実験では、DyViMが最先端(SOTA)法よりも優れていることを示した。
論文 参考訳（メタデータ） (2025-04-10T09:47:26Z) - MuVi: Video-to-Music Generation with Semantic Alignment and Rhythmic Synchronization [52.498942604622165]
本稿では,ビデオコンテンツに合わせた音楽を生成するためのフレームワークであるMuViについて述べる。
MuViは、特別に設計された視覚適応器を通じて映像コンテンツを分析し、文脈的および時間的に関係のある特徴を抽出する。
音声品質と時間同期の両方において, MuVi が優れた性能を示すことを示す。
論文 参考訳（メタデータ） (2024-10-16T18:44:56Z) - VMAS: Video-to-Music Generation via Semantic Alignment in Web Music Videos [32.741262543860934]
ビデオ入力からバックグラウンド音楽を生成する学習フレームワークを提案する。
我々は,新しいセマンティック・ビデオ・ミュージックアライメント・スキームを用いた生成型ビデオ・ミュージック・トランスフォーマーを開発した。
新しい時間的ビデオエンコーダアーキテクチャにより、多くの高密度なサンプルフレームからなる映像を効率的に処理できる。
論文 参考訳（メタデータ） (2024-09-11T17:56:48Z) - VidMuse: A Simple Video-to-Music Generation Framework with Long-Short-Term Modeling [71.01050359126141]
ビデオ入力に対応する音楽を生成するためのフレームワークであるVidMuseを提案する。
VidMuseは、ビデオと音響的、意味的に一致した高忠実な音楽を生成する。
論文 参考訳（メタデータ） (2024-06-06T17:58:11Z) - Video2Music: Suitable Music Generation from Videos using an Affective
Multimodal Transformer model [32.801213106782335]
我々は、提供されたビデオにマッチできる生成型音楽AIフレームワーク、Video2Musicを開発した。
そこで本研究では,映像コンテンツにマッチする楽曲を感情的に生成する手法を提案する。
論文 参考訳（メタデータ） (2023-11-02T03:33:00Z) - V2Meow: Meowing to the Visual Beat via Video-to-Music Generation [47.076283429992664]
V2Meow(V2Meow)は、様々な種類のビデオ入力に対して高品質な音楽オーディオを制作できるビデオ・音楽生成システムである。
ビデオフレームから抽出した訓練済みの汎用視覚特徴を条件づけて、高忠実度オーディオ波形を合成する。
論文 参考訳（メタデータ） (2023-05-11T06:26:41Z) - Generative Disco: Text-to-Video Generation for Music Visualization [9.53563436241774]
我々は,大規模な言語モデルとテキスト・ツー・ビデオ生成による音楽視覚化を支援する生成AIシステムであるGenerative Discoを紹介する。
このシステムは、ユーザーが音楽の開始と終了を知らせるプロンプトを見つけ出し、それらの間を音楽のビートに補間する。
色、時間、主題、スタイルの変化を表現するトランジションと、ビデオが主題に焦点を合わせるのに役立つホールドという、これらの生成されたビデオを改善するためのデザインパターンを紹介します。
論文 参考訳（メタデータ） (2023-04-17T18:44:00Z) - Lets Play Music: Audio-driven Performance Video Generation [58.77609661515749]
オーディオ駆動型パーパフォーマンスビデオ生成(APVG)という新しいタスクを提案する。
APVGは、特定の音楽オーディオクリップでガイドされた特定の楽器を演奏する人のビデオを合成することを目的としている。
論文 参考訳（メタデータ） (2020-11-05T03:13:46Z) - Foley Music: Learning to Generate Music from Videos [115.41099127291216]
Foley Musicは、楽器を演奏する人々に関するサイレントビデオクリップのために、可愛らしい音楽を合成できるシステムだ。
まず、ビデオから音楽生成に成功するための2つの重要な中間表現、すなわち、ビデオからのボディーキーポイントと、オーディオ録音からのMIDIイベントを識別する。
身体の動きに応じてMIDIイベントシーケンスを正確に予測できるグラフ$-$Transformerフレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-21T17:59:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。