論文の概要: BEAT: Rhythm-Elastic Alignment for Agentic Music-guided Movie Trailer Generation

• arxiv url: http://arxiv.org/abs/2605.27067v1
• Date: Tue, 26 May 2026 14:18:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-27 17:51:42.214441
• Title: BEAT: Rhythm-Elastic Alignment for Agentic Music-guided Movie Trailer Generation
• Title（参考訳）: BEAT: エージェント音楽誘導映画トレーサジェネレーションのためのリズム弾性アライメント
• Authors: Yutong Wang, Yunke Wang, Xinyuan Chen, Chang Xu,
• Abstract要約: 映画トレーラーにおける音楽と視覚のアライメントに対処するフレームワークBEATを紹介する。 BEAT は Sinkhorn-regularized two-stage learning で訓練されたコンパクトな音楽-視覚アライメントエンコーダ MuVA と、エネルギー適応型動的プログラミングアルゴリズム Bar-DP で構成されている。 BEATはショットセレクション、オーダリング、知覚的品質で最先端のパフォーマンスを達成し、完全に構成されたトレーラーをエンドツーエンドで生産する。
• 参考スコア（独自算出の注目度）: 39.34127736636265
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automatic movie trailer generation must select shots from a full-length film and synchronize them with background music. Existing methods either relegate music alignment to post-processing or enforce rigid one-to-one shot-music mappings, overlooking that professional editing rhythm is elastic: rapid cuts accompany high-energy passages while sustained shots span quieter bars. We introduce BEAT, a framework that addresses this gap with two core components: MuVA, a compact music-visual alignment encoder trained with Sinkhorn-regularized two-stage learning, and Bar-DP, an energy-adaptive dynamic programming algorithm that produces elastic many-to-one alignments following musical dynamics. These components are integrated into a five-phase agentic pipeline that grounds the core alignment in learned cross-modal features while coordinating higher-level creative decisions through structured text signals. To support comprehensive evaluation, we also introduce TrailerArena, a benchmark with 20+ metrics across four complementary dimensions. On TrailerArena, BEAT achieves state-of-the-art performance across shot selection, ordering, and perceptual quality, while producing fully composed trailers end-to-end.
• Abstract（参考訳）: 自動トレーラー生成は、フル長のフィルムからショットを選択し、それらをバックグラウンド音楽と同期させなければならない。 既存の方法は、後処理に音楽アライメントを緩和するか、プロの編集リズムが弾力性があることを見越して、厳格な1対1のショットミュージックマッピングを強制するかのどちらかだ。 このギャップに対処するフレームワークであるBEATは、シンクホーン規則化された2段階学習で訓練されたコンパクトな音楽-視覚的アライメントエンコーダであるMuVAと、弾力的な多対一アライメントを生成するエネルギー適応型動的プログラミングアルゴリズムBar-DPである。 これらのコンポーネントは5フェーズのエージェントパイプラインに統合され、学習されたクロスモーダル機能のコアアライメントを基盤として、構造化されたテキスト信号を通じて高いレベルの創造的決定をコーディネートする。 包括的評価をサポートするために,4つの相補的な次元にわたる20以上のメトリクスを持つベンチマークであるTraceerArenaも導入した。 TrailerArenaでは、BEATはショットセレクション、順序付け、知覚的品質で最先端のパフォーマンスを達成しつつ、完全に構成されたトレーラーをエンドツーエンドで生産している。

関連論文リスト

• TMD-Bench: A Multi-Level Evaluation Paradigm for Music-Dance Co-Generation [45.3416170884362]
  TMD-Benchはテキスト駆動型音楽ダンスコージェネレーションのベンチマークである。 単調な生成品質、命令順守、およびモード間のリズミカルアライメントにまたがるシステムを評価する。
  論文  参考訳（メタデータ） (2026-05-03T10:25:47Z)
• Video-Robin: Autoregressive Diffusion Planning for Intent-Grounded Video-to-Music Generation [58.326977744404566]
  ビデオ・トゥ・ミュージック(V2M)は、入力ビデオの背景音楽を作成するための基本的なタスクである。 ビデオコンテンツのための高速で高品質でセマンティックに整合した音楽生成を可能にする,新しいテキスト調和型ビデオ-音楽生成モデルであるVideo-Robinを提案する。
  論文  参考訳（メタデータ） (2026-04-19T22:54:56Z)
• Art2Music: Generating Music for Art Images with Multi-modal Feeling Alignment [2.6505592523846495]
  ArtiCapsは、ArtEmisとMusicCapsのセマンティックな記述をマッチングして作成した、擬似的な感覚整列画像テキストデータセットである。 Art2Musicは、アートイメージとユーザコメントから音楽を合成する軽量なクロスモーダルフレームワークである。 ArtiCapsの実験では、メルケプストラム歪み、フレシェ・オーディオ・ディスタンス、ログスペクトル・ディスタンス、コサイン類似性が明らかに改善されている。
  論文  参考訳（メタデータ） (2025-11-27T21:05:53Z)
• Let Your Video Listen to Your Music! [62.27731415767459]
  本稿では,音楽トラックのリズムに合わせてビデオを自動的に編集する新しいフレームワークMVAAを提案する。 我々は、タスクをMVAAの2段階のプロセスにモジュール化し、動きをオーディオビートと整列させ、次にリズム対応のビデオ編集を行います。 このハイブリッドアプローチは、CogVideoX-5b-I2Vをバックボーンとして使用した1つのNVIDIA 4090 GPU上で10分以内の適応を可能にする。
  論文  参考訳（メタデータ） (2025-06-23T17:52:16Z)
• Extending Visual Dynamics for Video-to-Music Generation [51.274561293909926]
  DyViMは、ビデオから音楽への生成のための動的モデリングを強化する新しいフレームワークである。 高レベルのセマンティクスは、クロスアテンションメカニズムを通じて伝達される。 実験では、DyViMが最先端(SOTA)法よりも優れていることを示した。
  論文  参考訳（メタデータ） (2025-04-10T09:47:26Z)
• Prosody-Enhanced Acoustic Pre-training and Acoustic-Disentangled Prosody Adapting for Movie Dubbing [60.38045088180188]
  高精度な韻律アライメントで高品質なダビング生成を実現するために,音響プロソディディスト2段法を提案する。 我々は、異なる映画における視覚領域シフトの影響を低減するために、ドメイン内感情分析モジュールを組み込んだ。 提案手法は,2つのベンチマークにおける最先端モデルに対して良好に機能する。
  論文  参考訳（メタデータ） (2025-03-15T08:25:57Z)
• FilmComposer: LLM-Driven Music Production for Silent Film Clips [7.730834771348827]
  LLM方式を用いてサイレントフィルムクリップのための音楽制作を行う。 FilmComposerは、大規模な生成モデルとマルチエージェントアプローチを組み合わせた最初のものである。 MusicPro-7kには7,418本の映画クリップ、音楽、説明、リズムスポット、メインメロディが含まれている。
  論文  参考訳（メタデータ） (2025-03-11T08:05:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。