論文の概要: VIBE: Video Instruction-aligned Background music gEneration
- arxiv url: http://arxiv.org/abs/2608.30125v1
- Date: Mon, 31 Aug 2026 01:19:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.192803
- Title: VIBE: Video Instruction-aligned Background music gEneration
- Title（参考訳）: VIBE:ビデオ・インストラクション・アライン・バックグラウンド・ミュージック・ジェネレーション
- Abstract要約: 現在のV2Mモデルは意味制御に欠け、命令違反をペナルティ化することができない。
本研究では,コンディショニング接続を利用した新しいテキスト・ビデオ・音楽生成モデルであるVIBEを紹介する。
- 参考スコア（独自算出の注目度）: 58.326977744404566
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Current video-to-music (V2M) models lack semantic control and fail to penalize instruction violations, largely due to their reliance on reconstruction objectives and the representational bottleneck of static cross-modal conditioning in Diffusion Autoregressive (DAR) architectures. To resolve this, we introduce VIBE, a novel text-and-video-to-music (T+V2M) generation model that leverages: (1) Conditioning Connection, a depth-wise cross-layer conditioning mechanism that dynamically bridges the planning and diffusion refinement heads and (2) a comprehensive reward modeling taxonomy, optimizing for both hard, verifiable constraints (e.g., tempo, key) and soft, subjective qualities (e.g., musicality, multimodal alignment) with a structured 5-stage training curriculum. Upon evaluation using audio-visual alignment, instruction following, and audio quality metrics, along with a subjective human evaluation study, we observe that VIBE demonstrates enhanced controllability and instruction adherence while performing comparably to most evaluated baselines on generation fidelity and multimodal alignment.
- Abstract（参考訳）: 現在のV2Mモデルは、DAR(Diffusion Autoregressive)アーキテクチャにおける、再構成目的と静的なモーダル条件の表現的ボトルネックに大きく依存しているため、意味制御に欠け、命令違反のペナルティ化に失敗している。
そこで本研究では,(1)計画・拡散改善ヘッドを動的に橋渡しする深層間条件付け機構であるコンディショニング接続,(2)ハード,検証可能な制約(例えばテンポ,キー)とソフト,主観的品質(例えば,音楽性,マルチモーダルアライメント)を,構造化された5段階のトレーニングカリキュラムで最適化する包括的報酬モデリング分類を導入した。
音声・視覚的アライメント,指示追従,音質の指標を用いて評価を行った結果,VIBEは制御性および命令順応性を向上するとともに,生成忠実度とマルチモーダルアライメントに基づいて最も評価されたベースラインに適合する性能を示した。
関連論文リスト
- Visual Representation Matters: Exploiting Temporal Differences in Video-to-Audio Generation [53.47090840868696]
Video-to-audio(V2A)生成は、画像-to-audio生成(I2A)を延長する
本稿では、V2AとI2Aを区別するキー表現として、時間差(TD)を利用するTD-V2Aを紹介する。
提案するフレームワークによるTDを効果的に活用することで、エンドツーエンドのV2A生成品質が大幅に向上することを示す。
論文 参考訳（メタデータ） (2026-08-05T14:28:05Z) - Video-MME-v2: Towards the Next Stage in Benchmarks for Comprehensive Video Understanding [98.3098451637867]
Video-MME-v2は、ビデオ理解の堅牢性と忠実さを厳格に評価するために設計された総合的なベンチマークである。
データ品質を保証するため、Video-MME-v2は厳格に制御された人間のアノテーションパイプラインを通して構築される。
論文 参考訳（メタデータ） (2026-04-06T17:59:56Z) - GMS-CAVP: Improving Audio-Video Correspondence with Multi-Scale Contrastive and Generative Pretraining [64.72014392166625]
GMS-CAVPは、マルチスケールビデオ・オーディオアライメントとマルチスケール空間時間拡散に基づく事前学習目的を組み合わせた、新しいフレームワークである。
まず、GMS-CAVPは、様々な粒度にわたる意味的および時間的関係をキャプチャするマルチスケールのコントラスト学習戦略を導入する。
第2に、拡散に基づく生成目的を組み込むことにより、従来のコントラスト学習を超越し、ビデオとオーディオ間のモダリティ変換と合成を可能にする。
論文 参考訳（メタデータ） (2026-01-27T13:43:32Z) - T2AV-Compass: Towards Unified Evaluation for Text-to-Audio-Video Generation [41.03487954415606]
Text-to-Audio-Video (T2AV) は、自然言語から時間的コヒーレントなビデオと意味的に同期された音声を合成することを目的としている。
本稿では,T2AVシステムの総合評価のための統合ベンチマークであるT2AV-を提案する。
最強のモデルでさえ、人間レベルのリアリズムとクロスモーダルな一貫性にかなり劣っている。
論文 参考訳（メタデータ） (2025-12-24T10:30:35Z) - Diff-V2M: A Hierarchical Conditional Diffusion Model with Explicit Rhythmic Modeling for Video-to-Music Generation [26.273309051211204]
Video-to-music (V2M) の生成は、視覚的コンテンツに合わせて音楽を作成することを目的としている。
階層的条件拡散モデルに基づく一般的なV2MフレームワークであるDiff-V2Mを提案する。
リズムモデリングでは、低分解能メル-スペクトログラム、テンポグラム、オンセット検出機能(ODF)など、いくつかのリズム表現を評価することから始める。
論文 参考訳（メタデータ） (2025-11-12T08:02:06Z) - StableDub: Taming Diffusion Prior for Generalized and Efficient Visual Dubbing [63.72095377128904]
視覚的ダビングタスクは、運転音声と同期した口の動きを生成することを目的としている。
音声のみの運転パラダイムは、話者固有の唇習慣を不十分に捉えている。
Blind-inpaintingアプローチは、障害を処理する際に視覚的なアーティファクトを生成する。
論文 参考訳（メタデータ） (2025-09-26T05:23:31Z) - Controllable Video-to-Music Generation with Multiple Time-Varying Conditions [14.646682524511682]
音楽はビデオの物語や感情を高め、V2M(Automatic Video-to-music)生成の需要を加速させる。
既存のV2M手法は、視覚的特徴や補足的なテキスト入力にのみ依存しており、ブラックボックス方式で音楽を生成する。
本稿では,複数の時間変化条件を取り入れたマルチ条件誘導型V2M生成フレームワークを提案する。
論文 参考訳（メタデータ） (2025-07-28T08:41:20Z) - MoCa: Modality-aware Continual Pre-training Makes Better Bidirectional Multimodal Embeddings [75.0617088717528]
MoCaは、トレーニング済みのVLMバックボーンを効果的な双方向埋め込みモデルに変換するためのフレームワークである。
MoCaは、MMEBとViDoRe-v2ベンチマークのパフォーマンスを継続的に改善し、新しい最先端の結果を達成する。
論文 参考訳（メタデータ） (2025-06-29T06:41:00Z) - CMMD: Contrastive Multi-Modal Diffusion for Video-Audio Conditional Modeling [21.380988939240844]
ビデオとオーディオの双方向条件生成に適したマルチモーダル拡散モデルを提案する。
本稿では,視覚と聴覚の同期を改善するために,協調学習損失を提案する。
論文 参考訳（メタデータ） (2023-12-08T23:55:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。