論文の概要: Self-Representation Alignment in Diffusion Models for Video Background Music Generation

• arxiv url: http://arxiv.org/abs/2610.15575v1
• Date: Sun, 11 Oct 2026 12:40:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.225847
• Title: Self-Representation Alignment in Diffusion Models for Video Background Music Generation
• Title（参考訳）: ビデオ背景音楽生成のための拡散モデルにおける自己表現アライメント
• Abstract要約: 拡散モデルは様々な生成タスクに広く使われている。 近年の研究では、拡散モデルの認知過程で得られた内部表現が不十分に意味があることが示されている。 学習中の低雑音を条件とした後層からのより弱い表現と、高雑音を条件とした前の層からの弱い表現を、トレーニング中に低雑音を条件とした後層からのより優れた表現とを明示的に整合させることにより、拡張された新しい拡散U-Netアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 16.430724883252054
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models have been widely used for various generative tasks. However, recent studies have demonstrated that the internal representations learned in the diffusion models' denoising process are insufficiently meaningful, which can hinder the generation performance. To address this, we propose a novel diffusion U-Net architecture enhanced by explicitly aligning the weaker representation from the earlier layer conditioned on higher noise with the better representation from the later layer conditioned on lower noise during training, which we use for the challenging multimodal task of video background music generation. Our diffusion U-Net Self-Representation Alignment (U-SRA) employs an alignment loss to effectively guide our diffusion model to learn good internal representations, thereby enabling it to produce higher-quality symbolic music conditioned on video features. We employ a cross-attention mechanism to synchronize music with video segments. Experiments on a benchmark video-music dataset demonstrate that the proposed U-SRA approach for video background music generation surpasses the state-of-the-art across key evaluation metrics, including video-music alignment and overall music quality.
• Abstract（参考訳）: 拡散モデルは様々な生成タスクに広く使われている。 しかし,近年の研究では,拡散モデルの認知過程において学習された内部表現が十分意味を成さないことが示されており,生成性能を損なう可能性がある。 そこで本研究では,映像背景音楽生成の課題であるマルチモーダルタスクにおいて,低ノイズを条件とした後層から,低雑音を条件とした後層へ,より弱い表現を明示的に整合させることにより,拡張された新しい拡散U-Netアーキテクチャを提案する。 我々の拡散U-Net自己表現アライメント(U-SRA)は、アライメント損失を利用して、拡散モデルを効果的にガイドし、優れた内部表現を学習することにより、映像特徴に合わせた高品質な記号音楽を作り出すことができる。 我々は、音楽とビデオセグメントを同期させるために、クロスアテンション機構を用いる。 ビデオ音楽データセットのベンチマーク実験により、ビデオ背景音楽生成のための提案されたU-SRAアプローチが、ビデオ音楽アライメントや全体的な音楽品質を含む主要な評価指標を超越していることが示された。

関連論文リスト

• Gen4U: Unifying Video Generation and Understanding via Diffusion [25.621217360501106]
  我々は,映像拡散モデルがネットワーク深度とノイズレベルの両方にわたって進化していることを示す。 我々は、これらの生成表現を1つのフォワードパスで再利用するフレームワークであるGen4Uを紹介する。 実験により、凍結した大規模ビデオ拡散モデルが高い競争力を持つビデオエンコーダとして機能することが確認された。
  論文  参考訳（メタデータ） (2026-07-07T23:17:26Z)
• YingVideo-MV: Music-Driven Multi-Stage Video Generation [22.89609000437466]
  我々は、音楽駆動長ビデオ生成のための最初のケースドフレームワークであるYingVideo-MVを紹介する。 提案手法は,音声意味解析,解釈可能なショットプランニングモジュール,時間対応拡散変換器アーキテクチャを統合する。 我々は,多種多様な高品質な結果の達成を支援するために,Wildにおける大規模音楽データセットを構築した。
  論文  参考訳（メタデータ） (2025-12-02T07:31:19Z)
• Extending Visual Dynamics for Video-to-Music Generation [51.274561293909926]
  DyViMは、ビデオから音楽への生成のための動的モデリングを強化する新しいフレームワークである。 高レベルのセマンティクスは、クロスアテンションメカニズムを通じて伝達される。 実験では、DyViMが最先端(SOTA)法よりも優れていることを示した。
  論文  参考訳（メタデータ） (2025-04-10T09:47:26Z)
• RDSinger: Reference-based Diffusion Network for Singing Voice Synthesis [3.7937714754535503]
  歌声合成(SVS)は,音楽スコアから高忠実な歌唱音声を生成することを目的としている。 拡散モデルは、画像やビデオ作成のような様々な生成タスクにおいて、例外的なパフォーマンスを示している。 本稿では,SVSタスクのための高品質な音声を生成する参照型デノナイジング拡散ネットワーク RDSinger を紹介する。
  論文  参考訳（メタデータ） (2024-10-29T01:01:18Z)
• IDOL: Unified Dual-Modal Latent Diffusion for Human-Centric Joint Video-Depth Generation [136.5813547244979]
  高品質な人中心型ビデオ深度生成のためのIDOL(unIfied Dual-mOdal Latent diffusion)を提案する。 我々のIDOLは2つの新しい設計で構成されている。第一に、デュアルモーダル生成を可能にし、ビデオと深度生成の間の情報交換を最大化する。 次に,映像と深度特徴運動場との整合性を実現する動きの整合性損失を提案する。
  論文  参考訳（メタデータ） (2024-07-15T17:36:54Z)
• Seeing and Hearing: Open-domain Visual-Audio Generation with Diffusion Latent Aligners [69.70590867769408]
  ビデオとオーディオのコンテンツ制作は、映画産業とプロのユーザーにとって重要な技術である。 既存の拡散に基づく手法は、ビデオと音声を別々に生成する。 本研究では,このギャップを埋めることを目的として,クロス・ビジュアル・オーディオとジョイント・ヴィジュアル・オーディオ生成のためのフレームワークを慎重に設計した。
  論文  参考訳（メタデータ） (2024-02-27T17:57:04Z)
• DITTO: Diffusion Inference-Time T-Optimization for Music Generation [49.90109850026932]
  Diffusion Inference-Time T-Optimization (DITTO) は、事前訓練されたテキストから音楽への拡散モデルを推論時に制御するためのフレームワークである。 我々は、インペイント、アウトペイント、ループ化、強度、メロディ、音楽構造制御など、驚くほど幅広い音楽生成応用を実証する。
  論文  参考訳（メタデータ） (2024-01-22T18:10:10Z)
• Lets Play Music: Audio-driven Performance Video Generation [58.77609661515749]
  オーディオ駆動型パーパフォーマンスビデオ生成(APVG)という新しいタスクを提案する。 APVGは、特定の音楽オーディオクリップでガイドされた特定の楽器を演奏する人のビデオを合成することを目的としている。
  論文  参考訳（メタデータ） (2020-11-05T03:13:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。