論文の概要: HarmoniDPO: Video-guided Audio Generation via Preference-Optimized Diffusion
- arxiv url: http://arxiv.org/abs/2608.11913v1
- Date: Wed, 12 Aug 2026 10:45:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-13 19:07:54.558172
- Title: HarmoniDPO: Video-guided Audio Generation via Preference-Optimized Diffusion
- Title（参考訳）: HarmoniDPO: 優先最適化拡散によるビデオ誘導オーディオ生成
- Abstract要約: Video-to-audio (V2A) の生成は、正確な時間同期と高い知覚品質を達成する上での課題に直面している。
本稿では、好みに基づく最適化と拡散に基づくV2A生成を統合する新しいフレームワークであるHarmoniDPOを提案する。
- 参考スコア（独自算出の注目度）: 28.023691371821965
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video-to-audio (V2A) generation faces significant challenges in achieving precise temporal synchronization and high perceptual quality due to the complex, ambiguous relationship between visual and auditory cues. Existing methods typically compress video inputs into single feature representations, leading to significant loss of temporal dynamics and fine-grained visual information. These approaches also rely on reconstruction-based training objectives that poorly correlate with human perceptual judgments of audio quality and appropriateness. We propose HarmoniDPO, a novel framework that integrates preference-based optimization into diffusion-based V2A generation to address these limitations. (1) Our approach leverages a dual video representation: combining global context with frame-wise features to preserve temporal dynamics and semantic detail. (2) Inspired by reinforcement learning from human feedback (RLHF), HarmoniDPO employs online Direct Preference Optimization (online-DPO) to fine-tune a diffusion-based V2A model from preference judgments, enhancing perceptual quality and alignment. (3) Additionally, we introduce Dual-scale Diffusion Search (DDS), a test time scaling algorithm that adaptively optimizes output fidelity during inference. Experiments demonstrate that HarmoniDPO outperforms state-of-the-art methods in audio-video synchronization and subjective audio quality, offering a robust solution for generating realistic, human-preferred audio from video.
- Abstract（参考訳）: V2Aの生成は、視覚と聴覚の複雑なあいまいな関係により、正確な時間的同期と高い知覚品質を達成する上で大きな課題に直面している。
既存の方法は通常、ビデオ入力を単一の特徴表現に圧縮し、時間的ダイナミクスと微妙な視覚情報が著しく失われる。
これらのアプローチは、音質と適切性の人間の知覚的判断とあまり相関しない再構成に基づく訓練目標にも依存している。
本稿では,これらの制約に対処するために,好みに基づく最適化を拡散ベースのV2A生成に統合する新しいフレームワークであるHarmoniDPOを提案する。
1)本手法では,グローバルコンテキストとフレームワイド機能を組み合わせることで,時間的ダイナミクスとセマンティックディテールの保存を行う。
2)人間からのフィードバック(RLHF)からの強化学習に触発され,HalmoniDPOはオンラインのダイレクト・パラメータ・オプティマイゼーション(オンラインDPO)を用いて,嗜好判断から拡散に基づくV2Aモデルを微調整し,知覚品質とアライメントを高める。
さらに,推定時の出力忠実度を適応的に最適化するテスト時間スケーリングアルゴリズムであるDual-scale Diffusion Search (DDS)を導入する。
実験により、HarmoniDPOは、オーディオビデオ同期と主観的オーディオ品質において最先端の手法よりも優れており、ビデオからリアルで人間優先のオーディオを生成する堅牢なソリューションを提供する。
関連論文リスト
- Temporal Concentration from Rollout Errors: Implicit Preference Optimization for Text-to-Video Diffusion [33.237232061796796]
運動崩壊、物体のひらめき、色過飽和といった時間的に粗い人工物は、知覚現実主義にとって大きな障壁である。
既存の手法は2つの重要な制限があるため、これらの問題に対処する。
本稿では,ビデオ拡散モデルのためのトレーニング後フレームワークである集中型インプリシト・プレフレクション・最適化(cIPO)を提案する。
論文 参考訳（メタデータ） (2026-07-30T11:36:48Z) - JavisDiT++: Unified Modeling and Optimization for Joint Audio-Video Generation [112.614973927778]
ジョイントオーディオビデオ生成(JAVG)は、テキスト記述から同期的で意味的に整合した音と視覚を生成する。
本稿では,JAVGの統一モデリングと最適化のためのフレームワークであるJavisDiT++を提案する。
本モデルでは,約100万の公開トレーニングエントリで最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2026-02-22T12:44:28Z) - GMS-CAVP: Improving Audio-Video Correspondence with Multi-Scale Contrastive and Generative Pretraining [64.72014392166625]
GMS-CAVPは、マルチスケールビデオ・オーディオアライメントとマルチスケール空間時間拡散に基づく事前学習目的を組み合わせた、新しいフレームワークである。
まず、GMS-CAVPは、様々な粒度にわたる意味的および時間的関係をキャプチャするマルチスケールのコントラスト学習戦略を導入する。
第2に、拡散に基づく生成目的を組み込むことにより、従来のコントラスト学習を超越し、ビデオとオーディオ間のモダリティ変換と合成を可能にする。
論文 参考訳（メタデータ） (2026-01-27T13:43:32Z) - Mind the Generative Details: Direct Localized Detail Preference Optimization for Video Diffusion Models [65.16788152626499]
LocalDPOは、ビデオ拡散モデルと人間の好みを一致させる新しいフレームワークを構築している。
そこで我々は,LocalDPOがビデオの忠実度,時間的コヒーレンス,人間の嗜好スコアを,他のポストトレーニングアプローチよりも一貫して改善することを示した。
論文 参考訳（メタデータ） (2026-01-07T16:32:17Z) - Training-Free Multimodal Guidance for Video to Audio Generation [22.64037676707457]
Video-to-audio (V2A) の生成は、サイレントビデオから現実的でセマンティックに整合したオーディオを合成することを目的としている。
既存のアプローチでは、大規模なペアデータセットでのコストのかかる共同トレーニングが必要か、ペアの類似性に依存している。
本稿では,V2A拡散のための新しいトレーニングフリーマルチモーダル誘導機構を提案する。
論文 参考訳（メタデータ） (2025-09-29T10:00:36Z) - MultiSoundGen: Video-to-Audio Generation for Multi-Event Scenarios via SlowFast Contrastive Audio-Visual Pretraining and Direct Preference Optimization [10.717164013707693]
現在のV2A(V2A)手法は、複雑なマルチイベントシナリオで苦労している。
本稿では,新しいV2AフレームワークであるMultiSoundGenを提案する。
直接優先最適化(DPO)をV2Aドメインに導入する。
論文 参考訳（メタデータ） (2025-09-24T11:04:34Z) - READ: Real-time and Efficient Asynchronous Diffusion for Audio-driven Talking Head Generation [55.58089937219475]
本稿では,最初のリアルタイム拡散変換器を用いた音声ヘッド生成フレームワークREADを提案する。
提案手法はまず,VAEを用いて高度に圧縮されたビデオ潜時空間を学習し,音声生成におけるトークン数を大幅に削減する。
また,READは,実行時間を大幅に短縮した競合する音声ヘッドビデオを生成することにより,最先端の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2025-08-05T13:57:03Z) - PreFM: Online Audio-Visual Event Parsing via Predictive Future Modeling [95.2927277964409]
On-AVEP(On-AVEP: Online Audio-Visual Event Parsing)は、入ってくる映像ストリームを逐次解析することで、音声、視覚、視覚イベントを解析するための新しいパラダイムである。
本稿では,(a)予測的マルチモーダル・フューチャー・モデリングが特徴とする予測的未来・モデリング・フレームワークを提案する。
実験により、PreFMは、パラメータが大幅に少ない大きなマージンで最先端の手法を著しく上回ることが示された。
論文 参考訳（メタデータ） (2025-05-29T06:46:19Z) - Enhancing Audiovisual Speech Recognition through Bifocal Preference Optimization [59.1277150358203]
実世界のビデオの音声認識精度を向上させるために、選好最適化手法を提案する。
まず、AV-ASRで発生した一般的なエラーを2つの焦点からシミュレーションすることで、嗜好データを生成する。
次に,AV-ASRモデルを改善するために,入力側と出力側の両方を優先してBPO-AVASRを提案する。
論文 参考訳（メタデータ） (2024-12-26T00:26:45Z) - CMMD: Contrastive Multi-Modal Diffusion for Video-Audio Conditional Modeling [21.380988939240844]
ビデオとオーディオの双方向条件生成に適したマルチモーダル拡散モデルを提案する。
本稿では,視覚と聴覚の同期を改善するために,協調学習損失を提案する。
論文 参考訳（メタデータ） (2023-12-08T23:55:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。