論文の概要: SyncDPO: Enhancing Temporal Synchronization in Video-Audio Joint Generation via Preference Learning

• arxiv url: http://arxiv.org/abs/2605.12179v1
• Date: Tue, 12 May 2026 14:22:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.919182
• Title: SyncDPO: Enhancing Temporal Synchronization in Video-Audio Joint Generation via Preference Learning
• Title（参考訳）: SyncDPO: 優先学習によるビデオ・オーディオ共同生成における時間同期の強化
• Authors: Xin Cheng, Xihua Wang, Ying Ba, Yuyue Wang, Kaisi Guan, Yinbo Wang, Wenpu Li, Ruihua Song,
• Abstract要約: 本稿では,V-A関節生成の時間感度を向上させるための訓練後フレームワークSyncDPOを提案する。 SyncDPOは,時間的アライメント能力の向上において,他の手法よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 17.14027883239169
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advancements in video-audio joint generation have achieved remarkable success in semantic correspondence. However, achieving precise temporal synchronization, which requires fine-grained alignment between audio events and their visual triggers, remains a challenging problem. The post-training method for joint generation is largely dominated by Supervised Fine-Tuning, but the commonly used Mean Squared Error loss provides insufficient penalties for subtle temporal misalignments. Direct Preference Optimization offers an alternative by introducing explicit misaligned counterparts to better improve temporal sensitivity. In this paper we propose a post-training framework SyncDPO, leveraging DPO to improve the temporal sensitivity of V-A joint generation. Conventional DPO pipelines typically depend on costly sampling-and-ranking procedures to construct preference pairs, resulting in substantial computational cost. To improve efficiency, we introduce a suite of on-the-fly rule-based negative construction strategies that distort temporal structures without incurring additional annotation or sampling. We demonstrate that the temporal alignment capability can be effectively reinforced by providing explicit negative supervision through temporally distorted V-A pairs. Accordingly, we implement a curriculum learning strategy that progressively increases the difficulty of negative samples, transitioning from coarse misalignment to subtle inconsistencies. Extensive objective and subjective experiments across four diverse benchmarks, ranging from ambient sound videos to human speech videos, demonstrate that SyncDPO significantly outperforms other methods in improving model's temporal alignment capability. It also demonstrates superior generalization on out-of-distribution benchmark by capturing intrinsic motion-sound dynamics. Demo and code is available in https://syncdpo.github.io/syncdpo/.
• Abstract（参考訳）: 近年の音声合成の進歩は,意味的対応において顕著な成功を収めている。 しかし、音声イベントとその視覚的トリガーの微調整を必要とする正確な時間同期を実現することは、依然として困難な問題である。 共同生成のポストトレーニング法は,主にスーパーバイザードファインチューニングによって支配されるが,一般的に使用される平均二乗誤差は,微妙な時間的ミスアライメントに対して不十分な罰則を与える。 直接選好最適化は、時間的感度を改善するために、明示的な不整合を導入することで、代替手段を提供する。 本稿では,DPOを活用してV-A関節生成の時間感度を向上させるポストトレーニングフレームワークSyncDPOを提案する。 従来のDPOパイプラインは通常、プライオリティペアを構築するのに費用がかかるサンプリング・アンド・グレードの手順に依存しており、計算コストは相当である。 効率を向上させるため,追加のアノテーションやサンプリングを伴わずに時間構造を歪ませる,オンザフライルールに基づく負の構成戦略を導入する。 時間的に歪んだV-Aペアを通して、明確な負の監督を提供することにより、時間的アライメント能力を効果的に強化できることを実証した。 そこで我々は、粗悪なミスアライメントから微妙な不整合へと移行し、ネガティブなサンプルの難易度を徐々に高めるカリキュラム学習戦略を実装した。 周囲の音声ビデオから人間の音声ビデオまで,4つの異なるベンチマークによる広範囲な客観的および主観的な実験は,SyncDPOがモデルの時間的アライメント能力を改善する他の方法よりも優れていることを示した。 また、本質的な動き-音のダイナミクスを捉えることにより、分布外ベンチマークにおいて優れた一般化を示す。 デモとコードはhttps://syncdpo.github.io/syncdpo/.comで公開されている。

関連論文リスト

• Offline Preference Optimization for Rectified Flow with Noise-Tracked Pairs [17.05976471653904]
  本稿では,修正フローに特化した非政治アライメントフレームワークであるプライオリティノイズ・アウェア・プライオリティ・オプティマイズ(PNAPO)を提案する。 PNAPOは、各勝者/ロザ画像を生成するために使用するペア前のノイズを保持することにより、嗜好データを強化する。 最先端のRF T2Iバックボーンの実験では、PNAPOはトレーニング計算を大幅に削減しながら、常に嗜好の指標を改善している。
  論文  参考訳（メタデータ） (2026-05-10T09:13:40Z)
• TARO: Temporal Adversarial Rectification Optimization Using Diffusion Models as Purifiers [0.6875312133832079]
  拡散モデルによる逆の浄化は、データ多様体に向けて逆の例を投影しようとする。 最近の研究によると、標準拡散浄化は適応的な評価で失敗する可能性があり、テスト時間スコアに基づく最適化はより弾力性が高い。 本稿では,複数の認知的視点に先行して時間的に導出されたスコアを構築する推論時間浄化法TAROを提案する。
  論文  参考訳（メタデータ） (2026-05-08T20:02:57Z)
• Diffusion-APO: Trajectory-Aware Direct Preference Alignment for Video Diffusion Transformers [12.948398661304184]
  Diffusion-APOは、ビデオ拡散モデルと人間の意図を一致させる軌跡認識アルゴリズムである。 オンラインランキング、半オンラインアンカー、オフラインリファインメント、蒸留対応ドリフト補正を統合した統一かつモジュール化されたRLHFフレームワークを導入する。 本研究では,Diffusion-APOが視覚的品質と指示の基準線を一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2026-05-08T09:37:46Z)
• Bringing Order to Asynchronous SGD: Towards Optimality under Data-Dependent Delays with Momentum [16.032739611868685]
  非同期分散勾配トレーニング(SGD)は、スケーラブルな分散トレーニングを可能にするが、安定性に悩まされる。 遅延依存学習率や安定度認識トレーニングといった既存の緩和戦略は、通常遅延勾配を廃止または廃止する。 本稿では,安定度を緩和しながら遅延勾配から情報を保存するために,モーメントに基づく非同期フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-03T20:24:24Z)
• CoSyncDiT: Cognitive Synchronous Diffusion Transformer for Movie Dubbing [76.74048814837336]
  映画ダビングは、ターゲット映像中の唇の動きと同期しながら、参照音声の音声アイデンティティを保持する音声を合成することを目的としている。 既存の方法は正確なリップシンクを達成できず、持続時間レベルでの明示的なアライメントによって自然性を欠いている。 認知同期拡散変換器(CoSync-DiT)により駆動される新しいフローマッチング型フィルムダビングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-14T05:03:57Z)
• TempoSyncDiff: Distilled Temporally-Consistent Diffusion for Low-Latency Audio-Driven Talking Head Generation [0.0]
  本稿では,参照条件付き潜在拡散フレームワークであるTempoSyncDiffを紹介する。 効率的な音声駆動音声ヘッド生成のための数ステップの推論を探索する。 このフレームワークはアイデンティティアンカーと、アイデンティティドリフトとフレーム間フリックを緩和するために設計された時間的正規化を備えている。
  論文  参考訳（メタデータ） (2026-03-06T09:09:01Z)
• SynCast: Synergizing Contradictions in Precipitation Nowcasting via Diffusion Sequential Preference Optimization [62.958457694151384]
  本研究では,大規模な言語モデルにおける人的フィードバックからの強化学習の成功を動機として,降水量の最適化を初めて導入する。 第一段階では、フレームワークはFARを減らすことに焦点を当て、誤報を効果的に抑えるためにモデルを訓練する。
  論文  参考訳（メタデータ） (2025-10-22T16:11:22Z)
• READ: Real-time and Efficient Asynchronous Diffusion for Audio-driven Talking Head Generation [55.58089937219475]
  本稿では,最初のリアルタイム拡散変換器を用いた音声ヘッド生成フレームワークREADを提案する。 提案手法はまず,VAEを用いて高度に圧縮されたビデオ潜時空間を学習し,音声生成におけるトークン数を大幅に削減する。 また,READは,実行時間を大幅に短縮した競合する音声ヘッドビデオを生成することにより,最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-08-05T13:57:03Z)
• Tuning-Free Multi-Event Long Video Generation via Synchronized Coupled Sampling [81.37449968164692]
  ビデオ全体にわたってデノイングパスを同期する新しい推論フレームワークであるシンクロナイズド結合サンプリング(SynCoS)を提案する。 提案手法は, シームレスな局所遷移を保証し, グローバルコヒーレンスを強制する2つの相補的なサンプリング戦略を組み合わせる。 大規模な実験により、SynCoSは、よりスムーズな遷移とより優れた長距離コヒーレンスを実現し、マルチイベント長ビデオ生成を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2025-03-11T16:43:45Z)
• Intrinsic Temporal Regularization for High-resolution Human Video Synthesis [59.54483950973432]
  時間整合性は、画像処理パイプラインをビデオドメインに拡張する上で重要である。 フレームジェネレーターを介して本質的信頼度マップを推定し,運動推定を調節する,本質的な時間正規化方式を提案する。 我々は、本質的な時間的規制をシングルイメージジェネレータに適用し、強力な「Internet」が512Times512$の人間のアクションビデオを生成します。
  論文  参考訳（メタデータ） (2020-12-11T05:29:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。