論文の概要: All modalities are equal, but video is more equal: Closing the Cross-Attention Gap in Joint Video Generation
- arxiv url: http://arxiv.org/abs/2609.27901v1
- Date: Wed, 23 Sep 2026 12:02:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 00:05:18.009166
- Title: All modalities are equal, but video is more equal: Closing the Cross-Attention Gap in Joint Video Generation
- Title（参考訳）: すべてのモダリティは等しいが、ビデオはより等しい:ジョイント・ビデオ・ジェネレーションにおけるクロス・アテンション・ギャップを閉鎖する
- Abstract要約: ビデオは物理的な出来事の豊かな表現であり、外観、幾何学、動き、時間的進化を捉えている。
連成多モード拡散変換器は, クロスモーダル対応において, 対応する非対称性を示す。
本稿では,KL正則化器であるRecCARを紹介する。
- 参考スコア（独自算出の注目度）: 41.52631069014832
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Video is a rich representation of a physical event, capturing appearance, geometry, motion, and temporal evolution. Other modalities, such as 3D body motion or audio, encode narrower aspects of the same event. We find that joint multimodal diffusion transformers exhibit a corresponding asymmetry in cross-modal correspondence: companion modalities develop strong correspondences to video, but the reciprocal correspondences through which they constrain video remain substantially weaker. We express both directions as comparable correspondence distributions over video tokens and define their disagreement as the reciprocal correspondence gap. We introduce RecCAR, standing for Reciprocal Cross-modal Attention Regularization, a KL regularizer that uses the well-established video-to-modality correspondence as a fixed reference and aligns the weaker modality-to-video correspondence toward it. Across joint video-motion and video-audio generation, RecCAR improves the Human Anatomy score from 0.69 to 0.75 and reduces audio-video desynchronization from 0.804 to 0.752, while improving overall generation
- Abstract（参考訳）: ビデオは物理的な出来事の豊かな表現であり、外観、幾何学、動き、時間的進化を捉えている。
3Dボディモーションやオーディオなどの他のモダリティは、同じイベントのより狭い側面をエンコードする。
共役モダリティはビデオとの強い対応を発達させるが、ビデオに制約を課す相互対応はかなり弱いままである。
両方向をビデオトークン上での対応性分布として表現し,その相違を相互対応ギャップとして定義する。
RecCAR(Reciprocal Cross-Modal Attention Regularization)は、よく確立されたビデオ対モダリティ対応を固定参照とし、それに対してより弱いモダリティ対モダリティ対応を整列するKL正規化器である。
RecCARは、共同動画モーションとビデオオーディオ生成全体で、ヒト解剖スコアを0.69から0.75に改善し、オーディオビデオデ同期を0.804から0.752に低減し、全体的な生成を改善する。
関連論文リスト
- Encore: Infinite Audio-Video Generation with Adaptive Signal Routing [22.689981874924943]
既存のオーディオビデオ生成手法は、同期のよいクリップを生成するが、短い時間に限られる。
長ビデオ生成法は、チャンクベースの反復合成によって持続時間を延長するが、完全に音声を欠いている。
本稿では,ロングフォーム同期オーディオビデオ生成のためのEncoreを提案する。
論文 参考訳（メタデータ） (2026-08-28T18:10:18Z) - OmniVAE: An Audio-Video VAE with Cross-Modal Alignment for Joint Generation [73.57253966578186]
OmniVAEは、音声とビデオの潜伏表現の微粒なセマンティックアライメントを学習する、共同で訓練されたオーディオビデオVAEである。
実験により、両方の目的が常に潜在空間の学習性を改善することが示された。
論文 参考訳（メタデータ） (2026-07-26T21:51:28Z) - Unison: Harmonizing Motion, Speech, and Sound for Human-Centric Audio-Video Generation [50.411841997631484]
We present Unison, a unified framework that promote coherence across the motion, speech, and sound modalities。
We show that Unison achieves state-of-the-art performance in audio perceptual quality and cross-modal synchro。
論文 参考訳（メタデータ） (2026-05-09T06:32:54Z) - UniAVGen: Unified Audio and Video Generation with Asymmetric Cross-Modal Interactions [34.27531187147479]
UniAVGenは、ジョイントオーディオとビデオ生成のための統一されたフレームワークである。
UniAVGenは、オーディオオーディオ同期、音色、感情の一貫性において全体的なアドバンテージを提供する。
論文 参考訳（メタデータ） (2025-11-05T10:06:51Z) - InfiniteTalk: Audio-driven Video Generation for Sparse-Frame Video Dubbing [66.48064661467781]
我々は、アイデンティティ、象徴的なジェスチャー、カメラ軌跡を維持するために参照を戦略的に保存する新しいパラダイムであるスパースフレームビデオダビングを導入する。
無限長長列ダビング用に設計されたストリーミングオーディオ駆動型ジェネレータであるInfiniteTalkを提案する。
HDTF、CelebV-HQ、EMTDデータセットの総合評価は、最先端の性能を示している。
論文 参考訳（メタデータ） (2025-08-19T17:55:23Z) - TANGO: Co-Speech Gesture Video Reenactment with Hierarchical Audio Motion Embedding and Diffusion Interpolation [4.019144083959918]
TANGO(Tango)は、音声による体温映像を生成するためのフレームワークである。
TANGOは、わずか数分間のシングルスピーカー参照ビデオから、ボディジェスチャーを同期させた高忠実度ビデオを生成する。
論文 参考訳（メタデータ） (2024-10-05T16:30:46Z) - Correspondence Matters for Video Referring Expression Comprehension [64.60046797561455]
ビデオ参照表現(REC)は、文章に記述された参照オブジェクトをビデオフレーム内の視覚領域にローカライズすることを目的としている。
既存の手法では,1)ビデオフレーム間の非一貫性な局所化結果,2)参照オブジェクトとコンテキストオブジェクトの混同という2つの問題に悩まされている。
本稿では、フレーム間およびクロスモーダルの両方で密接な関連性を明確に強化する新しいデュアル対応ネットワーク(DCNet)を提案する。
論文 参考訳（メタデータ） (2022-07-21T10:31:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。