論文の概要: GMS-CAVP: Improving Audio-Video Correspondence with Multi-Scale Contrastive and Generative Pretraining

• arxiv url: http://arxiv.org/abs/2601.19606v1
• Date: Tue, 27 Jan 2026 13:43:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-28 15:26:51.333564
• Title: GMS-CAVP: Improving Audio-Video Correspondence with Multi-Scale Contrastive and Generative Pretraining
• Title（参考訳）: GMS-CAVP:マルチスケールコントラストと生成事前学習によるオーディオ映像対応の改善
• Authors: Shentong Mo, Zehua Chen, Jun Zhu,
• Abstract要約: GMS-CAVPは、マルチスケールビデオ・オーディオアライメントとマルチスケール空間時間拡散に基づく事前学習目的を組み合わせた、新しいフレームワークである。 まず、GMS-CAVPは、様々な粒度にわたる意味的および時間的関係をキャプチャするマルチスケールのコントラスト学習戦略を導入する。 第2に、拡散に基づく生成目的を組み込むことにより、従来のコントラスト学習を超越し、ビデオとオーディオ間のモダリティ変換と合成を可能にする。
• 参考スコア（独自算出の注目度）: 64.72014392166625
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in video-audio (V-A) understanding and generation have increasingly relied on joint V-A embeddings, which serve as the foundation for tasks such as cross-modal retrieval and generation. While prior methods like CAVP effectively model semantic and temporal correspondences between modalities using contrastive objectives, their performance remains suboptimal. A key limitation is the insufficient modeling of the dense, multi-scale nature of both video and audio signals, correspondences often span fine- to coarse-grained spatial-temporal structures, which are underutilized in existing frameworks. To this end, we propose GMS-CAVP, a novel framework that combines Multi-Scale Video-Audio Alignment and Multi-Scale Spatial-Temporal Diffusion-based pretraining objectives to enhance V-A correspondence modeling. First, GMS-CAVP introduces a multi-scale contrastive learning strategy that captures semantic and temporal relations across varying granularities. Second, we go beyond traditional contrastive learning by incorporating a diffusion-based generative objective, enabling modality translation and synthesis between video and audio. This unified discriminative-generative formulation facilitates deeper cross-modal understanding and paves the way for high-fidelity generation. Extensive experiments on VGGSound, AudioSet, and Panda70M demonstrate that GMS-CAVP outperforms previous methods in generation and retrieval.
• Abstract（参考訳）: 近年のV-A理解・生成の進歩は, クロスモーダル検索や生成といったタスクの基盤となる共同V-A埋め込みにますます依存している。 CAVPのような従来の手法は、対照的な目的を用いたモダリティ間の意味的および時間的対応を効果的にモデル化するが、それらの性能は依然として準最適である。 重要な制限は、ビデオ信号と音声信号の両方の密集したマルチスケールの性質のモデリングが不十分であることだ。 そこで本稿では,V-A対応モデルを強化するために,マルチスケールビデオ・オーディオアライメントとマルチスケール空間・時間拡散に基づく事前学習を併用した新しいフレームワークであるGMS-CAVPを提案する。 まず、GMS-CAVPは、様々な粒度にわたる意味的および時間的関係をキャプチャするマルチスケールのコントラスト学習戦略を導入する。 第2に、拡散に基づく生成目的を組み込むことにより、従来のコントラスト学習を超越し、ビデオとオーディオ間のモダリティ変換と合成を可能にする。 この統一された識別・生成的定式化は、より深い相互理解を促進し、高忠実度生成の道を開く。 VGGSound、AudioSet、Panda70Mの大規模な実験により、GMS-CAVPは生成と検索において従来の方法よりも優れていることが示された。

関連論文リスト

• Complementary and Contrastive Learning for Audio-Visual Segmentation [74.11434759171199]
  本稿では,ローカル情報とグローバル情報の両方を処理可能な新しいフレームワークであるComplementary and Contrastive Transformer(CCFormer)を提案する。 提案手法は,S4, MS3, AVSSデータセットにまたがる最先端のベンチマークを新たに設定する。
  論文  参考訳（メタデータ） (2025-10-11T06:36:59Z)
• Scalable Audio-Visual Masked Autoencoders for Efficient Affective Video Facial Analysis [11.373305523732718]
  Affective Video Face Analysis (AVFA) は感情認識知能システム構築の鍵となる研究分野として浮上している。 Masked Autoencoders (MAE) が勢いを増し、オーディオ・ビジュアル・コンテキストへの適応が増加している。 AVF-MAE++(AVF-MAE++)は、AVFAのスケーリング特性を効率的に調査するために設計されたオーディオビジュアルMAEモデルのファミリーである。
  論文  参考訳（メタデータ） (2025-09-29T02:53:49Z)
• MultiSoundGen: Video-to-Audio Generation for Multi-Event Scenarios via SlowFast Contrastive Audio-Visual Pretraining and Direct Preference Optimization [10.717164013707693]
  現在のV2A(V2A)手法は、複雑なマルチイベントシナリオで苦労している。 本稿では,新しいV2AフレームワークであるMultiSoundGenを提案する。 直接優先最適化(DPO)をV2Aドメインに導入する。
  論文  参考訳（メタデータ） (2025-09-24T11:04:34Z)
• AVadCLIP: Audio-Visual Collaboration for Robust Video Anomaly Detection [57.649223695021114]
  本稿では,ロバストなビデオ異常検出に音声と視覚の協調を利用する,弱教師付きフレームワークを提案する。 本フレームワークは,複数のベンチマークにおいて優れた性能を示し,オーディオ統合により異常検出精度が大幅に向上する。
  論文  参考訳（メタデータ） (2025-04-06T13:59:16Z)
• DiffGAP: A Lightweight Diffusion Module in Contrastive Space for Bridging Cross-Model Gap [38.5017989456818]
  DiffGAPは、軽量な生成モジュールをコントラスト空間に組み込んだ新しいアプローチである。 VGGSoundとAudioCapsのデータセットによる実験結果から,DiffGAPはビデオ/テキスト・オーディオ生成および検索タスクの性能を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2025-03-15T13:24:09Z)
• Improving Audio-Visual Speech Recognition by Lip-Subword Correlation Based Visual Pre-training and Cross-Modal Fusion Encoder [58.523884148942166]
  本稿では,事前学習および微調整訓練の枠組みの下で,音声視覚音声認識(AVSR)を改善するための2つの新しい手法を提案する。 まず, マンダリンにおける口唇形状と音節レベルサブワード単位の相関について検討し, 口唇形状から良好なフレームレベル音節境界を確立する。 次に,音声誘導型クロスモーダルフュージョンエンコーダ(CMFE)ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2023-08-14T08:19:24Z)
• Taming Diffusion Models for Audio-Driven Co-Speech Gesture Generation [41.292644854306594]
  DiffGesture (DiffGesture) という,拡散に基づく新しいフレームワークを提案する。 DiffGestureは、より優れたモードカバレッジとより強力なオーディオ相関を備えたコヒーレントなジェスチャーをレンダリングする、最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-03-16T07:32:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。