論文の概要: Locality-aware Cross-modal Correspondence Learning for Dense Audio-Visual Events Localization

• arxiv url: http://arxiv.org/abs/2409.07967v4
• Date: Fri, 09 May 2025 12:14:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-12 12:48:53.955395
• Title: Locality-aware Cross-modal Correspondence Learning for Dense Audio-Visual Events Localization
• Title（参考訳）: 濃密な視覚事象の局所化のための局所性を考慮したクロスモーダル対応学習
• Authors: Ling Xing, Hongyu Qu, Rui Yan, Xiangbo Shu, Jinhui Tang,
• Abstract要約: オーディオ・ビジュアル・イベント(DAVE)のための局所性を考慮したクロスモーダル対応学習フレームワークLoCoについて述べる。 LoCo は局所対応特徴 (LCF) 変調を適用し、モダリティ共有セマンティクスに焦点を合わせるために単調エンコーダを強制する。 さらに、データ駆動方式で注意領域を動的に調整するローカル適応クロスモーダル(LAC)インタラクションをカスタマイズする。
• 参考スコア（独自算出の注目度）: 50.122441710500055
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dense-localization Audio-Visual Events (DAVE) aims to identify time boundaries and corresponding categories for events that are both audible and visible in a long video, where events may co-occur and exhibit varying durations. However, complex audio-visual scenes often involve asynchronization between modalities, making accurate localization challenging. Existing DAVE solutions extract audio and visual features through unimodal encoders, and fuse them via dense cross-modal interaction. However, independent unimodal encoding struggles to emphasize shared semantics between modalities without cross-modal guidance, while dense cross-modal attention may over-attend to semantically unrelated audio-visual features. To address these problems, we present LoCo, a Locality-aware cross-modal Correspondence learning framework for DAVE. LoCo leverages the local temporal continuity of audio-visual events as important guidance to filter irrelevant cross-modal signals and enhance cross-modal alignment throughout both unimodal and cross-modal encoding stages. i) Specifically, LoCo applies Local Correspondence Feature (LCF) Modulation to enforce unimodal encoders to focus on modality-shared semantics by modulating agreement between audio and visual features based on local cross-modal coherence. ii) To better aggregate cross-modal relevant features, we further customize Local Adaptive Cross-modal (LAC) Interaction, which dynamically adjusts attention regions in a data-driven manner. This adaptive mechanism focuses attention on local event boundaries and accommodates varying event durations. By incorporating LCF and LAC, LoCo provides solid performance gains and outperforms existing DAVE methods.
• Abstract（参考訳）: Dense-localization Audio-Visual Events (DAVE) は、長いビデオで可聴かつ可視であるイベントの時間境界とそれに対応するカテゴリを特定することを目的としている。 しかし、複雑なオーディオ・視覚シーンは、しばしばモダリティ間の同期を伴い、正確なローカライゼーションを困難にしている。 既存のDAVEソリューションは、単調エンコーダを通じてオーディオや視覚的特徴を抽出し、密接な相互モーダル相互作用を介して融合する。 しかし、一元的一元的符号化は、モダリティ間の共通セマンティクスをモダリティ間ガイダンスなしで強調するのに苦労する一方で、密集したモダリティ間の注意は、意味的に無関係なオーディオ視覚的特徴に過度に依存する可能性がある。 これらの問題に対処するため、我々は、DAVEのためのLoCo(Locality-aware cross-modal Cor correspondingence learning framework)を提案する。 LoCoは、音声・視覚イベントの局所的時間的連続性を重要なガイダンスとして活用し、無関係なクロスモーダル信号をフィルタリングし、非モーダルおよびクロスモーダルの両方のエンコーディングステージにおけるクロスモーダルアライメントを強化する。 特に、LoCoは、局所的対応特徴(LCF)変調を適用し、局所的相互整合性に基づく音声と視覚的特徴の一致を調節することにより、一助的エンコーダにモダリティ共有の意味論を強制する。 二 クロスモーダル関連機能をよりよく集約するために、データ駆動方式で注意領域を動的に調整するローカル・アダプティブ・クロスモーダル・インタラクション(LAC)をさらにカスタマイズする。 この適応メカニズムは、局所的なイベント境界に注意を向け、様々なイベント期間を許容する。 LCFとLCCを組み込むことで、LoCoはパフォーマンスをしっかりと向上し、既存のDAVEメソッドより優れています。

関連論文リスト

• DTFSal: Audio-Visual Dynamic Token Fusion for Video Saliency Prediction [5.13730975608994]
  映像中の有声領域を識別することで人間の視覚的注意を模倣することを目的としている。 本稿では,精度と計算効率の両立を図った新しいオーディオ・ビジュアル・サリエンシ予測フレームワークであるDFTSalを提案する。
  論文  参考訳（メタデータ） (2025-04-14T10:17:25Z)
• Dense Audio-Visual Event Localization under Cross-Modal Consistency and Multi-Temporal Granularity Collaboration [48.57159286673662]
  本論文は、より長い未編集映像に対する音声・視覚的シーン理解の促進を目的としている。 本稿では,Cross-Modal Consistency CollaborationとMulti-Temporal Granularity Collaborationの2つのコアモジュールからなる新しいCCNetを紹介する。 UnAV-100データセットの実験では、モジュール設計が検証され、高密度オーディオ視覚イベントのローカライゼーションにおける最先端のパフォーマンスが新たに向上した。
  論文  参考訳（メタデータ） (2024-12-17T07:43:36Z)
• CACE-Net: Co-guidance Attention and Contrastive Enhancement for Effective Audio-Visual Event Localization [11.525177542345215]
  CACE-Netは、音声信号だけで視覚情報を案内する既存の方法とは異なる。 本稿では、双方向の双方向の注意誘導を適応的に行うための、オーディオ-視覚協調誘導機構を提案する。 AVEデータセットの実験では、CACE-Netがオーディオ視覚イベントローカライゼーションタスクに新しいベンチマークを設定している。
  論文  参考訳（メタデータ） (2024-08-04T07:48:12Z)
• Label-anticipated Event Disentanglement for Audio-Visual Video Parsing [61.08434062821899]
  我々は新しいデコードパラダイムであるアンダーライン・サンダーライン・エンダーライン・アンダーライン・インダーライン・プロジェクション(LEAP)を導入する。 LEAPは、音声/視覚セグメントの符号化された潜在機能を意味的に独立したラベル埋め込みに反復的に投影する。 LEAPパラダイムを促進するために,新しい音声・視覚的類似性損失関数を含むセマンティック・アウェア・最適化戦略を提案する。
  論文  参考訳（メタデータ） (2024-07-11T01:57:08Z)
• Progressive Confident Masking Attention Network for Audio-Visual Segmentation [8.591836399688052]
  Audio-Visualとして知られる課題が出現し、シーン内のオブジェクトを音化するためのセグメンテーションマップを作成することを目的としている。 PMCANet(Progressive Confident Masking Attention Network)を紹介する。 注意機構を利用して、音声信号と視覚フレームの本質的な相関を明らかにする。
  論文  参考訳（メタデータ） (2024-06-04T14:21:41Z)
• Rethink Cross-Modal Fusion in Weakly-Supervised Audio-Visual Video Parsing [58.9467115916639]
  本研究では, 核融合における非相関なクロスモーダルコンテキストを低減するために, メッセンジャー誘導型中間核融合変換器を提案する。 メッセンジャーは、完全なクロスモーダルコンテキストをコンパクトな表現に凝縮し、有用なクロスモーダル情報のみを保持する。 そこで我々は,無関係な音声情報の視覚事象予測への影響を抑えるために,クロスオーディオ予測整合性を提案する。
  論文  参考訳（メタデータ） (2023-11-14T13:27:03Z)
• Accommodating Audio Modality in CLIP for Multimodal Processing [48.83906067348211]
  視覚言語モデルCLIPを拡張し、視覚言語モデルAudioのマルチモーダル処理におけるオーディオモダリティに対応する。 具体的には、モーダル間およびモーダル内コントラスト学習を用いて、オーディオと他のモーダル間の相関について検討する。 提案するCLIP4VLAモデルは,ビデオ検索やビデオキャプションなど,さまざまな下流タスクで検証される。
  論文  参考訳（メタデータ） (2023-03-12T06:57:01Z)
• Space-Time Memory Network for Sounding Object Localization in Videos [40.45443192327351]
  本稿では,映像中の物体位置を計測する時空間メモリネットワークを提案する。 一時的および横断的両方の表現について一時的注意を同時に学習することができる。
  論文  参考訳（メタデータ） (2021-11-10T04:40:12Z)
• Multi-Modulation Network for Audio-Visual Event Localization [138.14529518908736]
  本研究では,映像中の可聴性と可視性の両方を有する音声視覚事象のローカライズの問題について検討する。 既存の作業は、セグメントレベルでのオーディオと視覚機能のエンコーディングと調整に重点を置いている。 本稿では、上記の相関関係を学習し、意味的ガイダンスとして活用する新しいマルチ変調ネットワーク(M2N)を提案する。
  論文  参考訳（メタデータ） (2021-08-26T13:11:48Z)
• Cross-Modal Attention Consistency for Video-Audio Unsupervised Learning [141.38505371646482]
  クロスモーダル相関は、ビデオ教師なし表現学習に固有の監督を提供する。 本稿では,双方向の局所通信特性を探索するために,CMAC(Cross-Modal Attention Consistency)というプレテキストタスクを導入する。 CMACは、視覚信号から純粋に発生する局所的注意と、音響信号の誘導の下で発生する対象的注意とを一致させることを目的としている。
  論文  参考訳（メタデータ） (2021-06-13T07:41:15Z)
• Looking into Your Speech: Learning Cross-modal Affinity for Audio-visual Speech Separation [73.1652905564163]
  本稿では,音声-視覚的ニューラル処理を用いて音声信号と映像を分離する問題に対処する。 従来の手法では、フレームワイドマッチング基準を用いて、音声とビデオの共有情報を抽出する。 音声と視覚ストリーム間の局所的な親和性だけでなく,グローバル通信を学習するクロスモーダル親和性ネットワーク(CaffNet)を提案する。
  論文  参考訳（メタデータ） (2021-03-25T15:39:12Z)
• Learning Audio-Visual Correlations from Variational Cross-Modal Generation [35.07257471319274]
  我々は,モーダル間生成の観点から,音声と視覚の相関関係を自己監督的に学習する。 学習した相関関係は、オーディオ-視覚的クロスモーダルなローカライゼーションや検索など、複数の下流タスクに容易に適用できる。
  論文  参考訳（メタデータ） (2021-02-05T21:27:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。