論文の概要: Multimodal Class-aware Semantic Enhancement Network for Audio-Visual Video Parsing

• arxiv url: http://arxiv.org/abs/2412.11248v2
• Date: Tue, 17 Dec 2024 07:31:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 13:57:35.257950
• Title: Multimodal Class-aware Semantic Enhancement Network for Audio-Visual Video Parsing
• Title（参考訳）: マルチモーダル・クラス・アウェア・セマンティック・エンハンスメント・ネットワーク
• Authors: Pengcheng Zhao, Jinxing Zhou, Yang Zhao, Dan Guo, Yanxiang Chen,
• Abstract要約: 各オーディオ/視覚セグメントの正確なイベントセマンティクスの取得が不可欠である。 各セグメントは複数のイベントを含むことができ、結果として意味的に混合された全体的特徴をもたらす。 内部および相互関係を符号化するファイングラインド・セマンティック・エンハンスメント・モジュールを提案する。
• 参考スコア（独自算出の注目度）: 22.655045848201528
• License:
• Abstract: The Audio-Visual Video Parsing task aims to recognize and temporally localize all events occurring in either the audio or visual stream, or both. Capturing accurate event semantics for each audio/visual segment is vital. Prior works directly utilize the extracted holistic audio and visual features for intra- and cross-modal temporal interactions. However, each segment may contain multiple events, resulting in semantically mixed holistic features that can lead to semantic interference during intra- or cross-modal interactions: the event semantics of one segment may incorporate semantics of unrelated events from other segments. To address this issue, our method begins with a Class-Aware Feature Decoupling (CAFD) module, which explicitly decouples the semantically mixed features into distinct class-wise features, including multiple event-specific features and a dedicated background feature. The decoupled class-wise features enable our model to selectively aggregate useful semantics for each segment from clearly matched classes contained in other segments, preventing semantic interference from irrelevant classes. Specifically, we further design a Fine-Grained Semantic Enhancement module for encoding intra- and cross-modal relations. It comprises a Segment-wise Event Co-occurrence Modeling (SECM) block and a Local-Global Semantic Fusion (LGSF) block. The SECM exploits inter-class dependencies of concurrent events within the same timestamp with the aid of a new event co-occurrence loss. The LGSF further enhances the event semantics of each segment by incorporating relevant semantics from more informative global video features. Extensive experiments validate the effectiveness of the proposed modules and loss functions, resulting in a new state-of-the-art parsing performance.
• Abstract（参考訳）: Audio-Visual Video Parsingタスクは、オーディオまたはビジュアルストリームで発生したすべてのイベントを認識および時間的にローカライズすることを目的としている。 各オーディオ/視覚セグメントの正確なイベントセマンティクスの取得が不可欠である。 先行研究は、抽出した全体音と視覚的特徴を直接利用して、モーダル内および横断的時間的相互作用を実現する。 しかし、各セグメントには複数のイベントが含まれており、結果として意味的に混合された全体的特徴が、内部または横断的な相互作用の間に意味的干渉を引き起こす可能性がある。 この問題に対処するため,本手法はクラス認識機能デカップリング(CAFD)モジュールから始まり,複数のイベント特化機能や専用のバックグラウンド機能を含む,セマンティックに混合された機能をクラスワイズ機能に明示的に分離する。 分離されたクラスワイド機能は、他のセグメントに含まれる明確にマッチしたクラスから各セグメントの有用なセマンティクスを選択的に集約することができ、無関係なクラスからのセマンティクス干渉を防止します。 具体的には、イントラモーダルおよびクロスモーダル関係を符号化するファイン・グラインド・セマンティック・エンハンスメント・モジュールをさらに設計する。 Segment-wise Event Co-occurrence Modeling (SECM) ブロックと Local-Global Semantic Fusion (LGSF) ブロックで構成される。 SECMは、新しいイベント共起損失の助けを借りて、同じタイムスタンプ内での並行イベントのクラス間依存関係を利用する。 LGSFは、より情報のあるグローバルビデオ機能から関連するセマンティクスを取り入れることで、各セグメントのイベントセマンティクスをさらに強化する。 広範囲な実験により提案したモジュールと損失関数の有効性が検証され、その結果、新しい最先端の解析性能がもたらされた。

関連論文リスト

• Locality-aware Cross-modal Correspondence Learning for Dense Audio-Visual Events Localization [50.122441710500055]
  Dense-localization Audio-Visual Events (DAVE) は、未トリミングビデオで同時に見られるイベントの時間境界と対応するカテゴリを特定することを目的としている。 既存の手法では、音声と視覚の表現を明示的なモーダルなアライメント制約なしに別々に符号化する。 DAVEのための局所性を考慮したクロスモーダル対応学習フレームワークであるLOCOを提案する。
  論文  参考訳（メタデータ） (2024-09-12T11:54:25Z)
• CACE-Net: Co-guidance Attention and Contrastive Enhancement for Effective Audio-Visual Event Localization [11.525177542345215]
  CACE-Netは、音声信号だけで視覚情報を案内する既存の方法とは異なる。 本稿では、双方向の双方向の注意誘導を適応的に行うための、オーディオ-視覚協調誘導機構を提案する。 AVEデータセットの実験では、CACE-Netがオーディオ視覚イベントローカライゼーションタスクに新しいベンチマークを設定している。
  論文  参考訳（メタデータ） (2024-08-04T07:48:12Z)
• Label-anticipated Event Disentanglement for Audio-Visual Video Parsing [61.08434062821899]
  我々は新しいデコードパラダイムであるアンダーライン・サンダーライン・エンダーライン・アンダーライン・インダーライン・プロジェクション(LEAP)を導入する。 LEAPは、音声/視覚セグメントの符号化された潜在機能を意味的に独立したラベル埋め込みに反復的に投影する。 LEAPパラダイムを促進するために,新しい音声・視覚的類似性損失関数を含むセマンティック・アウェア・最適化戦略を提案する。
  論文  参考訳（メタデータ） (2024-07-11T01:57:08Z)
• CM-PIE: Cross-modal perception for interactive-enhanced audio-visual video parsing [23.85763377992709]
  本稿では,セグメントベースアテンションモジュールを適用して,細粒度の特徴を学習できる対話型クロスモーダル認識手法(CM-PIE)を提案する。 当社のモデルでは、Look、Listen、Parseデータセットのパースパフォーマンスが改善されています。
  論文  参考訳（メタデータ） (2023-10-11T14:15:25Z)
• Segment Everything Everywhere All at Once [124.90835636901096]
  画像中のすべてのものを同時にセグメント化するための,迅速かつインタラクティブなモデルであるSEEMを提案する。 そこで本研究では,あらゆるタイプのセグメンテーションタスクに対して,多様なプロンプトを可能にする新しい復号化機構を提案する。 多様なセグメンテーションタスクにおけるSEEMの有効性を検証するための総合的な実証的研究を行った。
  論文  参考訳（メタデータ） (2023-04-13T17:59:40Z)
• Leveraging the Video-level Semantic Consistency of Event for Audio-visual Event Localization [8.530561069113716]
  AVEローカライゼーションタスクのためのビデオレベルのセマンティック・コンセンサス・ガイダンス・ネットワークを提案する。 クロスモーダルなイベント表現抽出器と、モーダル内のセマンティック一貫性向上器の2つのコンポーネントから構成される。 我々は、パブリックなAVVデータセット上で広範な実験を行い、完全に教師された設定と弱い設定の両方において最先端の手法より優れています。
  論文  参考訳（メタデータ） (2022-10-11T08:15:57Z)
• Multi-Modulation Network for Audio-Visual Event Localization [138.14529518908736]
  本研究では,映像中の可聴性と可視性の両方を有する音声視覚事象のローカライズの問題について検討する。 既存の作業は、セグメントレベルでのオーディオと視覚機能のエンコーディングと調整に重点を置いている。 本稿では、上記の相関関係を学習し、意味的ガイダンスとして活用する新しいマルチ変調ネットワーク(M2N)を提案する。
  論文  参考訳（メタデータ） (2021-08-26T13:11:48Z)
• CTNet: Context-based Tandem Network for Semantic Segmentation [77.4337867789772]
  本研究では,空間コンテキスト情報とチャネルコンテキスト情報とを対話的に探索し,新しいコンテキストベースタンデムネットワーク(CTNet)を提案する。 セマンティックセグメンテーションのための学習表現の性能をさらに向上するため、2つのコンテキストモジュールの結果を適応的に統合する。
  論文  参考訳（メタデータ） (2021-04-20T07:33:11Z)
• Referring Image Segmentation via Cross-Modal Progressive Comprehension [94.70482302324704]
  画像セグメンテーションの参照は、自然言語表現で与えられた記述によく一致するエンティティの前景マスクをセグメンテーションすることを目的としている。 従来のアプローチでは、暗黙的な特徴相互作用と視覚的モダリティと言語的モダリティの融合を用いてこの問題に対処していた。 本稿では,この課題に効果的に対応するために,Cross-Modal Progressive (CMPC) モジュールと Text-Guided Feature Exchange (TGFE) モジュールを提案する。
  論文  参考訳（メタデータ） (2020-10-01T16:02:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。