論文の概要: Past and Future Motion Guided Network for Audio Visual Event Localization

• arxiv url: http://arxiv.org/abs/2205.03802v1
• Date: Sun, 8 May 2022 07:26:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-11 07:04:38.371276
• Title: Past and Future Motion Guided Network for Audio Visual Event Localization
• Title（参考訳）: 映像イベント定位のための動き誘導ネットワークの過去と未来
• Authors: Tingxiu Chen, Jianqin Yin, Jin Tang
• Abstract要約: 目的は、音声視覚イベントを含むセグメントを検出し、未トリミングビデオからイベントカテゴリを認識することである。 ビデオから映像を抽出するための過去と未来の動き抽出モジュール(pf-ME)を提案する。 我々はまた、過去と将来の視覚運動を通して、オーディオモダリティにおける興味深い出来事に関連する情報に焦点を合わせるために、動き誘導型オーディオアテンション(MGAA)モジュールを提案する。
• 参考スコア（独自算出の注目度）: 35.163384894833534
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years, audio-visual event localization has attracted much attention. It's purpose is to detect the segment containing audio-visual events and recognize the event category from untrimmed videos. Existing methods use audio-guided visual attention to lead the model pay attention to the spatial area of the ongoing event, devoting to the correlation between audio and visual information but ignoring the correlation between audio and spatial motion. We propose a past and future motion extraction (pf-ME) module to mine the visual motion from videos ,embedded into the past and future motion guided network (PFAGN), and motion guided audio attention (MGAA) module to achieve focusing on the information related to interesting events in audio modality through the past and future visual motion. We choose AVE as the experimental verification dataset and the experiments show that our method outperforms the state-of-the-arts in both supervised and weakly-supervised settings.
• Abstract（参考訳）: 近年,音声・視覚イベントのローカライゼーションが注目されている。 目的は、視聴覚イベントを含むセグメントを検出し、未トリミングビデオからイベントカテゴリを認識することである。 既存の手法では、モデルが現在進行中のイベントの空間領域に注意を払い、音声と視覚情報の相関を強調するが、音声と空間の動きの相関は無視する。 本研究では,過去と未来の動き誘導ネットワーク(PFAGN)に埋め込まれた映像から映像を抽出する過去と未来の動き抽出(pf-ME)モジュールと,過去と将来の視覚運動を通してのオーディオモダリティの興味深い出来事に関連する情報に焦点を合わせるための動き誘導オーディオアテンション(MGAA)モジュールを提案する。 AVEを実験的検証データセットとして選択し,本手法が教師付きおよび弱教師付き設定において最先端の手法より優れていることを示す。

関連論文リスト

• Relevance-guided Audio Visual Fusion for Video Saliency Prediction [23.873134951154704]
  本稿では,SP と呼ばれる新しい関連性誘導型音声視覚情報量予測ネットワークを提案する。 Fusionモジュールは、音声と視覚要素間の意味的関連性に基づいて、音声機能の保持を動的に調整する。 マルチスケール機能Synergy(MS)モジュールは、異なるエンコーディングステージからの視覚的特徴を統合し、様々なスケールでオブジェクトを表現するネットワークの能力を向上する。
  論文  参考訳（メタデータ） (2024-11-18T10:42:27Z)
• Towards Open-Vocabulary Audio-Visual Event Localization [59.23161248808759]
  本稿では,オープン語彙音声・視覚イベントのローカライズ問題を紹介する。 この問題は、音声・視覚イベントのローカライズと、推測時に見つからないデータの両方の明確なカテゴリの予測を必要とする。 OV-AVEBenchデータセットを提案する。
  論文  参考訳（メタデータ） (2024-11-18T04:35:20Z)
• CACE-Net: Co-guidance Attention and Contrastive Enhancement for Effective Audio-Visual Event Localization [11.525177542345215]
  CACE-Netは、音声信号だけで視覚情報を案内する既存の方法とは異なる。 本稿では、双方向の双方向の注意誘導を適応的に行うための、オーディオ-視覚協調誘導機構を提案する。 AVEデータセットの実験では、CACE-Netがオーディオ視覚イベントローカライゼーションタスクに新しいベンチマークを設定している。
  論文  参考訳（メタデータ） (2024-08-04T07:48:12Z)
• Label-anticipated Event Disentanglement for Audio-Visual Video Parsing [61.08434062821899]
  我々は新しいデコードパラダイムであるアンダーライン・サンダーライン・エンダーライン・アンダーライン・インダーライン・プロジェクション(LEAP)を導入する。 LEAPは、音声/視覚セグメントの符号化された潜在機能を意味的に独立したラベル埋め込みに反復的に投影する。 LEAPパラダイムを促進するために,新しい音声・視覚的類似性損失関数を含むセマンティック・アウェア・最適化戦略を提案する。
  論文  参考訳（メタデータ） (2024-07-11T01:57:08Z)
• Cooperative Dual Attention for Audio-Visual Speech Enhancement with Facial Cues [80.53407593586411]
  頑健な音声音声強調(AVSE)のための唇領域を超えて顔の手がかりを活用することに注力する。 本稿では,音声関連情報を無視し,音声関連情報を顔の手がかりで捉え,AVSEの音声信号と動的に統合するDual Attention Cooperative Framework(DualAVSE)を提案する。
  論文  参考訳（メタデータ） (2023-11-24T04:30:31Z)
• Weakly-Supervised Action Detection Guided by Audio Narration [50.4318060593995]
  ナレーション管理から学習し,RGB,モーションフロー,環境音などのマルチモーダル特徴を利用するモデルを提案する。 実験の結果,ノイズの多い音声ナレーションは優れた行動検出モデルを学ぶのに十分であることがわかった。
  論文  参考訳（メタデータ） (2022-05-12T06:33:24Z)
• Joint Learning of Visual-Audio Saliency Prediction and Sound Source Localization on Multi-face Videos [101.83513408195692]
  マルチタスク学習手法を提案する。 提案手法は,12種類の精度予測法より優れ,音源定位における競合的な結果が得られる。
  論文  参考訳（メタデータ） (2021-11-05T14:35:08Z)
• Bio-Inspired Audio-Visual Cues Integration for Visual Attention Prediction [15.679379904130908]
  視覚的注意予測(VAP)手法は、シーンを認識するための人間の選択的な注意機構をシミュレートする。 VAPタスクにはバイオインスパイアされたオーディオ・ビジュアル・キューの統合手法が提案されている。 実験は、DIEM、AVAD、Coutrot1、Coutrot2、SumMe、ETMDを含む6つの難しい視線追跡データセットで実施されている。
  論文  参考訳（メタデータ） (2021-09-17T06:49:43Z)
• Cross-Modal learning for Audio-Visual Video Parsing [30.331280948237428]
  本稿では,映像からイベントを別々に分離するAVVPタスクに対する新しいアプローチを提案する。 AVVPは, 効果的なクロスモーダル学習を目的とした, 以下の手法の恩恵を受けることができることを示す。
  論文  参考訳（メタデータ） (2021-04-03T07:07:21Z)
• Look, Listen, and Attend: Co-Attention Network for Self-Supervised Audio-Visual Representation Learning [17.6311804187027]
  音声と視覚イベントの相関関係は、ニューラルネットワークをトレーニングするための自由教師付き情報として利用することができる。 本稿では,非競合ビデオから汎用的なクロスモーダル表現を学習するためのコアテンション機構を備えた,新しい自己教師型フレームワークを提案する。 実験の結果,従来の手法に比べてパラメータが少なめでありながら,プレテキストタスク上での最先端性能が得られた。
  論文  参考訳（メタデータ） (2020-08-13T10:08:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。