論文の概要: Audio-Visual Fusion Layers for Event Type Aware Video Recognition

• arxiv url: http://arxiv.org/abs/2202.05961v1
• Date: Sat, 12 Feb 2022 02:56:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-18 11:40:45.949540
• Title: Audio-Visual Fusion Layers for Event Type Aware Video Recognition
• Title（参考訳）: イベント型音声認識のためのオーディオ・ビジュアル融合層
• Authors: Arda Senocak, Junsik Kim, Tae-Hyun Oh, Hyeonggon Ryu, Dingzeyu Li, In So Kweon
• Abstract要約: マルチタスク学習方式において,個別のイベント固有のレイヤによるマルチセンサ統合問題に対処する新しいモデルを提案する。 我々のネットワークは単一のラベルで表現されているが、与えられたビデオを表現するために、さらに真のマルチラベルを出力できる。
• 参考スコア（独自算出の注目度）: 86.22811405685681
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Human brain is continuously inundated with the multisensory information and their complex interactions coming from the outside world at any given moment. Such information is automatically analyzed by binding or segregating in our brain. While this task might seem effortless for human brains, it is extremely challenging to build a machine that can perform similar tasks since complex interactions cannot be dealt with single type of integration but requires more sophisticated approaches. In this paper, we propose a new model to address the multisensory integration problem with individual event-specific layers in a multi-task learning scheme. Unlike previous works where single type of fusion is used, we design event-specific layers to deal with different audio-visual relationship tasks, enabling different ways of audio-visual formation. Experimental results show that our event-specific layers can discover unique properties of the audio-visual relationships in the videos. Moreover, although our network is formulated with single labels, it can output additional true multi-labels to represent the given videos. We demonstrate that our proposed framework also exposes the modality bias of the video data category-wise and dataset-wise manner in popular benchmark datasets.
• Abstract（参考訳）: 人間の脳は、あらゆる瞬間に外界から来る多感覚情報とその複雑な相互作用に継続的に浸食される。 このような情報は脳内の結合や分離によって自動的に分析されます。 このタスクは人間の脳には不便に思えるかも知れませんが、複雑なインタラクションは単一のタイプの統合には対応できませんが、より高度なアプローチを必要とするため、同様のタスクを実行できるマシンを構築することは極めて困難です。 本稿では,マルチタスク学習方式において,個別のイベント固有層によるマルチセンサ統合問題に対処する新しいモデルを提案する。 単一タイプの融合が使用される以前の作品とは異なり、我々は異なる音声-視覚関係タスクを扱うためにイベント固有のレイヤを設計し、異なる音声-視覚関係の形成を可能にする。 実験の結果,映像中の音声と視覚の関係のユニークな特性を,イベント特異的な層が発見できることがわかった。 さらに,ネットワークは単一ラベルで定式化されているが,与えられたビデオを表現するために,さらに真のマルチラベルを出力することができる。 提案フレームワークは,一般的なベンチマークデータセットにおいて,ビデオデータのカテゴリワイドおよびデータセットワイドのモダリティバイアスを明らかにする。

関連論文リスト

• UniAV: Unified Audio-Visual Perception for Multi-Task Video Event Localization [83.89550658314741]
  ビデオローカライゼーションタスクは、時間的アクションローカライゼーション(TAL)、サウンドイベント検出(SED)、オーディオ視覚イベントローカライゼーション(AVEL)など、ビデオ内の特定のインスタンスを時間的に特定することを目的としている。 本報告では, tal, SED, AVELタスクの協調学習を初めて行うために, 統合音声認識ネットワークUniAVを提案する。
  論文  参考訳（メタデータ） (2024-04-04T03:28:57Z)
• Multimodal Group Emotion Recognition In-the-wild Using Privacy-Compliant Features [0.0]
  グループレベルの感情認識は、社会ロボティクス、会話エージェント、e-coaching、学習分析など、多くの分野で有用である。 本稿では,EmotiW Challenge 2023の中で,プライバシに適合したグループレベルの感情認識について検討する。
  論文  参考訳（メタデータ） (2023-12-06T08:58:11Z)
• MINOTAUR: Multi-task Video Grounding From Multimodal Queries [70.08973664126873]
  長文ビデオにおける問合せに基づくビデオ理解に一貫した単一のモデルを提案する。 特に、我々のモデルは、Ego4D Episodic Memoryベンチマークの3つのタスクすべてに対処できる。
  論文  参考訳（メタデータ） (2023-02-16T04:00:03Z)
• Multi-level Attention Fusion Network for Audio-visual Event Recognition [6.767885381740951]
  イベント分類は本質的にシーケンシャルでマルチモーダルである。 ディープニューラルモデルは、ビデオの最も関連性の高い時間ウィンドウと/またはモダリティに動的に集中する必要がある。 イベント認識のための視覚情報と音声情報を動的に融合するアーキテクチャであるマルチレベル注意融合ネットワーク(MAFnet)を提案する。
  論文  参考訳（メタデータ） (2021-06-12T10:24:52Z)
• Look, Listen, and Attend: Co-Attention Network for Self-Supervised Audio-Visual Representation Learning [17.6311804187027]
  音声と視覚イベントの相関関係は、ニューラルネットワークをトレーニングするための自由教師付き情報として利用することができる。 本稿では,非競合ビデオから汎用的なクロスモーダル表現を学習するためのコアテンション機構を備えた,新しい自己教師型フレームワークを提案する。 実験の結果,従来の手法に比べてパラメータが少なめでありながら,プレテキストタスク上での最先端性能が得られた。
  論文  参考訳（メタデータ） (2020-08-13T10:08:12Z)
• Unified Multisensory Perception: Weakly-Supervised Audio-Visual Video Parsing [48.87278703876147]
  オーディオ・ヴィジュアル・ビデオ解析と呼ばれる新しい問題は、ビデオを時間的なイベントセグメントにパースし、それらを可聴性、可視性、あるいはその両方にラベル付けすることを目指している。 本稿では,一助的・横断的時間的文脈を同時に探索するハイブリッドアテンションネットワークを提案する。 実験結果から,映像レベルが弱いラベルであっても,難易度の高い映像解析が可能であることがわかった。
  論文  参考訳（メタデータ） (2020-07-21T01:53:31Z)
• Dynamic Graph Representation Learning for Video Dialog via Multi-Modal Shuffled Transformers [89.00926092864368]
  音声・視覚シーン認識ダイアログタスクのためのセマンティクス制御型マルチモーダルシャッフルトランスフォーマー推論フレームワークを提案する。 また,フレーム内推論層を用いた動的シーングラフ表現学習パイプラインを提案する。 その結果,全ての評価指標について最先端の性能を示すことができた。
  論文  参考訳（メタデータ） (2020-07-08T02:00:22Z)
• Self-Supervised MultiModal Versatile Networks [76.19886740072808]
  我々は、ビデオに自然に存在する3つのモダリティ(ビジュアル、オーディオ、言語ストリーム)を活用することで、自己スーパービジョンを用いて表現を学習する。 ビデオ, ビデオテキスト, 画像, 音声タスクに対して, ビデオデータの大規模な収集を訓練したネットワークを, どのように適用できるかを実証する。
  論文  参考訳（メタデータ） (2020-06-29T17:50:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。