論文の概要: JoVALE: Detecting Human Actions in Video Using Audiovisual and Language Contexts

• arxiv url: http://arxiv.org/abs/2412.13708v1
• Date: Wed, 18 Dec 2024 10:51:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-19 16:48:08.946701
• Title: JoVALE: Detecting Human Actions in Video Using Audiovisual and Language Contexts
• Title（参考訳）: JoVALE: 視聴覚と言語コンテキストを用いたビデオ中のヒューマンアクションの検出
• Authors: Taein Son, Soo Won Seo, Jisong Kim, Seok Hwan Lee, Jun Won Choi,
• Abstract要約: ビデオアクション検出(VAD)は、ビデオ内のアクションインスタンスのローカライズと分類を含む。 我々は、JoVALE(Joint Actor-centric Visual, Audio, Language)と呼ばれる新しいマルチモーダルVADアーキテクチャを導入する。
• 参考スコア（独自算出の注目度）: 8.463489896549161
• License:
• Abstract: Video Action Detection (VAD) involves localizing and categorizing action instances in videos. Videos inherently contain various information sources, including audio, visual cues, and surrounding scene contexts. Effectively leveraging this multi-modal information for VAD is challenging, as the model must accurately focus on action-relevant cues. In this study, we introduce a novel multi-modal VAD architecture called the Joint Actor-centric Visual, Audio, Language Encoder (JoVALE). JoVALE is the first VAD method to integrate audio and visual features with scene descriptive context derived from large image captioning models. The core principle of JoVALE is the actor-centric aggregation of audio, visual, and scene descriptive contexts, where action-related cues from each modality are identified and adaptively combined. We propose a specialized module called the Actor-centric Multi-modal Fusion Network, designed to capture the joint interactions among actors and multi-modal contexts through Transformer architecture. Our evaluation conducted on three popular VAD benchmarks, AVA, UCF101-24, and JHMDB51-21, demonstrates that incorporating multi-modal information leads to significant performance gains. JoVALE achieves state-of-the-art performances. The code will be available at \texttt{https://github.com/taeiin/AAAI2025-JoVALE}.
• Abstract（参考訳）: ビデオアクション検出(VAD)は、ビデオ内のアクションインスタンスのローカライズと分類を含む。 ビデオには、音声、視覚的手がかり、周囲のシーンコンテキストなど、様々な情報ソースが本質的に含まれている。 VADにこのマルチモーダル情報を効果的に活用することは、モデルがアクション関連キューに正確にフォーカスする必要があるため、難しい。 本研究では,JoVALE(Joint Actor-centric Visual, Audio, Language Encoder)と呼ばれる新しいマルチモーダルVADアーキテクチャを提案する。 JoVALEは、大きな画像キャプションモデルから派生したシーン記述コンテキストとオーディオと視覚機能を統合する最初のVAD手法である。 JoVALEの中核的な原理は、アクター中心のオーディオ、視覚、シーン記述コンテキストの集約であり、各モードからのアクション関連キューが識別され、適応的に結合される。 本稿では,アクター中心型マルチモーダルフュージョンネットワーク(Actor-centric Multi-modal Fusion Network)と呼ばれる特殊なモジュールを提案する。 AVA, UCF101-24, JHMDB51-21の3つのVADベンチマークを用いて, マルチモーダル情報の導入が性能向上につながることを示す。 JoVALEは最先端のパフォーマンスを達成する。 コードは、texttt{https://github.com/taeiin/AAAI2025-JoVALE}で入手できる。

関連論文リスト

• Robust Audiovisual Speech Recognition Models with Mixture-of-Experts [67.75334989582709]
  EVAを導入し、オーディオVisual ASRのミックス・オブ・エクササイズを利用して、Wildのビデオに対してロバストな音声認識を行う。 まず、視覚情報を視覚トークンシーケンスにエンコードし、それらを軽量な投影により音声空間にマッピングする。 実験により,本モデルが3つのベンチマークで最先端の結果が得られることが示された。
  論文  参考訳（メタデータ） (2024-09-19T00:08:28Z)
• JARViS: Detecting Actions in Video Using Unified Actor-Scene Context Relation Modeling [8.463489896549161]
  2段階ビデオローカライゼーション(英語: Two-stage Video Localization, VAD)は、ビデオクリップの空間的および時間的次元内のアクションの局所化と分類を含む、強迫的なタスクである。 JARViS(Joint Actor-scene context Relation Modeling)と呼ばれる2段階のVADフレームワークを提案する。 JARViSは、トランスフォーマーアテンションを用いて、空間的および時間的次元にわたって世界中に分布するクロスモーダルアクションセマンティクスを集約する。
  論文  参考訳（メタデータ） (2024-08-07T08:08:08Z)
• MMTrail: A Multimodal Trailer Video Dataset with Language and Music Descriptions [69.9122231800796]
  MMTrailは,2000万回以上のトレーラークリップと視覚的キャプションを組み込んだ大規模マルチモーダルビデオ言語データセットである。 本稿では,27.1k時間以上のトレーラービデオで様々なモダリティアノテーションを実現するシステムキャプションフレームワークを提案する。 我々のデータセットは、大きめのマルチモーダル言語モデルトレーニングのためのパスを舗装する可能性がある。
  論文  参考訳（メタデータ） (2024-07-30T16:43:24Z)
• UniAV: Unified Audio-Visual Perception for Multi-Task Video Event Localization [83.89550658314741]
  ビデオローカライゼーションタスクは、時間的アクションローカライゼーション(TAL)、サウンドイベント検出(SED)、オーディオ視覚イベントローカライゼーション(AVEL)など、ビデオ内の特定のインスタンスを時間的に特定することを目的としている。 本報告では, tal, SED, AVELタスクの協調学習を初めて行うために, 統合音声認識ネットワークUniAVを提案する。
  論文  参考訳（メタデータ） (2024-04-04T03:28:57Z)
• MAiVAR-T: Multimodal Audio-image and Video Action Recognizer using Transformers [18.72489078928417]
  オーディオ画像とビデオのモダリティを組み合わせた新しいモデルを提案する。 このモデルは、オーディオ画像とビデオモダリティの組み合わせに直感的なアプローチを採用する。 ベンチマーク動作認識データセット上で実施した経験的評価は,そのモデルの顕著な性能を裏付けるものである。
  論文  参考訳（メタデータ） (2023-08-01T11:00:25Z)
• Accommodating Audio Modality in CLIP for Multimodal Processing [48.83906067348211]
  視覚言語モデルCLIPを拡張し、視覚言語モデルAudioのマルチモーダル処理におけるオーディオモダリティに対応する。 具体的には、モーダル間およびモーダル内コントラスト学習を用いて、オーディオと他のモーダル間の相関について検討する。 提案するCLIP4VLAモデルは,ビデオ検索やビデオキャプションなど,さまざまな下流タスクで検証される。
  論文  参考訳（メタデータ） (2023-03-12T06:57:01Z)
• Learnable Irrelevant Modality Dropout for Multimodal Action Recognition on Modality-Specific Annotated Videos [10.478479158063982]
  本稿では,アクション認識のための視覚特異的アノテーション付きビデオにおける音声モダリティを効果的に活用するための新しいフレームワークを提案する。 我々は、各ビデオラベルをK関連オーディオラベルにマッピングするセマンティックオーディオビデオラベル辞書(SAVLD)を構築した。 また、視覚的モダリティを効率的にモデル化する2ストリームビデオトランスも提案する。
  論文  参考訳（メタデータ） (2022-03-06T17:31:06Z)
• With a Little Help from my Temporal Context: Multimodal Egocentric Action Recognition [95.99542238790038]
  認識性能を向上させるため,周辺行動への参加を学習する手法を提案する。 時間的文脈を組み込むために,ビデオや音声を入力モダリティとして取り込み,変換器をベースとしたマルチモーダルモデルを提案する。 我々は,EPIC-KITCHENSとEGTEAデータセットを用いて,最先端の性能を報告する。
  論文  参考訳（メタデータ） (2021-11-01T15:27:35Z)
• Dynamic Graph Representation Learning for Video Dialog via Multi-Modal Shuffled Transformers [89.00926092864368]
  音声・視覚シーン認識ダイアログタスクのためのセマンティクス制御型マルチモーダルシャッフルトランスフォーマー推論フレームワークを提案する。 また,フレーム内推論層を用いた動的シーングラフ表現学習パイプラインを提案する。 その結果,全ての評価指標について最先端の性能を示すことができた。
  論文  参考訳（メタデータ） (2020-07-08T02:00:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。