論文の概要: With a Little Help from my Temporal Context: Multimodal Egocentric Action Recognition

• arxiv url: http://arxiv.org/abs/2111.01024v1
• Date: Mon, 1 Nov 2021 15:27:35 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-02 19:25:34.906243
• Title: With a Little Help from my Temporal Context: Multimodal Egocentric Action Recognition
• Title（参考訳）: 時間的文脈から少し助けを借りて:マルチモーダル・エゴセントリックなアクション認識
• Authors: Evangelos Kazakos, Jaesung Huh, Arsha Nagrani, Andrew Zisserman, Dima Damen
• Abstract要約: 認識性能を向上させるため,周辺行動への参加を学習する手法を提案する。 時間的文脈を組み込むために,ビデオや音声を入力モダリティとして取り込み,変換器をベースとしたマルチモーダルモデルを提案する。 我々は,EPIC-KITCHENSとEGTEAデータセットを用いて,最先端の性能を報告する。
• 参考スコア（独自算出の注目度）: 95.99542238790038
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In egocentric videos, actions occur in quick succession. We capitalise on the action's temporal context and propose a method that learns to attend to surrounding actions in order to improve recognition performance. To incorporate the temporal context, we propose a transformer-based multimodal model that ingests video and audio as input modalities, with an explicit language model providing action sequence context to enhance the predictions. We test our approach on EPIC-KITCHENS and EGTEA datasets reporting state-of-the-art performance. Our ablations showcase the advantage of utilising temporal context as well as incorporating audio input modality and language model to rescore predictions. Code and models at: https://github.com/ekazakos/MTCN.
• Abstract（参考訳）: エゴセントリックなビデオでは、アクションは素早く続く。 行動の時間的文脈を活かし、認識性能を向上させるために周囲の行動に出席することを学ぶ手法を提案する。 時間的文脈を組み込むために,映像や音声を入力モダリティとして取り入れるトランスフォーマーに基づくマルチモーダルモデルを提案し,その予測を強化するためにアクションシーケンスコンテキストを提供する明示的な言語モデルを提案する。 我々は,EPIC-KITCHENSとEGTEAデータセットを用いて,最先端の性能を報告する。 音声入力のモダリティと言語モデルを用いて予測を再スコア化することで,時間的文脈の活用のメリットを実証する。 コードとモデル:https://github.com/ekazakos/MTCN。

関連論文リスト

• Multi-Modal interpretable automatic video captioning [1.9874264019909988]
  マルチモーダル・コントラッシブ・ロスを訓練した新しいビデオキャプション手法を提案する。 我々のアプローチは、これらのモダリティ間の依存関係を捉えるために設計されており、その結果、より正確で、従って関連するキャプションとなる。
  論文  参考訳（メタデータ） (2024-11-11T11:12:23Z)
• MLLM as Video Narrator: Mitigating Modality Imbalance in Video Moment Retrieval [53.417646562344906]
  Video Moment Retrieval (VMR) は、自然言語クエリが与えられた未トリミング長ビデオ内の特定の時間セグメントをローカライズすることを目的としている。 既存の方法は、しばしば不十分なトレーニングアノテーションに悩まされる。つまり、文は通常、単語の多様性が制限された前景の顕著なビデオ内容のごく一部と一致する。 この本質的なモダリティの不均衡は、視覚情報のかなりの部分がテキストと一致しないまま残されている。 本研究では,MLLMをビデオナレーターとして用いて,ビデオのテキスト記述を多用し,モダリティの不均衡を緩和し,時間的局所化を促進させる。
  論文  参考訳（メタデータ） (2024-06-25T18:39:43Z)
• Multimodal Fusion Method with Spatiotemporal Sequences and Relationship Learning for Valence-Arousal Estimation [9.93719767430551]
  本稿では,ABA6コンペティションにおけるVA(Valence-Arousal)推定タスクに対するアプローチを提案する。 映像フレームと音声セグメントを前処理して視覚的・音声的特徴を抽出する包括的モデルを考案した。 我々は、Transformerエンコーダ構造を用いて長距離依存を学習し、モデルの性能と一般化能力を向上させる。
  論文  参考訳（メタデータ） (2024-03-19T04:25:54Z)
• Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Grounding [108.79026216923984]
  ビデオグラウンドイングは、入力テキストクエリに対応するビデオ内の時間セクションをローカライズすることを目的としている。 本稿では,現在のビデオグラウンドリング手法において,オープン語彙時空間ビデオグラウンドニングタスクを導入することにより,限界に対処する。
  論文  参考訳（メタデータ） (2023-12-31T13:53:37Z)
• READ: Recurrent Adapter with Partial Video-Language Alignment for Parameter-Efficient Transfer Learning in Low-Resource Video-Language Modeling [31.745255364708864]
  トレーニング済みモデルに軽量アダプタを導入し、微調整時にのみ更新する。 本稿では、時間的モデリング機能を実現するために、繰り返し計算を利用する新しいRecurrent Adapter(READ)を提案する。 我々は、READが既存のすべての微調整戦略を著しく上回る広範囲な実験を通じて、READフレームワークを検証する。
  論文  参考訳（メタデータ） (2023-12-12T03:09:30Z)
• Summarize the Past to Predict the Future: Natural Language Descriptions of Context Boost Multimodal Object Interaction Anticipation [72.74191015833397]
  マルチモーダルトランスアーキテクチャであるTransFusionを提案する。 アクションコンテキストを要約することで、言語の表現力を利用する。 我々のモデルはより効率的なエンドツーエンド学習を可能にします。
  論文  参考訳（メタデータ） (2023-01-22T21:30:12Z)
• Align and Prompt: Video-and-Language Pre-training with Entity Prompts [111.23364631136339]
  ビデオと言語による事前トレーニングは、様々なダウンストリームタスクに有望な改善を示している。 Align and Prompt: クロスモーダルアライメントを改良した,効率的かつ効果的なビデオ・言語事前学習フレームワークを提案する。 私たちのコードと事前訓練されたモデルはリリースされます。
  論文  参考訳（メタデータ） (2021-12-17T15:55:53Z)
• Learning Modality Interaction for Temporal Sentence Localization and Event Captioning in Videos [76.21297023629589]
  そこで本稿では,ビデオの各対のモダリティの相補的情報をよりよく活用するために,ペアワイズなモダリティ相互作用を学習するための新しい手法を提案する。 提案手法は,4つの標準ベンチマークデータセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2020-07-28T12:40:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。