論文の概要: Do Egocentric Video-Language Models Truly Understand Hand-Object Interactions?

• arxiv url: http://arxiv.org/abs/2405.17719v3
• Date: Thu, 20 Feb 2025 04:28:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-21 14:25:27.154711
• Title: Do Egocentric Video-Language Models Truly Understand Hand-Object Interactions?
• Title（参考訳）: Egocentric Video-Language Models Truly Understand Hand-Object Interactions?
• Authors: Boshen Xu, Ziheng Wang, Yang Du, Zhinan Song, Sipeng Zheng, Qin Jin,
• Abstract要約: Egocentric Video-Language Pretrainingは、一対一のシナリオにおける手動対話の理解を促進するための重要なステップである。 既存のテストベッドでの成功にもかかわらず、現在のEgoVLMは簡単な修正によって容易に誤認できることがわかった。 EgoVLMは手動オブジェクトの相互作用を本当に理解していますか?
• 参考スコア（独自算出の注目度）: 48.702973928321946
• License:
• Abstract: Egocentric video-language pretraining is a crucial step in advancing the understanding of hand-object interactions in first-person scenarios. Despite successes on existing testbeds, we find that current EgoVLMs can be easily misled by simple modifications, such as changing the verbs or nouns in interaction descriptions, with models struggling to distinguish between these changes. This raises the question: Do EgoVLMs truly understand hand-object interactions? To address this question, we introduce a benchmark called EgoHOIBench, revealing the performance limitation of current egocentric models when confronted with such challenges. We attribute this performance gap to insufficient fine-grained supervision and the greater difficulty EgoVLMs experience in recognizing verbs compared to nouns. To tackle these issues, we propose a novel asymmetric contrastive objective named EgoNCE++. For the video-to-text objective, we enhance text supervision by generating negative captions using large language models or leveraging pretrained vocabulary for HOI-related word substitutions. For the text-to-video objective, we focus on preserving an object-centric feature space that clusters video representations based on shared nouns. Extensive experiments demonstrate that EgoNCE++ significantly enhances EgoHOI understanding, leading to improved performance across various EgoVLMs in tasks such as multi-instance retrieval, action recognition, and temporal understanding. Our code is available at https://github.com/xuboshen/EgoNCEpp.
• Abstract（参考訳）: Egocentric Video-Language Pretrainingは、一対一のシナリオにおける手動対話の理解を促進するための重要なステップである。 既存のテストベッドでの成功にもかかわらず、現在のEgoVLMは、相互作用記述における動詞や名詞の変更など、これらの変更を区別するのに苦労しているモデルなど、単純な修正によって容易に誤解される可能性がある。 EgoVLMは手動オブジェクトの相互作用を本当に理解していますか? この問題に対処するため、我々はEgoHOIBenchというベンチマークを導入し、このような課題に直面した際の現在の自我中心モデルの性能制限を明らかにした。 この性能差は, 名詞と比較して, 動詞の認識におけるEgoVLMsの難易度と, 微粒化管理の欠如によるものと考えられる。 これらの問題に対処するために、EgoNCE++という新しい非対称なコントラスト目的を提案する。 ビデオ・トゥ・テキストの目的に対しては,大きな言語モデルを用いた否定的なキャプションの生成や,HOI関連単語置換のための事前学習語彙の活用により,テキストの監督を強化する。 本研究の目的は,共有名詞に基づいてビデオ表現をクラスタリングするオブジェクト中心の機能空間の保存に焦点をあてることである。 大規模な実験により、EgoNCE++はEgoHOI理解を著しく向上させ、マルチインスタンス検索、アクション認識、時間的理解といったタスクにおける様々なEgoVLMのパフォーマンスを向上させることが示されている。 私たちのコードはhttps://github.com/xuboshen/EgoNCEpp.comから入手可能です。

関連論文リスト

• HENASY: Learning to Assemble Scene-Entities for Egocentric Video-Language Model [9.762722976833581]
  現在のモデルは、ビデオと言語間のインスタンスレベルのアライメントに大きく依存している。 我々は、人間の知覚からインスピレーションを得て、エゴビデオ表現のための構成的アプローチを探求する。
  論文  参考訳（メタデータ） (2024-06-01T05:41:12Z)
• Retrieval-Augmented Egocentric Video Captioning [53.2951243928289]
  EgoInstructor(エゴインストラクタ)は、意味的に関連する第三者の指導ビデオを自動的に検索する、検索拡張マルチモーダルキャプションモデルである。 我々は、エゴセントリックでエゴセントリックなビデオ機能を引き出す新しいEgoExoNCE損失でクロスビュー検索モジュールをトレーニングし、同様のアクションを記述した共有テキスト機能にアライメントすることで、より近づいた。
  論文  参考訳（メタデータ） (2024-01-01T15:31:06Z)
• Helping Hands: An Object-Aware Ego-Centric Video Recognition Model [60.350851196619296]
  オブジェクト認識デコーダを導入し、エゴ中心の動画におけるエゴ中心の表現の性能を向上させる。 このモデルは,エゴ認識ビデオモデルの代替として機能し,視覚テキストのグラウンド化による性能向上を図っている。
  論文  参考訳（メタデータ） (2023-08-15T17:58:11Z)
• Verbs in Action: Improving verb understanding in video-language models [128.87443209118726]
  CLIPに基づく最先端のビデオ言語モデルは、動詞の理解が限られていることが示されている。 我々は,CLIPに基づくビデオ言語モデルの動詞理解を改善するために,新しいVerb-Focused Contrastiveフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-13T17:57:01Z)
• Egocentric Video-Language Pretraining [74.04740069230692]
  Video-Language Pretrainingは、転送可能な表現を学習して、幅広いビデオテキストダウンストリームタスクを前進させることを目的としている。 我々は、最近リリースされたEgo4Dデータセットを利用して、3方向のEgoセントリックトレーニングを開拓しました。 3つのデータセットにわたる5つのエゴセントリックなダウンストリームタスクに対して、強いパフォーマンスを示します。
  論文  参考訳（メタデータ） (2022-06-03T16:28:58Z)
• Learning to Recognize Actions on Objects in Egocentric Video with Attention Dictionaries [51.48859591280838]
  ビデオアクション認識のためのディープニューラルアーキテクチャであるEgoACOを紹介する。 フレームレベルの機能からアクションコンテキストオブジェクト記述子をプールする。 Capは学習可能な重みの辞書を使って、最も関連性の高い特徴領域からプールする。
  論文  参考訳（メタデータ） (2021-02-16T10:26:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。