論文の概要: EgoPrompt: Prompt Learning for Egocentric Action Recognition
- arxiv url: http://arxiv.org/abs/2508.03266v2
- Date: Thu, 07 Aug 2025 07:36:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-08 11:49:27.099691
- Title: EgoPrompt: Prompt Learning for Egocentric Action Recognition
- Title（参考訳）: EgoPrompt: 行動認識のためのプロンプト学習
- Authors: Huaihai Lyu, Chaofan Chen, Yuheng Ji, Changsheng Xu,
- Abstract要約: EgoPromptは、エゴセントリックな行動認識タスクを実行するための、素早い学習ベースのフレームワークである。
EgoPromptは、内部データセット、クロスデータセット、ベース・ツー・ノーベルの一般化ベンチマークで最先端のパフォーマンスを実現している。
- 参考スコア（独自算出の注目度）: 49.12318087940015
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Driven by the increasing demand for applications in augmented and virtual reality, egocentric action recognition has emerged as a prominent research area. It is typically divided into two subtasks: recognizing the performed behavior (i.e., verb component) and identifying the objects being acted upon (i.e., noun component) from the first-person perspective. However, most existing approaches treat these two components as independent classification tasks, focusing on extracting component-specific knowledge while overlooking their inherent semantic and contextual relationships, leading to fragmented representations and sub-optimal generalization capability. To address these challenges, we propose a prompt learning-based framework, EgoPrompt, to conduct the egocentric action recognition task. Building on the existing prompting strategy to capture the component-specific knowledge, we construct a Unified Prompt Pool space to establish interaction between the two types of component representations. Specifically, the component representations (from verbs and nouns) are first decomposed into fine-grained patterns with the prompt pair form. Then, these pattern-level representations are fused through an attention-based mechanism to facilitate cross-component interaction. To ensure the prompt pool is informative, we further introduce a novel training objective, Diverse Pool Criteria. This objective realizes our goals from two perspectives: Prompt Selection Frequency Regularization and Prompt Knowledge Orthogonalization. Extensive experiments are conducted on the Ego4D, EPIC-Kitchens, and EGTEA datasets. The results consistently show that EgoPrompt achieves state-of-the-art performance across within-dataset, cross-dataset, and base-to-novel generalization benchmarks.
- Abstract（参考訳）: 拡張現実やバーチャルリアリティーにおけるアプリケーションへの需要が高まる中で、エゴセントリックなアクション認識が顕著な研究領域として浮上した。
通常は2つのサブタスクに分けられる: 実行された振る舞い(動詞成分)を認識することと、実行されているオブジェクト(名詞成分)を1人称視点で識別する。
しかしながら、既存のほとんどのアプローチは、これらの2つのコンポーネントを独立した分類タスクとして扱い、コンポーネント固有の知識を抽出し、固有の意味的および文脈的関係を見極め、断片化された表現と準最適一般化能力をもたらす。
これらの課題に対処するために,エゴセントリックな行動認識タスクを実行するための,素早い学習ベースのフレームワークであるEgoPromptを提案する。
コンポーネント固有の知識をキャプチャするための既存のプロンプト戦略に基づいて、我々は2種類のコンポーネント表現間の相互作用を確立するために統一されたプロンプトプール空間を構築します。
特に、成分表現(動詞と名詞から)は、まず、プロンプトペア形式のきめ細かいパターンに分解される。
そして、これらのパターンレベルの表現を注目に基づくメカニズムで融合し、コンポーネント間相互作用を促進する。
プロンプトプールの情報を確実にするために,新たなトレーニング目標であるDiverse Pool Criteriaを導入する。
この目的は,確率選択頻度正規化と確率知識直交化という2つの視点から達成される。
大規模な実験は、Ego4D、EPIC-Kitchens、EGTEAデータセットで実施されている。
結果は、EgoPromptが、内部データセット、クロスデータセット、ベース・ツー・ノーベルな一般化ベンチマークをまたいで、最先端のパフォーマンスを達成することを一貫して示している。
関連論文リスト
- Intention-Guided Cognitive Reasoning for Egocentric Long-Term Action Anticipation [52.6091162517921]
INSIGHTは、エゴセントリックなアクション予測のための2段階のフレームワークである。
最初の段階では、INSIGHTは手動オブジェクトの相互作用領域から意味的にリッチな特徴を抽出することに焦点を当てている。
第2段階では、明示的な認知的推論をシミュレートする強化学習ベースのモジュールを導入する。
論文 参考訳（メタデータ） (2025-08-03T12:52:27Z) - Seeing Beyond the Scene: Enhancing Vision-Language Models with Interactional Reasoning [27.511627003202538]
伝統的なシーングラフは主に空間的関係に焦点を当て、視覚シーンにおける複雑な相互作用を推論する視覚言語モデル(VLM)の能力を制限する。
本稿では,(1) 従来の検出・構築手法は,非集中的かつ文脈的に無関係な関係集合を生成し,(2) 既存の手法では,新しい場面に起因した相互作用を一般化するための永続記憶の形成に失敗する,という2つの課題に対処する。
本稿では,3つの相補的なコンポーネントを通してVLMの相互作用推論を強化するフレームワークであるISGRを提案する。
論文 参考訳（メタデータ） (2025-05-14T04:04:23Z) - Spatio-Temporal Context Prompting for Zero-Shot Action Detection [13.22912547389941]
本稿では,視覚言語モデルの豊富な知識を効果的に活用し,対人インタラクションを実現する手法を提案する。
同時に複数の人物による異なる行動を認識するという課題に対処するために,興味あるトークンスポッティング機構を設計する。
提案手法は,従来の手法に比べて優れた結果を得ることができ,さらにマルチアクションビデオに拡張することができる。
論文 参考訳（メタデータ） (2024-08-28T17:59:05Z) - Simultaneous Detection and Interaction Reasoning for Object-Centric Action Recognition [21.655278000690686]
エンドツーエンドのオブジェクト中心のアクション認識フレームワークを提案する。
同時に1つのステージで検出と相互作用の推論を行う。
我々はSomes-ElseとIkea-Assemblyという2つのデータセットで実験を行う。
論文 参考訳（メタデータ） (2024-04-18T05:06:12Z) - Knowledge-Aware Prompt Tuning for Generalizable Vision-Language Models [64.24227572048075]
本稿では,視覚言語モデルのためのKnowledge-Aware Prompt Tuning(KAPT)フレームワークを提案する。
我々のアプローチは、人間の知性からインスピレーションを得ており、外部知識は、通常、オブジェクトの新たなカテゴリを認識するために組み込まれています。
論文 参考訳（メタデータ） (2023-08-22T04:24:45Z) - Compositional Learning in Transformer-Based Human-Object Interaction
Detection [6.630793383852106]
ラベル付きインスタンスの長期分布は、HOI検出の主要な課題である。
HOI三重奏の性質にインスパイアされた既存のアプローチでは、作曲学習という概念が採用されている。
我々は,構成HoI学習のためのトランスフォーマーベースのフレームワークを創造的に提案する。
論文 参考訳（メタデータ） (2023-08-11T06:41:20Z) - Part-aware Prototypical Graph Network for One-shot Skeleton-based Action
Recognition [57.86960990337986]
ワンショットスケルトンに基づくアクション認識は、ベースクラスから新しいクラスへの変換可能な表現を学習する上で、ユニークな課題となる。
単発骨格に基づく行動認識のためのパートアウェアなプロトタイプ表現を提案する。
本手法の有効性を2つの公開骨格に基づく行動認識データセットに示す。
論文 参考訳（メタデータ） (2022-08-19T04:54:56Z) - Self-Supervised Visual Representation Learning with Semantic Grouping [50.14703605659837]
我々は、未ラベルのシーン中心のデータから視覚表現を学習する問題に取り組む。
本研究では,データ駆動型セマンティックスロット,すなわちSlotConによる協調型セマンティックグルーピングと表現学習のためのコントラスト学習を提案する。
論文 参考訳（メタデータ） (2022-05-30T17:50:59Z) - Phrase-Based Affordance Detection via Cyclic Bilateral Interaction [17.022853987801877]
我々は、視覚言語の観点から、手当を知覚し、困難なフレーズベースの手当検出問題を考察する。
言語と視覚の特徴を段階的に整合させるために,循環的二元整合性向上ネットワーク(CBCE-Net)を提案する。
具体的には、CBCE-Netは、視覚と言語の共通した特徴を進歩的に更新する相互指導型視覚言語モジュールと、循環的に物体との相互作用の認識を容易にする循環的相互作用モジュール(CIM)から構成される。
論文 参考訳（メタデータ） (2022-02-24T13:02:27Z) - Cascaded Human-Object Interaction Recognition [175.60439054047043]
マルチステージで粗大なHOI理解のためのカスケードアーキテクチャを提案する。
各段階で、インスタンスローカライゼーションネットワークは、HOI提案を段階的に洗練し、インタラクション認識ネットワークにフィードする。
慎重に設計された人間中心の関係機能により、これらの2つのモジュールは効果的な相互作用理解に向けて協調的に機能する。
論文 参考訳（メタデータ） (2020-03-09T17:05:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。