論文の概要: Egocentric Human-Object Interaction Detection: A New Benchmark and Method

• arxiv url: http://arxiv.org/abs/2506.14189v1
• Date: Tue, 17 Jun 2025 05:03:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-18 17:34:59.33287
• Title: Egocentric Human-Object Interaction Detection: A New Benchmark and Method
• Title（参考訳）: Egocentric Human-Object Interaction Detection: a new Benchmark and Method
• Authors: Kunyuan Deng, Yi Wang, Lap-Pui Chau,
• Abstract要約: Ego-HOIBenchは、Ego-HOI検出のベンチマークと開発を促進する新しいデータセットである。 本手法は軽量かつ効果的であり,プラグイン・アンド・プレイ方式で容易にHOIベースラインに適用できる。
• 参考スコア（独自算出の注目度）: 14.765419467710812
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding the interaction between humans and objects has gained much attention in recent years. Existing human-object interaction (HOI) detection methods mainly focus on the third-person perspectives, overlooking a more intuitive way from the egocentric view of HOI, namely Ego-HOI. This paper introduces an Ego-HOIBench, a new dataset to promote the benchmarking and development of Ego-HOI detection. Our Ego-HOIBench comprises more than 27K egocentric images with high-quality hand-verb-object triplet annotations across 123 fine-grained interaction categories and locations, covering a rich diversity of scenarios, object types, and hand configurations in daily activities. In addition, we explore and adapt third-person HOI detection methods to Ego-HOIBench and illustrate the challenges of hand-occluded objects and the complexity of single- and two-hand interactions. To build a new baseline, we propose a Hand Geometry and Interactivity Refinement (HGIR) scheme, which leverages hand pose and geometric information as valuable cues for interpreting interactions. Specifically, the HGIR scheme explicitly extracts global hand geometric features from the estimated hand pose proposals and refines the interaction-specific features using pose-interaction attention. This scheme enables the model to obtain a robust and powerful interaction representation, significantly improving the Ego-HOI detection capability. Our approach is lightweight and effective, and it can be easily applied to HOI baselines in a plug-and-play manner to achieve state-of-the-art results on Ego-HOIBench. Our project is available at: https://dengkunyuan.github.io/EgoHOIBench/
• Abstract（参考訳）: 近年,人間と物体の相互作用を理解することが注目されている。 既存のHuman-Object Interaction(HOI)検出法は,HOIのエゴセントリックな視点,すなわちEgo-HOIから,より直感的な視点に焦点をあてている。 本稿では,Ego-HOI検出のベンチマークと開発を促進する新しいデータセットであるEgo-HOIBenchを紹介する。 Ego-HOIBenchは、123のきめ細かいインタラクションカテゴリとロケーションにわたる高品質なハンドバーブオブジェクトトリプルトアノテーションを備えた、27K以上のエゴセントリックなイメージで構成されており、シナリオ、オブジェクトタイプ、そして日々のアクティビティにおける手構成の多様さをカバーしています。 さらに,3人称HOI検出手法をEgo-HOIBenchに適用し,手持ち物体の課題と片手インタラクションの複雑さを考察した。 新しいベースラインを構築するために,ハンドポーズと幾何学的情報を対話を解釈するための貴重な手がかりとして活用するハンドジオメトリ・インターアクティビティ・リファインメント(HGIR)方式を提案する。 具体的には、HGIRスキームは、推定ハンドポーズ提案からグローバルハンド幾何学的特徴を明示的に抽出し、ポーズ・アクション・アテンションを用いてインタラクション固有の特徴を洗練する。 この方式により、モデルが堅牢で強力な相互作用表現を得ることができ、Ego-HOI検出能力が大幅に向上する。 提案手法は軽量かつ効果的であり,Ego-HOIBenchの最先端結果を得るために,プラグイン・アンド・プレイ方式でHOIベースラインに容易に適用することができる。 私たちのプロジェクトは、https://dengkunyuan.github.io/EgoHOIBench/で利用可能です。

関連論文リスト

• ANNEXE: Unified Analyzing, Answering, and Pixel Grounding for Egocentric Interaction [16.338872733140832]
  本稿では,Egocentric Interaction Reasoning and pixel Grounding (Ego-IRG) という新しいタスクを提案する。 Ego-IRGは、クエリを入力としてエゴセントリックなイメージを取り入れ、分析、回答、ピクセルグラウンドという3つの重要なステップを通じてインタラクションを解決することを目的とした最初のタスクである。 Ego-IRGBenchデータセットには、160万のクエリとそれに対応するインタラクションに関するマルチモーダルレスポンスを備えた、20万以上のエゴセントリックなイメージが含まれている。
  論文  参考訳（メタデータ） (2025-04-02T08:24:35Z)
• Visual-Geometric Collaborative Guidance for Affordance Learning [63.038406948791454]
  本稿では,視覚的・幾何学的手がかりを取り入れた視覚・幾何学的協調学習ネットワークを提案する。 本手法は,客観的指標と視覚的品質の代表的なモデルより優れている。
  論文  参考訳（メタデータ） (2024-10-15T07:35:51Z)
• Grounding 3D Scene Affordance From Egocentric Interactions [52.5827242925951]
  接地型3Dシーンアベイランスは、3D環境におけるインタラクティブな領域を見つけることを目的としている。 我々は,エゴセントリックなインタラクションから3Dシーンの空き時間を確保するという,新しい課題を紹介した。
  論文  参考訳（メタデータ） (2024-09-29T10:46:19Z)
• EgoChoir: Capturing 3D Human-Object Interaction Regions from Egocentric Views [51.53089073920215]
  エゴセントリックな人間と物体の相互作用(HOI)を理解することは、人間中心の知覚の基本的な側面である。 既存の手法は主にHOIの観測を利用して、外心的な視点から相互作用領域を捉えている。 EgoChoirは、オブジェクト構造と、外見と頭部運動に固有の相互作用コンテキストを結びつけて、オブジェクトの余裕を明らかにする。
  論文  参考訳（メタデータ） (2024-05-22T14:03:48Z)
• Benchmarks and Challenges in Pose Estimation for Egocentric Hand Interactions with Objects [89.95728475983263]
  ロボティクス、AR/VR、アクション認識、モーション生成といったタスクにおいて、自己中心的な視点からこのようなインタラクションを理解することが重要である。 我々は、AmblyHandsとARCTICデータセットに基づいたHANDS23チャレンジを、慎重に設計されたトレーニングとテストの分割に基づいて設計する。 提案手法の結果と近年のリーダーボードのベースラインに基づいて,3Dハンド(オブジェクト)再構成タスクの徹底的な解析を行う。
  論文  参考訳（メタデータ） (2024-03-25T05:12:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。