論文の概要: Egocentric Hand-object Interaction Detection

• arxiv url: http://arxiv.org/abs/2211.09067v1
• Date: Wed, 16 Nov 2022 17:31:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 16:24:19.399637
• Title: Egocentric Hand-object Interaction Detection
• Title（参考訳）: 自己中心型ハンド・オブジェクトインタラクション検出
• Authors: Yao Lu, Yanan Liu
• Abstract要約: マルチカメラシステムを用いて、複数の視点から手ポーズデータをキャプチャする。 我々のメソッドは、Shanよりもはるかに効率的な$textbf30$ FPSで実行できる。
• 参考スコア（独自算出の注目度）: 13.639883596251313
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we propose a method to jointly determine the status of hand-object interaction. This is crucial for egocentric human activity understanding and interaction. From a computer vision perspective, we believe that determining whether a hand is interacting with an object depends on whether there is an interactive hand pose and whether the hand is touching the object. Thus, we extract the hand pose, hand-object masks to jointly determine the interaction status. In order to solve the problem of hand pose estimation due to in-hand object occlusion, we use a multi-cam system to capture hand pose data from multiple perspectives. We evaluate and compare our method with the most recent work from Shan et al. \cite{Shan20} on selected images from EPIC-KITCHENS \cite{damen2018scaling} dataset and achieve $89\%$ accuracy on HOI (hand-object interaction) detection which is comparative to Shan's ($92\%$). However, for real-time performance, our method can run over $\textbf{30}$ FPS which is much more efficient than Shan's ($\textbf{1}\sim\textbf{2}$ FPS). A demo can be found from https://www.youtube.com/watch?v=XVj3zBuynmQ
• Abstract（参考訳）: 本稿では,手-物体相互作用の状態を共同で決定する手法を提案する。 これは自我中心の人間活動の理解と相互作用に不可欠である。 コンピュータビジョンの観点からは、手が物体と相互作用しているかどうかの判断は、対話的な手のポーズが存在するか、手が物体に触れているかによって決まると信じている。 そこで,ハンドポーズとハンドオブジェクトマスクを抽出し,協調してインタラクション状態を決定する。 対物咬合による手ポーズ推定の問題を解決するために,マルチカメラシステムを用いて複数の視点から手ポーズデータをキャプチャする。 Shanらによる最新の研究と評価・比較を行った。 EPIC-KITCHENS \cite{damen2018scaling} データセットから選択した画像上の \cite{Shan20} は、Shan の (92 %$) と比較した HOI (hand-object Interaction) 検出において、89 % の精度を達成する。 しかし、リアルタイムパフォーマンスの場合、このメソッドは$\textbf{30}$ fps以上の動作が可能であり、shanの($\textbf{1}\sim\textbf{2}$ fps)よりもはるかに効率的である。 デモはhttps://www.youtube.com/watch? v=XVj3zBuynmQ

関連論文リスト

• Neural feels with neural fields: Visuo-tactile perception for in-hand manipulation [57.60490773016364]
  マルチフィンガーハンドの視覚と触覚を組み合わせることで,手動操作時の物体の姿勢と形状を推定する。 提案手法であるNeuralFeelsは,ニューラルネットワークをオンラインで学習することでオブジェクトの形状を符号化し,ポーズグラフ問題を最適化して共同で追跡する。 私たちの結果は、タッチが少なくとも、洗練され、そして最も最良のものは、手動操作中に視覚的推定を曖昧にすることを示しています。
  論文  参考訳（メタデータ） (2023-12-20T22:36:37Z)
• AffordPose: A Large-scale Dataset of Hand-Object Interactions with Affordance-driven Hand Pose [16.65196181081623]
  AffordPoseは、手動ポーズによる手動オブジェクトインタラクションの大規模データセットである。 計26.7Kのハンドオブジェクトインタラクションを収集し、それぞれ3次元オブジェクト形状、部分レベルアベイランスラベル、手動で調整した手ポーズを含む。 包括的データ分析は、手-物間相互作用の共通特性と多様性を示している。
  論文  参考訳（メタデータ） (2023-09-16T10:25:28Z)
• Interacting Hand-Object Pose Estimation via Dense Mutual Attention [97.26400229871888]
  3Dハンドオブジェクトのポーズ推定は多くのコンピュータビジョンアプリケーションの成功の鍵となる。 本研究では,手と物体間の微粒な依存関係をモデル化できる新しい相互注意機構を提案する。 提案手法は,高品質かつリアルタイムな推論速度で,物理的に妥当なポーズを生成できる。
  論文  参考訳（メタデータ） (2022-11-16T10:01:33Z)
• 3D Interacting Hand Pose Estimation by Hand De-occlusion and Removal [85.30756038989057]
  単一のRGB画像から3Dインタラクションハンドポーズを推定することは、人間の行動を理解するのに不可欠である。 本稿では,難易度の高い手ポーズ推定タスクを分解し,各手のポーズを別々に推定することを提案する。 実験の結果,提案手法は従来の手ポーズ推定手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2022-07-22T13:04:06Z)
• Egocentric Hand-object Interaction Detection and Application [24.68535915849555]
  本稿では,エゴセントリックな視点から手動物体の相互作用を検出する手法を提案する。 我々は、手ポーズ、手動マスク、手動物体マスクを予測するネットワークを訓練し、手動物体の相互作用状態を共同で予測する。 私たちのメソッドは、Shanの(textbf1simtextbf2$ FPS)よりもはるかに効率的な$textbf30$ FPSで実行できます。
  論文  参考訳（メタデータ） (2021-09-29T21:47:16Z)
• Learning to Disambiguate Strongly Interacting Hands via Probabilistic Per-pixel Part Segmentation [84.28064034301445]
  自己相似性と、それぞれの手にピクセル観察を割り当てるあいまいさは、最終的な3Dポーズエラーの大きな原因である。 1つの単眼画像から2つの手の3次元ポーズを推定する新しい手法であるDIGITを提案する。 提案手法は,InterHand2.6Mデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-07-01T13:28:02Z)
• H2O: Two Hands Manipulating Objects for First Person Interaction Recognition [70.46638409156772]
  両手操作対象のマーカーレス3Dアノテーションを用いて,エゴセントリックな対話認識のための包括的なフレームワークを提案する。 本手法は,2つの手の3次元ポーズと操作対象の6次元ポーズのアノテーションと,それぞれのフレームのインタラクションラベルを生成する。 我々のデータセットは、H2O (2 Hands and Objects)と呼ばれ、同期されたマルチビューRGB-D画像、対話ラベル、オブジェクトクラス、左右の手でのグラウンドトルース3Dポーズ、6Dオブジェクトポーズ、グラウンドトルースカメラポーズ、オブジェクトメッシュ、シーンポイントクラウドを提供する。
  論文  参考訳（メタデータ） (2021-04-22T17:10:42Z)
• InterHand2.6M: A Dataset and Baseline for 3D Interacting Hand Pose Estimation from a Single RGB Image [71.17227941339935]
  大規模データセットであるInterHand2.6Mと,1枚のRGB画像から3次元インタラクションハンドポーズ推定を行うネットワークであるInterNetを提案する。 実験では,InterHand2.6Mのインタラクションハンドデータを利用する場合,3次元インタラクションハンドポーズ推定の精度が大きく向上することを示した。 この新しいデータセットの強力なベースラインとして機能するInterHand2.6M上でのInterNetの精度についても報告する。
  論文  参考訳（メタデータ） (2020-08-21T05:15:58Z)
• Robust, Occlusion-aware Pose Estimation for Objects Grasped by Adaptive Hands [16.343365158924183]
  内部操作のような操作タスクは、ロボットハンドに対してオブジェクトのポーズを必要とする。 本稿では,頑健なポーズ推定と応答時間の短縮を目的とした奥行きに基づくフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-07T05:51:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。