論文の概要: Towards in-the-wild Egocentric 3D Hand-Object Pose Estimation

• arxiv url: http://arxiv.org/abs/2606.30598v1
• Date: Mon, 29 Jun 2026 17:38:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:16.365108
• Title: Towards in-the-wild Egocentric 3D Hand-Object Pose Estimation
• Title（参考訳）: 自己中心型3Dハンドオブジェクトポース推定の実現に向けて
• Abstract要約: 3Dハンドオブジェクトの正確なポーズの推定は、未解決のRGBではまだ難しい。 まず、EPIC-Contactを紹介します。 第2に,両手と物体のポーズを共同で予測するエンド・ツー・エンド・エンド・トランスフォーマーであるHOPformerを提案する。
• 参考スコア（独自算出の注目度）: 59.968931594801234
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Estimating accurate 3D hand-object pose from in-the-wild egocentric RGB remains challenging due to severe occlusions and ambiguous contact. Existing learning-based methods often struggle to generalise to in-the-wild scenes and are limited by the scarcity of supervision. We address these issues with two contributions. First, we introduce EPIC-Contact, an in-the-wild egocentric dataset of 2.3K clips (62.3K frames) with dense, bijective 3D hand-object contact correspondences and posed meshes. Second, we propose HOPformer, an end-to-end transformer that jointly predicts bi-manual hand and object pose in a single forward pass. A cross-attention decoder conditions object features on hand priors, producing robust pose estimation. We test HOPformer on the in-lab 3D dataset, ARCTIC, as well as our newly introduced EPIC-Contact dataset. HOPformer reaches 82.4% success rate on ARCTIC (+6.2 pts over current SOTA). On EPIC-Contact, it nearly doubles the success rate while reducing contact deviation by 75%. EPIC-Contact, HOPformer code and checkpoints are released: https://sid2697.github.io/epic-contact.
• Abstract（参考訳）: 重度の閉塞とあいまいな接触により, 体外自我中心のRGBから正確な3D手指のポーズを推定することは困難である。 既存の学習ベースの手法は、しばしば現場に一般化するのに苦労し、監督の欠如によって制限される。 これらの問題を2つのコントリビューションで解決する。 まずEPIC-Contactについて述べる。EPIC-Contactは2.3Kのクリップ(62.3Kフレーム)で、密度が高く、双対的な3Dハンドオブジェクトの接触対応とメッシュの配置を行う。 第2にHOPformerを提案する。HOPformerは両手と物体のポーズを1つの前方通過で共同で予測するエンド・ツー・エンド・トランスフォーマーである。 クロスアテンションデコーダは、手前のオブジェクトの特徴を条件付け、ロバストなポーズ推定を生成する。 我々は、新たに導入されたEPIC-Contactデータセットと同様に、実験用3DデータセットARCTIC上でHOPformerをテストする。 HOPformerはARCTICで82.4%の成功率(現在のSOTAで+6.2pts)に達した。 EPIC-Contactでは、接触偏差を75%減少させ、成功率をほぼ2倍にしている。 EPIC-Contact、HOPformerコード、チェックポイントがリリースされた。

関連論文リスト

• You Only Touch Once: 6-DoF Object Pose Estimation from Single Tactile Contact [42.491016490387466]
  YOTOは、一対の同時接触から全6-DoFオブジェクトのポーズを復元する触覚のみのポーズ推定システムである。 YOTOは、各触覚接触を局所的な3D点雲として表現し、粗いネットワークを介して物体表面に局在させる。 4つの幾何学的多彩な物体に対する実験は、正確な触覚接触位置定位とポーズ推定、視覚ベースおよび幾何学的ベースラインよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2026-06-27T13:12:57Z)
• PandaPose: 3D Human Pose Lifting from a Single Image via Propagating 2D Pose Prior to 3D Anchor Space [62.10630827126755]
  PandaPoseは3次元アンカー空間の前に2次元ポーズを伝播させることによって3次元のポーズリフトアプローチである。 われわれの3Dアンカー空間は、(1)標準座標系における関節回りの3Dアンカーから成り、2Dポーズ推定の不正確さを軽減するための正確で堅牢な事前情報を提供する。
  論文  参考訳（メタデータ） (2026-02-01T08:20:40Z)
• DecoDINO: 3D Human-Scene Contact Prediction with Semantic Classification [0.0]
  Decoのフレームワークをベースとした3分岐ネットワークであるDecoDINOを紹介する。 2つのDINOv2 ViT-g/14エンコーダ、バイアスを減らすためにクラスバランスの損失重み付け、局所推論を改善するためにパッチレベルのクロスアテンションを使用する。 DAMONベンチマークでは、DecoDINOは2値接触F1スコアを7$%の値で上げ、(ii)ジオデシックエラーを半減させ、(iii)オブジェクトレベルのセマンティックラベルによる予測を強化した。
  論文  参考訳（メタデータ） (2025-10-27T10:46:22Z)
• Monocular 3D Hand Pose Estimation with Implicit Camera Alignment [9.199465050084296]
  Augmented Reality (AR)、Virtual Reality (VR)、Human-Computer Interaction (HCI)の応用における重要な問題である。 キーポイントアライメントステップと指先損失を含む2次元キーポイント入力から3次元手指関節を推定するための最適化パイプラインを提案する。 我々は,EgoDexterとDexter+Objectベンチマークに対する我々のアプローチを評価し,最先端技術と競合することを示す。
  論文  参考訳（メタデータ） (2025-06-10T18:45:22Z)
• Learning Explicit Contact for Implicit Reconstruction of Hand-held Objects from Monocular Images [59.49985837246644]
  我々は,手持ちの物体を暗黙的に再構築する上で,明示的な方法で接触をモデル化する方法を示す。 まず,1つの画像から3次元手オブジェクトの接触を直接推定するサブタスクを提案する。 第2部では,ハンドメッシュ面から近傍の3次元空間へ推定された接触状態を拡散する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-05-31T17:59:26Z)
• ARCTIC: A Dataset for Dexterous Bimanual Hand-Object Manipulation [68.80339307258835]
  ARCTICは、オブジェクトを巧みに操作する両手のデータセットである。 正確な3Dハンドメッシュと、詳細でダイナミックな接触情報を組み合わせた2.1Mビデオフレームを含んでいる。
  論文  参考訳（メタデータ） (2022-04-28T17:23:59Z)
• SO-Pose: Exploiting Self-Occlusion for Direct 6D Pose Estimation [98.83762558394345]
  SO-Poseは、オブジェクトの6自由度(6DoF)をすべて、単一のRGBイメージから散らばった環境でポーズさせるフレームワークである。 本稿では,3次元オブジェクトの2層表現を確立するために,自己閉塞に関する新たな推論を導入する。 対応性,自己閉塞性,6次元ポーズを整列する層間合成により,精度とロバスト性をさらに向上させることができる。
  論文  参考訳（メタデータ） (2021-08-18T19:49:29Z)
• HandsFormer: Keypoint Transformer for Monocular 3D Pose Estimation ofHands and Object in Interaction [33.661745138578596]
  単色画像からの密接な相互作用で両手の3次元ポーズを推定する頑健で正確な手法を提案する。 本手法は, 両手関節の電位2d位置をヒートマップの極値として抽出することから始まる。 これらの位置の外観と空間エンコーディングを変圧器への入力として使用し、注意メカニズムを利用して関節の正しい構成を整理します。
  論文  参考訳（メタデータ） (2021-04-29T20:19:20Z)
• Reconstructing Hand-Object Interactions in the Wild [71.16013096764046]
  直接3D監視を必要としない最適化手法を提案する。 利用可能なすべての関連データ(2Dバウンディングボックス、2Dハンドキーポイント、2Dインスタンスマスク、3Dオブジェクトモデル、3DインザラボMoCap)を利用して、3D再構築の制約を提供します。 本手法はEPIC Kitchens と 100 Days of Hands のデータセットから, 難易度の高いデータに対して, 説得力のある再構築を行う。
  論文  参考訳（メタデータ） (2020-12-17T18:59:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。