論文の概要: EgoPHI: Estimating Contact and Force from Egocentric Vision

• arxiv url: http://arxiv.org/abs/2608.13014v1
• Date: Thu, 13 Aug 2026 09:34:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-14 18:29:38.464978
• Title: EgoPHI: Estimating Contact and Force from Egocentric Vision
• Title（参考訳）: EgoPHI:Egocentric Visionからコンタクトとフォースを推定する
• Abstract要約: EgoPHIは、手と物体のメッシュ上に密接な接触マップと3次元力分布を共同で推定する最初の方法である。 画像空間や平面的な設定を超えて、視覚に基づく力の推定を拡張する。 以上の結果から,EgoPHIはシミュレーション,アウト・オブ・ディストリビューション,実世界設定において有意義な3次元接触および力分布を復元することを示した。
• 参考スコア（独自算出の注目度）: 22.537665389320313
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding hand-object interaction from egocentric vision is essential for modeling how people physically engage with the surrounding world. Yet reasoning about physically grounded interaction requires estimating the forces acting on hands and objects, beyond localizing contact. We present EgoPHI, the first method that jointly estimates dense contact maps and 3D force distributions on hand and object meshes from a single monocular RGB image and object geometry. To address the lack of scalable ground-truth force annotations, we introduce a physics-based simulation pipeline that augments existing hand-object datasets with dense per-vertex force supervision. EgoPHI then learns dense 3D contact and force on interacting hand and articulated object meshes, extending vision-based force estimation beyond image-space or planar settings. Our evaluation on in-distribution and out-of-distribution benchmarks shows that EgoPHI improves force estimation over existing approaches while generalizing to unseen datasets. To evaluate sim-to-real transfer, we constructed two physical objects that capture dense object contact and force magnitude and used them to record a dataset of interactions from eight participants across diverse touch and grasp types. Our results demonstrate that EgoPHI recovers meaningful 3D contact and force distributions in simulated, out-of-distribution, and real-world settings, advancing egocentric hand-object understanding from contact localization toward physically grounded interaction reasoning.
• Abstract（参考訳）: 自我中心の視覚から手と物体の相互作用を理解することは、人々が周囲の世界と物理的な関わり方をモデル化するのに不可欠である。 しかし、物理的に接地された相互作用を推論するには、接触を局所化する以外に、手や物体に作用する力を推定する必要がある。 単眼のRGB画像と物体形状から手と物体のメッシュ上に密接な接触マップと3次元力分布を共同で推定する最初の方法であるEgoPHIを提案する。 拡張性のある地動力アノテーションの欠如に対処するために,既存の手動オブジェクトデータセットを高密度な頂点間力監視で強化する物理ベースのシミュレーションパイプラインを導入する。 次に、EgoPHIは密集した3D接触と、手と手話による物体メッシュの相互作用の力を学び、画像空間や平面設定を超えて視覚に基づく力の推定を拡張する。 分布内および分布外ベンチマークの評価は、EgoPHIが既存のアプローチよりも力推定を改善し、未知のデータセットに一般化していることを示している。 そこで本研究では,密接な物体接触と力の大きさを捉えた2つの物理オブジェクトを構築し,多種多様なタッチ・グリップの8人の参加者のインタラクションのデータセットを作成した。 以上の結果から,EgoPHIは3次元接触と力の分布をシミュレーション・アウト・オブ・ディストリビューション・実世界のセッティングで再現し,接触位置からの自我中心的手対象理解を物理的に基礎とした相互作用推論へと進めることを示した。

関連論文リスト

• EgoTactile: Learning Grasp Pressure for Everyday Objects from Egocentric Video [82.13376072770363]
  没入型VRとロボット操作には、エゴセントリックビデオからのフルハンドグリッププレッシャーの推定が不可欠だ。 EgoTactileは、さまざまな日常オブジェクトに対するフルハンドプレッシャー監視を備えた、エゴセントリックなビデオのベンチマークである。 EgoPressureDiffは、大規模に訓練されたビデオ拡散バックボーンに適応する条件付き拡散フレームワークである。
  論文  参考訳（メタデータ） (2026-06-08T09:20:03Z)
• EgoInteract: Synthetic Egocentric Videos Generation for Interaction Understanding and Anticipation [45.01838097419948]
  微細なエゴセントリックな相互作用とその時間的ダイナミクスをモデル化するための,エゴセントリックなビデオ生成のための制御可能なシミュレータを提案する。 我々は,時間的動作のセグメンテーション,次のアクティブ物体検出,相互作用予測,手動物体の相互作用検出のための高密度な空間的および時間的アノテーションを備えた合成エゴセントリックビデオデータセットを生成する。 その結果、タスクとデータセット間の強いベースラインよりも一貫した改善が示され、シミュレーションベースのアプローチの有効性と転送性を示している。
  論文  参考訳（メタデータ） (2026-05-18T10:58:56Z)
• Physically Grounded 3D Generative Reconstruction under Hand Occlusion using Proprioception and Multi-Contact Touch [3.926587614210279]
  そこで本研究では, メカニカル・アモーダル・オブジェクト再構成とポーズ推定のためのマルチモーダル・物理的手法を提案する。 我々は物理的相互作用信号を利用する: プロリオセプションは、ポーズされたハンドジオメトリと、対象表面が横たわらなければならないマルチコンタクトタッチ制約を提供する。
  論文  参考訳（メタデータ） (2026-04-10T08:32:51Z)
• FEEL (Force-Enhanced Egocentric Learning): A Dataset for Physical Action Understanding [16.232514691223596]
  我々は,egocentric videoを用いた最初の大規模データセットペアリング力測定であるFEEL(Force-Enhanced Egocentric Learning)を紹介する。 FEELには、キッチン環境で自然に記述されていない操作を行う、約300万の強制同期フレームが含まれている。 FEELを2種類のタスクに適用することにより,身体行動理解のための力の有用性を実証する。
  論文  参考訳（メタデータ） (2026-03-16T19:29:04Z)
• Egocentric World Model for Photorealistic Hand-Object Interaction Synthesis [25.153233500074194]
  EgoHOIは、このショートカットから分離したエゴセントリックなHOIワールドモデルであり、アクション信号のみからの光リアルで接触一貫性のある相互作用をシミュレートする。 エゴホイは幾何学的およびキネマティックな先駆体を3次元推定から物理インフォームド埋め込みに蒸留する。 HOT3Dデータセットの実験では、強いベースラインよりも一貫したゲインを示し、設計の有効性を検証する。
  論文  参考訳（メタデータ） (2026-03-13T21:46:17Z)
• CoopDiff: Anticipating 3D Human-object Interactions via Contact-consistent Decoupled Diffusion [62.93198247045824]
  3Dヒューマンオブジェクトインタラクション(HOI)は,人間の将来の動きとその操作対象を,歴史的文脈で予測することを目的としている。 そこで我々は,人間と物体の運動モデリングを分離するために,2つの異なる分岐を用いた接触非結合拡散フレームワークCoopDiffを提案する。
  論文  参考訳（メタデータ） (2025-08-10T03:29:17Z)
• SIGHT: Synthesizing Image-Text Conditioned and Geometry-Guided 3D Hand-Object Trajectories [124.24041272390954]
  手動物体の相互作用をモデル化することは、ロボットと具体化されたAIシステムを前進させる大きな可能性を秘めている。 SIGHTは、1つの画像から現実的で物理的に妥当な3Dハンドオブジェクトインタラクショントラジェクトリを生成することに焦点を当てた,新しいタスクである。 SIGHT-Fusionは,データベースから最もよく似た3Dオブジェクトメッシュを抽出し,この課題に対処する,新しい拡散型画像文条件付き生成モデルを提案する。
  論文  参考訳（メタデータ） (2025-03-28T20:53:20Z)
• Benchmarks and Challenges in Pose Estimation for Egocentric Hand Interactions with Objects [89.95728475983263]
  ロボティクス、AR/VR、アクション認識、モーション生成といったタスクにおいて、自己中心的な視点からこのようなインタラクションを理解することが重要である。 我々は、AmblyHandsとARCTICデータセットに基づいたHANDS23チャレンジを、慎重に設計されたトレーニングとテストの分割に基づいて設計する。 提案手法の結果と近年のリーダーボードのベースラインに基づいて,3Dハンド(オブジェクト)再構成タスクの徹底的な解析を行う。
  論文  参考訳（メタデータ） (2024-03-25T05:12:21Z)
• Full-Body Articulated Human-Object Interaction [61.01135739641217]
  CHAIRSは16.2時間の多目的相互作用からなる大規模な動きキャプチャーされたf-AHOIデータセットである。 CHAIRSは、対話的なプロセス全体を通して、人間と明瞭なオブジェクトの両方の3Dメッシュを提供する。 HOIにおける幾何学的関係を学習することにより,人間のポーズ推定を利用した最初のモデルが考案された。
  論文  参考訳（メタデータ） (2022-12-20T19:50:54Z)
• TRiPOD: Human Trajectory and Pose Dynamics Forecasting in the Wild [77.59069361196404]
  TRiPODは、グラフの注目ネットワークに基づいて身体のダイナミクスを予測する新しい方法です。 実世界の課題を取り入れるために,各フレームで推定された身体関節が可視・視認可能かどうかを示す指標を学習する。 評価の結果,TRiPODは,各軌道に特化して設計され,予測タスクに特化している。
  論文  参考訳（メタデータ） (2021-04-08T20:01:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。