論文の概要: EgoHSI3R: Online 4D Hand-Scene Interaction Reconstruction from Egocentric Video

• arxiv url: http://arxiv.org/abs/2610.40832v1
• Date: Thu, 29 Oct 2026 18:14:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.467343
• Title: EgoHSI3R: Online 4D Hand-Scene Interaction Reconstruction from Egocentric Video
• Title（参考訳）: EgoHSI3R: Egocentric Videoによるオンライン4Dハンドシーンインタラクション再構築
• Abstract要約: EgoHSI3Rは、エゴセントリックなモノクロビデオからのオンライン4Dハンドシーンインタラクション再構築のための統合フィードフォワードフレームワークである。 我々は,事前訓練された手と局所的なシーンコンテキストを融合させる手中心のプロンプトを導入し,MANOクエリはシーンの特徴に対応して,頂点ごとの密接な接触を予測する。 EgoHSI3Rは、因果的に動作しているにもかかわらず、評価手法の中でARCTIC上の世界空間ハンドジョイントエラーが最も低い。
• 参考スコア（独自算出の注目度）: 7.252318872576381
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Egocentric videos offer an abundant source of hand-scene interactions for embodied learning, which requires recovering hands, camera, and scene consistently in a shared 3D world. Existing methods focus on either camera-frame hands or world-space hand trajectories, without jointly recovering the scene pointmaps or interaction information. Building a complete reconstruction from such specialized predictions therefore typically requires per-sequence optimization. We propose EgoHSI3R, a unified feed-forward framework for online 4D hand-scene interaction reconstruction from egocentric monocular video. To jointly recover these components, it maintains a recurrent scene representation that accumulates geometric evidence over time and provides a shared world space and scale. We introduce hand-centric prompts that fuse pretrained hand priors and local scene context, while MANO vertex queries attend to scene features to predict dense per-vertex contact. These designs enable a single network to jointly estimate camera motion, dense scene geometry, world-space bilateral MANO hands, and per-vertex hand contact. Despite operating causally, EgoHSI3R achieves the lowest world-space hand joint error on ARCTIC among the evaluated methods, while offering faster inference than existing world-space hand reconstruction pipelines and competitive camera and scene reconstruction accuracy.
• Abstract（参考訳）: エゴセントリックなビデオは、エンボディード・ラーニングのための手とシーンのインタラクションの豊富な源泉を提供し、共有された3Dの世界において、手、カメラ、シーンの回復を一貫して必要とします。 既存の方法は、シーンのポイントマップやインタラクション情報を共同で復元することなく、カメラフレームまたは世界空間のハンドトラジェクトリにフォーカスする。 このような特別な予測から完全な再構築を構築するには、典型的にはシーケンスごとの最適化が必要である。 EgoHSI3Rは,エゴセントリックなモノクロビデオからのオンライン4Dハンドシーンインタラクション再構築のための統合フィードフォワードフレームワークである。 これらの部品を共同で回収するために、時間とともに幾何学的証拠を蓄積し、共有の世界空間と規模を提供する再帰的なシーン表現を維持している。 一方,MANO vertex クエリはシーンの特徴に付随し,濃密な頂点間接触を予測する。 これらの設計により、単一のネットワークが共同でカメラの動き、密集したシーン形状、世界空間のMANOハンド、頂点ごとの手接触を推定できる。 EgoHSI3Rは、因果的に運用されているにもかかわらず、評価手法の中でARCTIC上の世界空間ハンドジョイントエラーが最も低く、既存の世界空間ハンド再構築パイプラインや競合カメラやシーン再構築の精度よりも高速な推論を提供する。

関連論文リスト

• InfiniHand: Streaming World-Space Hand Motion Estimation from Egocentric Video [56.69937268636807]
  自我中心手の動き推定のためのエンドツーエンドストリーミングフィードフォワードフレームワークを提案する。 InfiniHandは、永続メモリと手中心の視覚的特徴を統合し、カメラモーションとローカルハンドジオメトリを明示的に結合する。 InfiniHandは、Wildビデオにしっかりと一般化し、11.19 FPSで動作し、HaWoRの2倍以上のスループットを提供する。
  論文  参考訳（メタデータ） (2026-09-28T17:54:32Z)
• EventEgoHands++: Event-based Egocentric 3D Hand Mesh Reconstruction with Real Dataset [3.8731899020772165]
  イベントベースの3Dハンドメッシュ再構築のための枠組みを,エゴセントリックな視点から提案する。 提案手法は,左手と右手の両方に対して,インスタンスレベルのバウンディングボックスとマスクを推定するハンドディテクタを組み込んだ。 また,これらの検出結果に基づいて注意を動的にゲートするアダプティブアテンションも導入する。
  論文  参考訳（メタデータ） (2026-09-15T13:46:02Z)
• Hand3R: Online 4D Hand-Scene Reconstruction in the Wild [20.72888064955241]
  Hand3Rは、モノクロビデオから4Dハンドシーンを再構築する最初のオンラインフレームワークである。 提案手法は, 高忠実度ハンドプレッシャを永続的なシーンメモリに注入することにより, 精度の高いハンドメッシュと高密度なメートルスケールシーン形状の同時再構成を可能にする。
  論文  参考訳（メタデータ） (2026-02-03T07:13:01Z)
• Dyn-HaMR: Recovering 4D Interacting Hand Motion from a Dynamic Camera [49.82535393220003]
  Dyn-HaMRは、野生のダイナミックカメラで撮影されたモノクロビデオから4Dグローバルハンドモーションを再構築する最初のアプローチである。 提案手法は,4次元メッシュ・リカバリにおいて最先端の手法を著しく上回ることを示す。 これにより、動くカメラでモノクロビデオから手の動きを復元するための新しいベンチマークが確立される。
  論文  参考訳（メタデータ） (2024-12-17T12:43:10Z)
• Self-Supervised Monocular 4D Scene Reconstruction for Egocentric Videos [25.41337525728398]
  EgoMono4Dは、Egocentric Monocular 4D再構成に必要な複数の変数を統一する新しいモデルである。 全てのベースラインと比較して高密度の点雲列再構成において優れた性能を発揮する。
  論文  参考訳（メタデータ） (2024-11-14T02:57:11Z)
• Benchmarks and Challenges in Pose Estimation for Egocentric Hand Interactions with Objects [89.95728475983263]
  ロボティクス、AR/VR、アクション認識、モーション生成といったタスクにおいて、自己中心的な視点からこのようなインタラクションを理解することが重要である。 我々は、AmblyHandsとARCTICデータセットに基づいたHANDS23チャレンジを、慎重に設計されたトレーニングとテストの分割に基づいて設計する。 提案手法の結果と近年のリーダーボードのベースラインに基づいて,3Dハンド(オブジェクト)再構成タスクの徹底的な解析を行う。
  論文  参考訳（メタデータ） (2024-03-25T05:12:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。