論文の概要: ESTHER: Egocentric Stereo Hand Estimation and Reconstruction in the Wild

• arxiv url: http://arxiv.org/abs/2609.34817v1
• Date: Mon, 28 Sep 2026 10:17:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 02:37:34.838216
• Title: ESTHER: Egocentric Stereo Hand Estimation and Reconstruction in the Wild
• Title（参考訳）: ESTHER: 野生におけるエゴセントリックステレオハンドの推定と再構築
• Abstract要約: 本稿では,立体幾何学,時間的推論,出力表現がウェアラブルエゴセントリックステレオ用に設計されたESTHERを提案する。 実験では、最先端のアクアラキシー、優れた外部一般化、欠落したビューに対する堅牢性、フレームの落落、そして光と動きのぼやけ極端が真の自我中心のキャプチャーであることが示された。
• 参考スコア（独自算出の注目度）: 6.173969011367869
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human dexterity is guided by two eyes watching two hands: binocular vision supplies the metric 3D structure that fine-grained manipulation consumes. Egocentric stereo is therefore the natural perceptual interface for robots, AR, and VR-yet metric 3D hand reconstruction from this very signal still has neither an end-to-end model nor an in-the-wild benchmark. We propose ESTHER, a model whose stereo geometry, temporal reasoning, and output representation are designed for wearable egocentric stereo. It is trained on pseudo-labels from a calibrated labeling pipeline and in turn assembles our benchmark ESTHER3D, an egocentric stereo hand dataset pairing a large in-the-wild training set of model-generated labels with a motion capture test set of true metric ground truth. Experiments show state-of-the-art accu?racy, superior external generalization, and robustness to the missing views, dropped frames, and lighting and motion blur extremes of real egocentric capture that break existing meth?ods. This robustness runs deeper than graceful degradation: stereo guidance teaches the model to bind apparent hand scale to metric depth, so it not only adapts to different stereo rigs and modalities with minimal fine-tuning, but more strikingly preserves true metric scale even after collapsing to a single monocular view.
• Abstract（参考訳）: 両眼の視覚は、微細な操作が消費するメートル法的な3D構造を供給します。 そのため、エゴセントリックステレオは、ロボット、AR、VR-yetの3Dハンドコンストラクションのための自然な知覚インターフェースであり、この信号から得られる3Dハンドコンストラクションは、エンド・ツー・エンドのモデルもイン・ザ・ワイルドのベンチマークも持っていない。 本稿では,立体幾何学,時間的推論,出力表現がウェアラブルエゴセントリックステレオ用に設計されたESTHERを提案する。 キャリブレーションされたラベリングパイプラインから擬似ラベルをトレーニングし、次に我々のベンチマークであるESTHER3Dを組み立てます。 実験は最先端のアクークか? レジー、優れた外部の一般化、 行方不明の景色への頑丈さ、 フレームを落として、 照らしと動きの極端が、 現実のエゴセントリックな キャプチャーを壊す? ods この頑丈さは優雅な劣化よりも深い:ステレオガイダンスは、見かけの手のスケールをメートル法的な深さに結びつけるようモデルに教えるので、異なるステレオリグやモダリティに最小限の微調整で適応するだけでなく、単一の単分子的な視点に崩壊しても真のメートル法を著しく保存する。

関連論文リスト

• MEgoVista: Multi-view Ego-aware Motion Estimation for Metric 4D Hands and Head in the Wild [13.344019536064314]
  人間のビデオからの学習操作は、メートル法単位における高忠実度手動再構成を必要とする。 MegoVistaは、未準備のMego Viewを1つの重力で並んだ世界フレームで、計2つの手と頭の動きに変換する。
  論文  参考訳（メタデータ） (2026-09-15T06:04:50Z)
• TSR-Ego: Temporally Guided Stereo Refinement Framework for Egocentric 3D Human Pose Estimation [11.399976049695212]
  頭部に装着したステレオカメラによるエゴセントリックな3Dポーズ推定は、魚眼の歪み、重度の自己閉塞、頻繁な関節切断により困難である。 TSR-Egoは,短期動作証拠と投影誘導特徴サンプリングを結合した時間誘導ステレオフレームワークである。 UnrealEgo2とUnrealEgo-RWの実験では、特に実世界のシークエンスにおいて、最先端のパフォーマンスが向上している。
  論文  参考訳（メタデータ） (2026-07-10T07:56:30Z)
• Controllable Egocentric Video Generation via Occlusion-Aware Sparse 3D Hand Joints [87.13154261503168]
  モーションコントロール可能なビデオ生成は、仮想現実と組み込みAIにおけるエゴセントリックなアプリケーションに不可欠である。 既存の手法は、しばしば3D一貫性のきめ細かい手話を実現するのに苦労する。 単一の参照フレームからエゴセントリックなビデオを生成する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-12T10:02:23Z)
• 3D Human Pose Perception from Egocentric Stereo Videos [67.9563319914377]
  我々は,エゴセントリックな立体3次元ポーズ推定を改善するためのトランスフォーマーベースの新しいフレームワークを提案する。 本手法は, しゃがんだり座ったりといった困難なシナリオにおいても, 人間のポーズを正確に推定することができる。 私たちはUnrealEgo2、UnrealEgo-RW、およびトレーニングされたモデルをプロジェクトページでリリースします。
  論文  参考訳（メタデータ） (2023-12-30T21:21:54Z)
• Bridging Stereo Geometry and BEV Representation with Reliable Mutual Interaction for Semantic Scene Completion [45.171150395915056]
  3Dセマンティックシーン補完(SSC)は、限られた観測から密集した3Dシーンを推定する必要がある不適切な認識課題である。 従来のカメラベースの手法は、固有の幾何学的曖昧さと不完全な観察のため、正確なセマンティックシーンを予測するのに苦労した。 我々は,SSCにおけるステレオマッチング技術と鳥眼ビュー(BEV)表現学習を利用して,そのような問題に対処する。
  論文  参考訳（メタデータ） (2023-03-24T12:33:44Z)
• MonStereo: When Monocular and Stereo Meet at the Tail of 3D Human Localization [89.71926844164268]
  本研究では, 単分子的および立体的両方の長所を生かした新しい統合学習フレームワークを提案する。 本手法は, 左右画像中の人間を関連づけ, (ii) 立体的環境下では隠蔽された, 遠方のケースを扱い, (iii) 単眼視射影の内在的曖昧さに対処する。
  論文  参考訳（メタデータ） (2020-08-25T09:47:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。