論文の概要: EventEgoHands++: Event-based Egocentric 3D Hand Mesh Reconstruction with Real Dataset

• arxiv url: http://arxiv.org/abs/2609.17189v1
• Date: Tue, 15 Sep 2026 13:46:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 14:56:08.548715
• Title: EventEgoHands++: Event-based Egocentric 3D Hand Mesh Reconstruction with Real Dataset
• Title（参考訳）: EventEgoHands++: 実データを用いたイベントベースのEgocentric 3Dハンドメッシュ再構築
• Abstract要約: イベントベースの3Dハンドメッシュ再構築のための枠組みを,エゴセントリックな視点から提案する。 提案手法は,左手と右手の両方に対して,インスタンスレベルのバウンディングボックスとマスクを推定するハンドディテクタを組み込んだ。 また,これらの検出結果に基づいて注意を動的にゲートするアダプティブアテンションも導入する。
• 参考スコア（独自算出の注目度）: 3.8731899020772165
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: 3D hand mesh reconstruction is a challenging yet essential task for downstream applications, including human-robot interaction and AR/VR. Although conventional cameras have been widely adopted for this task, methods that rely on them struggle in low-light environments and under severe motion blur. To address these limitations, event-based cameras have recently attracted attention for their high dynamic range and high temporal resolution. However, applying event cameras to egocentric hand reconstruction remains challenging because camera wearer's motion produces dense background events that obscure hand-specific signals. Although the first egocentric event-based approach mitigates this issue using hand segmentation, its binary hand mask does not distinguish between left and right hands. As a result, the model lacks instance-level hand information and predicts both hands even when only one or neither hand is present. This limitation leads to incorrect inter-hand relationships and degraded reconstruction accuracy. In this paper, we propose EventEgoHands++, a framework for event-based 3D hand mesh reconstruction from an egocentric viewpoint. The proposed method incorporates a Hand Detector that estimates instance-level bounding boxes and masks for both the left and right hands. Moreover, we introduce Adaptive Attention, which dynamically gates the attention based on these detection results to accurately learn the spatial relationship and mutual interactions between the hands. To train and evaluate our framework, we extend the synthetic N-HOT3D dataset and newly construct EEH-R, the largest real-world event-based egocentric hand dataset to date, comprising approximately 1M annotated frames captured in environments including low-light conditions. Extensive experiments on both synthetic and real datasets demonstrate that our method consistently outperforms the baselines.
• Abstract（参考訳）: 3Dハンドメッシュの再構築は、人間とロボットのインタラクションやAR/VRなど、下流アプリケーションにとって困難な作業である。 この作業には従来のカメラが広く採用されているが、それらに依存する手法は低照度環境と激しい動きのぼかしに苦しむ。 これらの制約に対処するため、イベントベースのカメラは、その高ダイナミックレンジと高時間分解能に注目されている。 しかし、カメラ装着者の動きは、手固有の信号が見えないような濃密な背景イベントを発生させるため、イベントカメラを自我中心の手の再建に適用することは依然として困難である。 最初の自我中心のイベントベースアプローチは、手分割を用いてこの問題を緩和するが、その二元手マスクは左手と右手を区別しない。 結果として、モデルにはインスタンスレベルの手の情報がなく、片手しか存在しない場合でも両手を予測できる。 この制限は、不正な相互関係と復元の精度を低下させる。 本稿では,イベントベースの3Dハンドメッシュ再構築フレームワークであるEventEgoHands++を提案する。 提案手法では,左手と右手の両方に対して,インスタンスレベルのバウンディングボックスとマスクを推定するハンドディテクタが組み込まれている。 さらに,これらの検出結果に基づいて注意を動的にゲートする適応的注意(Adaptive Attention)を導入し,手間の空間的関係と相互相互作用を正確に学習する。 我々のフレームワークをトレーニングし評価するために、合成N-HOT3Dデータセットを拡張し、現在までに世界最大のイベントベースエゴセントリックハンドデータセットであるEEH-Rを新たに構築する。 合成データセットと実データセットの両方に対する大規模な実験により、我々の手法がベースラインを一貫して上回ることを示した。

関連論文リスト

• HandsOnWorld: Unconstrained Egocentric Video Generation with Camera-Disentangled Hand Control [51.913695868638634]
  We present HandsOnWorld, a framework for hand-control egocentric video generation that for multi-view and marker-based motion capture, learning from unconstrained monocular video。 EgoVid-Proは、クリーンでプロタゴニストのみのハンドトラジェクトリのデータセットで、103Kのクリップと、さまざまな日常シーンの約1200万フレームにまたがる。 また, カメラから手表面への3次元光線表現, カメラと手の動きを表現レベルで切り離す3次元ハンドマップを提案する。
  論文  参考訳（メタデータ） (2026-07-02T12:14:02Z)
• EgoEV-HandPose: Egocentric 3D Hand Pose Estimation and Gesture Recognition with Stereo Event Cameras [27.55657128726312]
  EgoEV-HandPoseはステレオイベントストリームからの2次元ポーズ推定とジェスチャー認識のためのエンドツーエンドフレームワークである。 EgoEVHandsは、エゴセントリックな手認識のための、最初の大規模な現実世界のステレオイベントカメラデータセットである。
  論文  参考訳（メタデータ） (2026-05-12T15:51:04Z)
• EventEgoHands: Event-based Egocentric 3D Hand Mesh Reconstruction [2.3695551082138864]
  3Dハンドメッシュの再構築は難しいが、人間とコンピュータのインタラクションとAR/VRアプリケーションにとって重要な課題である。 本研究では,イベントベースの手メッシュ再構築手法であるEventEgoHandsを提案する。 本手法では,ハンド領域を抽出し,動的バックグラウンドイベントの影響を効果的に緩和するハンドモジュールを提案する。
  論文  参考訳（メタデータ） (2025-05-25T14:36:51Z)
• Benchmarks and Challenges in Pose Estimation for Egocentric Hand Interactions with Objects [89.95728475983263]
  ロボティクス、AR/VR、アクション認識、モーション生成といったタスクにおいて、自己中心的な視点からこのようなインタラクションを理解することが重要である。 我々は、AmblyHandsとARCTICデータセットに基づいたHANDS23チャレンジを、慎重に設計されたトレーニングとテストの分割に基づいて設計する。 提案手法の結果と近年のリーダーボードのベースラインに基づいて,3Dハンド(オブジェクト)再構成タスクの徹底的な解析を行う。
  論文  参考訳（メタデータ） (2024-03-25T05:12:21Z)
• 3D Pose Estimation of Two Interacting Hands from a Monocular Event Camera [59.846927201816776]
  本稿では,1つの単眼イベントカメラから手の動きの速い2つの手の動きを3次元追跡するための最初のフレームワークを紹介する。 本手法は, 半教師付き機能的注意機構により, 左手のあいまいさに対処し, 交差点の損失を補足して手衝突を解消する。
  論文  参考訳（メタデータ） (2023-12-21T18:59:57Z)
• SHOWMe: Benchmarking Object-agnostic Hand-Object 3D Reconstruction [13.417086460511696]
  96本の動画からなるSHOWMeデータセットについて,実物と詳細な3Dテクスチャメッシュで注釈付けした。 我々は、手の動きがビデオシーケンス全体を通して一定である厳密な手オブジェクトのシナリオを考察する。 この仮定により、SHOWMeの画像シーケンスにサブミリメートル精度の基底3Dスキャンを登録できる。
  論文  参考訳（メタデータ） (2023-09-19T16:48:29Z)
• EvHandPose: Event-based 3D Hand Pose Estimation with Sparse Supervision [50.060055525889915]
  イベントカメラは3次元ポーズ推定において大きな可能性を示し、特に低消費電力で高速な動きと高ダイナミックレンジの課題に対処する。 特に手が動かない場合に手の動き情報をエンコードするイベント表現を設計することは困難である。 本稿では,手振り推定のためのイベント・ツー・Poseモジュールにおける新しい手振り表現を用いたEvHandPoseを提案する。
  論文  参考訳（メタデータ） (2023-03-06T03:27:17Z)
• 3D Interacting Hand Pose Estimation by Hand De-occlusion and Removal [85.30756038989057]
  単一のRGB画像から3Dインタラクションハンドポーズを推定することは、人間の行動を理解するのに不可欠である。 本稿では,難易度の高い手ポーズ推定タスクを分解し,各手のポーズを別々に推定することを提案する。 実験の結果,提案手法は従来の手ポーズ推定手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2022-07-22T13:04:06Z)
• Monocular 3D Reconstruction of Interacting Hands via Collision-Aware Factorized Refinements [96.40125818594952]
  単眼のRGB画像から3Dインタラクションハンドを再構築する試みを初めて行った。 提案手法では, 高精度な3次元ポーズと最小の衝突で3次元ハンドメッシュを生成することができる。
  論文  参考訳（メタデータ） (2021-11-01T08:24:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。