Fugu-MT 論文翻訳(概要): 3D Hand Pose Estimation in Everyday Egocentric Images

論文の概要: 3D Hand Pose Estimation in Everyday Egocentric Images

arxiv url: http://arxiv.org/abs/2312.06583v2
Date: Mon, 23 Sep 2024 14:32:08 GMT
ステータス: 処理完了
システム内更新日: 2024-11-09 09:16:50.231924
Title: 3D Hand Pose Estimation in Everyday Egocentric Images
Title（参考訳）: 毎日のエゴセントリック画像における3Dハンドポース推定
Authors: Aditya Prakash, Ruisen Tu, Matthew Chang, Saurabh Gupta,
Abstract要約: 我々は、視線歪みと野生における3Dアノテーションの欠如から生じる課題に焦点を当てる。日常の自我中心画像における3次元手ポーズ推定システムWildHandsを提案する。
参考スコア（独自算出の注目度）: 12.964086079352262
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: 3D hand pose estimation in everyday egocentric images is challenging for several reasons: poor visual signal (occlusion from the object of interaction, low resolution & motion blur), large perspective distortion (hands are close to the camera), and lack of 3D annotations outside of controlled settings. While existing methods often use hand crops as input to focus on fine-grained visual information to deal with poor visual signal, the challenges arising from perspective distortion and lack of 3D annotations in the wild have not been systematically studied. We focus on this gap and explore the impact of different practices, i.e. crops as input, incorporating camera information, auxiliary supervision, scaling up datasets. We provide several insights that are applicable to both convolutional and transformer models leading to better performance. Based on our findings, we also present WildHands, a system for 3D hand pose estimation in everyday egocentric images. Zero-shot evaluation on 4 diverse datasets (H2O, AssemblyHands, Epic-Kitchens, Ego-Exo4D) demonstrate the effectiveness of our approach across 2D and 3D metrics, where we beat past methods by 7.4% - 66%. In system level comparisons, WildHands achieves the best 3D hand pose on ARCTIC egocentric split, outperforms FrankMocap across all metrics and HaMeR on 3 out of 6 metrics while being 10x smaller and trained on 5x less data.
Abstract（参考訳）: 日常の自我中心画像における3Dハンドポーズ推定は、視覚信号の貧弱(相互作用対象からの除外、解像度の低さと動きのぼけ)、視野の歪み(手はカメラに近い)、制御された設定外の3Dアノテーションの欠如など、いくつかの理由により困難である。既存の手法では、視覚信号の粗悪さに対処するために、細粒度の視覚情報に焦点をあてる入力として手作物を用いることが多いが、視線歪みや野生における3Dアノテーションの欠如から生じる課題は体系的に研究されていない。このギャップに注目して、入力として作物、カメラ情報の導入、補助的な監視、データセットのスケールアップなど、さまざまなプラクティスの影響を調査します。畳み込みモデルとトランスフォーマーモデルの両方に適用可能な洞察がいくつか提供され、パフォーマンスが向上します。また,本研究では,日常の自我中心画像における3次元手ポーズ推定システムであるWildHandsも紹介した。さまざまな4つのデータセット(H2O, AssemblyHands, Epic-Kitchens, Ego-Exo4D)のゼロショット評価は、2Dおよび3Dメトリクスにわたるアプローチの有効性を示します。システムレベルの比較では、WildHandsはARCTICのエゴセントリックな分割で最高の3Dポーズを達成し、すべてのメトリクスでFrankMocapを上回り、HaMeRは6つのメトリクスのうち3つで10倍小さく、5倍少ないデータでトレーニングされている。

関連論文リスト

AssemblyHands: Towards Egocentric Activity Understanding via 3D Hand Pose Estimation [26.261767086366866]
正確な3Dハンドポーズアノテーションを備えた大規模ベンチマークデータセットである AssemblyHands を提示する。 AssemblyHandsは490Kのエゴセントリックなイメージを含む3.0Mの注釈付きイメージを提供する。我々の研究は、高品質の手のポーズが、行動を認識する能力を直接的に改善することを示しています。
論文参考訳（メタデータ） (2023-04-24T17:52:57Z)
MetaPose: Fast 3D Pose from Multiple Views without 3D Supervision [72.5863451123577]
正確な3Dポーズとカメラ推定が可能なニューラルモデルをトレーニングする方法を示す。本手法は,古典的バンドル調整と弱教師付き単分子3Dベースラインの両方に優れる。
論文参考訳（メタデータ） (2021-08-10T18:39:56Z)
CanonPose: Self-Supervised Monocular 3D Human Pose Estimation in the Wild [31.334715988245748]
ラベルのないマルチビューデータから1つの画像3Dポーズ推定器を学習する自己教師型アプローチを提案する。既存のほとんどの方法とは対照的に、校正カメラは必要とせず、移動カメラから学ぶことができる。成功の鍵は、ビューとトレーニングサンプルの情報を混ぜ合わせた、新しく偏見のない再建目標である。
論文参考訳（メタデータ） (2020-11-30T10:42:27Z)
SelfPose: 3D Egocentric Pose Estimation from a Headset Mounted Camera [97.0162841635425]
頭部装着型VR装置の縁に設置した下向きの魚眼カメラから撮影した単眼画像から,エゴセントリックな3Dボディポーズ推定法を提案する。この特異な視点は、厳密な自己閉塞と視点歪みを伴う、独特の視覚的な外観のイメージに繋がる。本稿では,2次元予測の不確実性を考慮した新しいマルチブランチデコーダを用いたエンコーダデコーダアーキテクチャを提案する。
論文参考訳（メタデータ） (2020-11-02T16:18:06Z)
Exploring Severe Occlusion: Multi-Person 3D Pose Estimation with Gated Convolution [34.301501457959056]
本稿では,2次元関節を3次元に変換するために,ゲート型畳み込みモジュールを用いた時間回帰ネットワークを提案する。また, 正規化ポーズを大域軌跡に変換するために, 単純かつ効果的な局所化手法も実施した。提案手法は,最先端の2D-to-3Dポーズ推定法よりも優れている。
論文参考訳（メタデータ） (2020-10-31T04:35:24Z)
Synthetic Training for Monocular Human Mesh Recovery [100.38109761268639]
本稿では,RGB画像と大規模に異なる複数の身体部位の3次元メッシュを推定することを目的とする。主な課題は、2D画像のすべての身体部分の3Dアノテーションを完備するトレーニングデータがないことである。本稿では,D2S(Deep-to-scale)投影法を提案する。
論文参考訳（メタデータ） (2020-10-27T03:31:35Z)
MM-Hand: 3D-Aware Multi-Modal Guided Hand Generative Network for 3D Hand Pose Synthesis [81.40640219844197]
モノラルなRGB画像から3Dハンドポーズを推定することは重要だが難しい。解決策は、高精度な3D手指キーポイントアノテーションを用いた大規模RGB手指画像のトレーニングである。我々は,現実的で多様な3次元ポーズ保存ハンドイメージを合成する学習ベースアプローチを開発した。
論文参考訳（メタデータ） (2020-10-02T18:27:34Z)
Self-Supervised 3D Human Pose Estimation via Part Guided Novel Image Synthesis [72.34794624243281]
ラベルのないビデオフレームからバリエーションを分離する自己教師付き学習フレームワークを提案する。 3Dポーズと空間部分マップの表現ギャップを埋める、微分可能な形式化により、多様なカメラの動きを持つビデオで操作できる。
論文参考訳（メタデータ） (2020-04-09T07:55:01Z)
Multi-Person Absolute 3D Human Pose Estimation with Weak Depth Supervision [0.0]
弱教師付きでRGB-D画像を追加してトレーニングできるネットワークを導入する。我々のアルゴリズムは、単眼で、多人、絶対的なポーズ推定器である。アルゴリズムを複数のベンチマークで評価し,一貫した誤差率の向上を示した。
論文参考訳（メタデータ） (2020-04-08T13:29:22Z)
Measuring Generalisation to Unseen Viewpoints, Articulations, Shapes and Objects for 3D Hand Pose Estimation under Hand-Object Interaction [137.28465645405655]
HANDS'19は、現在の3Dハンドポーズ推定器(HPE)がトレーニングセットのポーズを補間し、外挿する能力を評価するための課題である。本研究では,最先端手法の精度が低下し,トレーニングセットから外れたポーズでほとんど失敗することを示す。
論文参考訳（メタデータ） (2020-03-30T19:28:13Z)
Silhouette-Net: 3D Hand Pose Estimation from Silhouettes [16.266199156878056]
既存のアプローチは主に、モノクラーRGB、マルチビューRGB、ディープ、ポイントクラウドなど、異なる入力モダリティと設定を考慮に入れている。暗黙の奥行き認識からガイダンスを自動的に学習し、エンドツーエンドのトレーニングを通じてポーズのあいまいさを解決する新しいアーキテクチャを提案する。
論文参考訳（メタデータ） (2019-12-28T10:29:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。