論文の概要: Monocular 3D Hand Mesh Recovery via Dual Noise Estimation
- arxiv url: http://arxiv.org/abs/2312.15916v1
- Date: Tue, 26 Dec 2023 07:21:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-27 15:45:58.597482
- Title: Monocular 3D Hand Mesh Recovery via Dual Noise Estimation
- Title(参考訳): デュアルノイズ推定による単眼3Dハンドメッシュの復元
- Authors: Hanhui Li, Xiaojian Lin, Xuan Huang, Zejun Yang, Zhisheng Wang,
Xiaodan Liang
- Abstract要約: 画像によく整合したメッシュを生成するための二重雑音推定手法を提案する。
提案手法は,大規模なInterhand2.6Mデータセット上での最先端性能を実現する。
- 参考スコア(独自算出の注目度): 47.82179706128616
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Current parametric models have made notable progress in 3D hand pose and
shape estimation. However, due to the fixed hand topology and complex hand
poses, current models are hard to generate meshes that are aligned with the
image well. To tackle this issue, we introduce a dual noise estimation method
in this paper. Given a single-view image as input, we first adopt a baseline
parametric regressor to obtain the coarse hand meshes. We assume the mesh
vertices and their image-plane projections are noisy, and can be associated in
a unified probabilistic model. We then learn the distributions of noise to
refine mesh vertices and their projections. The refined vertices are further
utilized to refine camera parameters in a closed-form manner. Consequently, our
method obtains well-aligned and high-quality 3D hand meshes. Extensive
experiments on the large-scale Interhand2.6M dataset demonstrate that the
proposed method not only improves the performance of its baseline by more than
10$\%$ but also achieves state-of-the-art performance. Project page:
\url{https://github.com/hanhuili/DNE4Hand}.
- Abstract(参考訳): 現在のパラメトリックモデルは、3Dハンドポーズと形状推定において顕著な進歩を遂げている。
しかし、固定手位相と複雑な手ポーズのため、現在のモデルは画像によく整合したメッシュを生成することは困難である。
本稿では,この問題に対処するため,二重雑音推定手法を提案する。
入力として単一ビュー画像が与えられると、まずベースラインパラメトリック回帰器を用いて粗い手メッシュを得る。
メッシュ頂点とその画像平面投影はノイズが多いと仮定し、統一確率モデルに関連付けることができる。
次にノイズの分布を学習し、メッシュ頂点とその投影を洗練する。
さらに、精巧な頂点を用いて、カメラパラメータをクローズド形式で精製する。
そこで本手法は,高品質な3Dハンドメッシュを実現する。
大規模Interhand2.6Mデータセットの大規模な実験により、提案手法はベースラインの性能を10$\%以上向上するだけでなく、最先端のパフォーマンスも達成することを示した。
プロジェクトページ: \url{https://github.com/hanhuili/DNE4Hand}。
関連論文リスト
- Decaf: Monocular Deformation Capture for Face and Hand Interactions [77.75726740605748]
本稿では,単眼のRGBビデオから人間の顔と対話する人間の手を3Dで追跡する手法を提案する。
動作中の非剛性面の変形を誘発する定形物体として手をモデル化する。
本手法は,マーカーレスマルチビューカメラシステムで取得した現実的な顔変形を伴う手動・インタラクションキャプチャーデータセットに頼っている。
論文 参考訳(メタデータ) (2023-09-28T17:59:51Z) - Metric3D: Towards Zero-shot Metric 3D Prediction from A Single Image [85.91935485902708]
ゼロショット単視距離深度モデルの鍵は、大規模データトレーニングと様々なカメラモデルからの距離あいまいさの解消の組合せにあることを示す。
本稿では,あいまいさ問題に明示的に対処し,既存の単分子モデルにシームレスに接続可能な標準カメラ空間変換モジュールを提案する。
本手法は, ランダムに収集したインターネット画像上での計測3次元構造の正確な復元を可能にする。
論文 参考訳(メタデータ) (2023-07-20T16:14:23Z) - Sampling is Matter: Point-guided 3D Human Mesh Reconstruction [0.0]
本稿では,1枚のRGB画像から3次元メッシュ再構成を行うための簡易かつ強力な手法を提案する。
評価実験の結果,提案手法は3次元メッシュ再構成の性能を効率よく向上することが示された。
論文 参考訳(メタデータ) (2023-04-19T08:45:26Z) - MeshDiffusion: Score-based Generative 3D Mesh Modeling [68.40770889259143]
本研究では,シーンの自動生成と物理シミュレーションのための現実的な3次元形状生成の課題について考察する。
メッシュのグラフ構造を利用して、3Dメッシュを生成するのにシンプルだが非常に効果的な生成モデリング手法を用いる。
具体的には、変形可能な四面体格子でメッシュを表現し、この直接パラメトリゼーション上で拡散モデルを訓練する。
論文 参考訳(メタデータ) (2023-03-14T17:59:01Z) - HandVoxNet++: 3D Hand Shape and Pose Estimation using Voxel-Based Neural
Networks [71.09275975580009]
HandVoxNet++は、完全に教師された方法でトレーニングされた3Dおよびグラフ畳み込みを備えた、ボクセルベースのディープネットワークである。
HandVoxNet++は2つの手形状表現に依存している。1つは手形状の3Dボキセル化グリッドで、メッシュトポロジを保存していない。
我々は、新しいニューラルグラフ畳み込みに基づくメッシュレジストレーション(GCN-MeshReg)または古典的セグメントワイド非リジッド重力法(NRGA++)と、手表面をボキセル化ハンド形状に整列させることにより、両表現の利点を組み合わせる。
論文 参考訳(メタデータ) (2021-07-02T17:59:54Z) - Im2Mesh GAN: Accurate 3D Hand Mesh Recovery from a Single RGB Image [31.371190180801452]
入力画像から直接ハンドメッシュを学習できることが示される。
我々は、エンドツーエンドの学習を通してメッシュを学習するための新しいタイプのGANIm2Mesh GANを提案する。
論文 参考訳(メタデータ) (2021-01-27T07:38:01Z) - MVHM: A Large-Scale Multi-View Hand Mesh Benchmark for Accurate 3D Hand
Pose Estimation [32.12879364117658]
1枚のRGB画像から3Dハンドポーズを推定することは困難である。
我々は、任意のターゲットメッシュ基底真理に一致する剛性メッシュモデルを可能にするスピンマッチングアルゴリズムを設計する。
提案手法は,提案するデータセットを用いて手ポーズ推定器の訓練が性能を大幅に向上させることを示す。
論文 参考訳(メタデータ) (2020-12-06T07:55:08Z) - Shape from Projections via Differentiable Forward Projector for Computed
Tomography [4.304380400377787]
本稿では,3次元メッシュのフォワードモデルと最適化のギャップを埋める3次元メッシュの微分可能フォワードモデルを提案する。
提案した前方モデルを用いて,プロジェクションから直接3次元形状を再構成する。
単目的問題に対する実験結果から,提案手法はノイズシミュレーションデータ上で従来のボクセル法よりも優れていることがわかった。
論文 参考訳(メタデータ) (2020-06-29T15:33:30Z) - HandVoxNet: Deep Voxel-Based Network for 3D Hand Shape and Pose
Estimation from a Single Depth Map [72.93634777578336]
弱教師付き方式で3次元畳み込みを訓練した新しいアーキテクチャを提案する。
提案されたアプローチは、SynHand5Mデータセット上で、アートの状態を47.8%改善する。
我々の手法は、NYUとBigHand2.2Mデータセットで視覚的により合理的で現実的な手形を生成する。
論文 参考訳(メタデータ) (2020-04-03T14:27:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。