Fugu-MT 論文翻訳(概要): Model-based 3D Hand Reconstruction via Self-Supervised Learning

論文の概要: Model-based 3D Hand Reconstruction via Self-Supervised Learning

arxiv url: http://arxiv.org/abs/2103.11703v1
Date: Mon, 22 Mar 2021 10:12:43 GMT
ステータス: 処理完了
システム内更新日: 2021-03-23 14:28:42.499654
Title: Model-based 3D Hand Reconstruction via Self-Supervised Learning
Title（参考訳）: 自己監督学習によるモデルベース3Dハンド再構成
Authors: Yujin Chen, Zhigang Tu, Di Kang, Linchao Bao, Ying Zhang, Xuefei Zhe, Ruizhi Chen, Junsong Yuan
Abstract要約: シングルビューのRGB画像から3Dハンドを再構成することは、様々な手構成と深さのあいまいさのために困難である。ポーズ, 形状, テクスチャ, カメラ視点を共同で推定できる, 自己教師型3Dハンド再構成ネットワークであるS2HANDを提案する。初めて手動アノテーションを使わずに、正確な3D手の再構築ネットワークを訓練できることを実証しました。
参考スコア（独自算出の注目度）: 72.0817813032385
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Reconstructing a 3D hand from a single-view RGB image is challenging due to various hand configurations and depth ambiguity. To reliably reconstruct a 3D hand from a monocular image, most state-of-the-art methods heavily rely on 3D annotations at the training stage, but obtaining 3D annotations is expensive. To alleviate reliance on labeled training data, we propose S2HAND, a self-supervised 3D hand reconstruction network that can jointly estimate pose, shape, texture, and the camera viewpoint. Specifically, we obtain geometric cues from the input image through easily accessible 2D detected keypoints. To learn an accurate hand reconstruction model from these noisy geometric cues, we utilize the consistency between 2D and 3D representations and propose a set of novel losses to rationalize outputs of the neural network. For the first time, we demonstrate the feasibility of training an accurate 3D hand reconstruction network without relying on manual annotations. Our experiments show that the proposed method achieves comparable performance with recent fully-supervised methods while using fewer supervision data.
Abstract（参考訳）: シングルビューのRGB画像から3Dハンドを再構成することは、様々な手構成と深さのあいまいさのために困難である。 3dハンドを単眼画像から確実に再構築できるようにするため、ほとんどの最新手法は訓練段階では3dアノテーションを重用するが、3dアノテーションの取得は高価である。ラベル付きトレーニングデータへの依存を軽減するために,ポーズ,形状,テクスチャ,カメラ視点を共同で推定できる,自己監督型3Dハンド再構成ネットワークであるS2HANDを提案する。具体的には、2次元検出されたキーポイントから入力画像から幾何学的手がかりを得る。これらのノイズから正確なハンドリコンストラクションモデルを学ぶために,2次元表現と3次元表現の一貫性を活用し,ニューラルネットワークの出力を合理化する新たな損失セットを提案する。手動アノテーションを使わずに正確な3次元ハンドリコンストラクションネットワークをトレーニングできることを初めて実証した。提案手法は,近年の完全教師付き手法と同等の性能を示しながら,より少ない監督データを用いた。

関連論文リスト

HandNeRF: Learning to Reconstruct Hand-Object Interaction Scene from a Single RGB Image [41.580285338167315]
本稿では,1枚のRGB画像から3次元手オブジェクトシーンを再構成する前に,手オブジェクト間のインタラクションを学習する方法を提案する。我々は手形状を用いて手と物体形状の相対的な構成を制約する。そこで,HandNeRFは,手動による新たなグリップ構成のシーンを,同等の手法よりも高精度に再構築可能であることを示す。
論文参考訳（メタデータ） (2023-09-14T17:42:08Z)
Farm3D: Learning Articulated 3D Animals by Distilling 2D Diffusion [67.71624118802411]
本稿では,カテゴリー固有の3D再構成器の学習方法であるFarm3Dについて述べる。本稿では,Stable Diffusion などの画像生成装置を用いて,合成学習データを生成するフレームワークを提案する。我々のネットワークは、単分子再構成や合成などの分析に利用でき、ビデオゲームのようなリアルタイムアプリケーションのための音響資産を生成することができる。
論文参考訳（メタデータ） (2023-04-20T17:59:34Z)
Consistent 3D Hand Reconstruction in Video via self-supervised Learning [67.55449194046996]
本稿では,モノクロ映像から高精度で一貫した3Dハンドを再構築する手法を提案する。検出された2次元手指キーポイントと画像テクスチャは、3次元手の形状とテクスチャに関する重要な手がかりを提供する。自己監督型3Dハンド再構成モデルであるS2HAND$を提案する。
論文参考訳（メタデータ） (2022-01-24T09:44:11Z)
MM-Hand: 3D-Aware Multi-Modal Guided Hand Generative Network for 3D Hand Pose Synthesis [81.40640219844197]
モノラルなRGB画像から3Dハンドポーズを推定することは重要だが難しい。解決策は、高精度な3D手指キーポイントアノテーションを用いた大規模RGB手指画像のトレーニングである。我々は,現実的で多様な3次元ポーズ保存ハンドイメージを合成する学習ベースアプローチを開発した。
論文参考訳（メタデータ） (2020-10-02T18:27:34Z)
From Image Collections to Point Clouds with Self-supervised Shape and Pose Networks [53.71440550507745]
2次元画像から3Dモデルを再構成することは、コンピュータビジョンの基本的な問題の一つである。本研究では,1枚の画像から3次元オブジェクトを再構成する深層学習手法を提案する。我々は,3次元点雲の再構成と推定ネットワークの自己教師方式の両方を学習する。
論文参考訳（メタデータ） (2020-05-05T04:25:16Z)
HandVoxNet: Deep Voxel-Based Network for 3D Hand Shape and Pose Estimation from a Single Depth Map [72.93634777578336]
弱教師付き方式で3次元畳み込みを訓練した新しいアーキテクチャを提案する。提案されたアプローチは、SynHand5Mデータセット上で、アートの状態を47.8%改善する。我々の手法は、NYUとBigHand2.2Mデータセットで視覚的により合理的で現実的な手形を生成する。
論文参考訳（メタデータ） (2020-04-03T14:27:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。