論文の概要: Im2Mesh GAN: Accurate 3D Hand Mesh Recovery from a Single RGB Image
- arxiv url: http://arxiv.org/abs/2101.11239v1
- Date: Wed, 27 Jan 2021 07:38:01 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-01 19:35:38.407358
- Title: Im2Mesh GAN: Accurate 3D Hand Mesh Recovery from a Single RGB Image
- Title（参考訳）: Im2Mesh GAN: 単一のRGB画像から正確な3Dハンドメッシュの復元
- Authors: Akila Pemasiri, Kien Nguyen Thanh, Sridha Sridharan, Clinton Fookes
- Abstract要約: 入力画像から直接ハンドメッシュを学習できることが示される。
我々は、エンドツーエンドの学習を通してメッシュを学習するための新しいタイプのGANIm2Mesh GANを提案する。
- 参考スコア（独自算出の注目度）: 31.371190180801452
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This work addresses hand mesh recovery from a single RGB image. In contrast
to most of the existing approaches where the parametric hand models are
employed as the prior, we show that the hand mesh can be learned directly from
the input image. We propose a new type of GAN called Im2Mesh GAN to learn the
mesh through end-to-end adversarial training. By interpreting the mesh as a
graph, our model is able to capture the topological relationship among the mesh
vertices. We also introduce a 3D surface descriptor into the GAN architecture
to further capture the 3D features associated. We experiment two approaches
where one can reap the benefits of coupled groundtruth data availability of
images and the corresponding meshes, while the other combats the more
challenging problem of mesh estimations without the corresponding groundtruth.
Through extensive evaluations we demonstrate that the proposed method
outperforms the state-of-the-art.
- Abstract（参考訳）: この作業は、単一のRGBイメージからハンドメッシュリカバリに対処する。
パラメトリックハンドモデルが先行して採用されている既存のアプローチのほとんどとは対照的に、入力画像から直接ハンドメッシュを学ぶことができることを示す。
我々は、エンドツーエンドの学習を通してメッシュを学習するための新しいタイプのGANIm2Mesh GANを提案する。
メッシュをグラフとして解釈することで,メッシュ頂点間のトポロジカルな関係を捉えることができる。
また、GANアーキテクチャに3Dサーフェス記述子を導入し、関連する3D特徴をさらに捉える。
我々は、画像と対応するメッシュの基盤データ可用性の利点を享受できる2つのアプローチを実験し、もう1つは対応する基盤なしでメッシュ推定のより困難な問題に対処する。
広範な評価を通じて,提案手法が最先端技術よりも優れていることを示す。
関連論文リスト
- Towards Human-Level 3D Relative Pose Estimation: Generalizable, Training-Free, with Single Reference [62.99706119370521]
人間は、単一のクエリ参照イメージペアのみを与えられたラベル/トレーニングなしで、目に見えないオブジェクトの相対的なポーズを容易に推論することができる。
そこで,本研究では,RGB-D参照から2.5D形状のRGB-D参照,オフザシェルフ微分可能なRGB-D参照,DINOv2のような事前学習モデルからのセマンティックキューを用いた3D一般化可能な相対ポーズ推定手法を提案する。
論文 参考訳（メタデータ） (2024-06-26T16:01:10Z) - Direct Learning of Mesh and Appearance via 3D Gaussian Splatting [3.4899193297791054]
本稿では、3DGSを明示的な幾何学的表現、すなわちメッシュに組み込んだ学習可能なシーンモデルを提案する。
我々のモデルはメッシュと外観をエンドツーエンドで学習し、メッシュ面に3Dガウスアンを結合し、3DGSの微分レンダリングを行い、測光監督を得る。
論文 参考訳（メタデータ） (2024-05-11T07:56:19Z) - Bridging 3D Gaussian and Mesh for Freeview Video Rendering [57.21847030980905]
GauMeshはダイナミックシーンのモデリングとレンダリングのために3D GaussianとMeshをブリッジする。
提案手法は, 動的シーンの異なる部分を表現するために, プリミティブの適切なタイプに適応することを示す。
論文 参考訳（メタデータ） (2024-03-18T04:01:26Z) - Monocular 3D Hand Mesh Recovery via Dual Noise Estimation [47.82179706128616]
画像によく整合したメッシュを生成するための二重雑音推定手法を提案する。
提案手法は,大規模なInterhand2.6Mデータセット上での最先端性能を実現する。
論文 参考訳（メタデータ） (2023-12-26T07:21:01Z) - Weakly-Supervised 3D Reconstruction of Clothed Humans via Normal Maps [1.6462601662291156]
そこで本研究では,2次元正規地図を用いた布地人の3次元再構築のための新しい深層学習手法を提案する。
一つのRGB画像またはマルチビュー画像から、我々のネットワークは、静止ポーズで体を囲む四面体メッシュ上で識別された符号付き距離関数(SDF)を推定する。
ネットワーク推論と3次元再構成の両方に対するアプローチの有効性を実証する。
論文 参考訳（メタデータ） (2023-11-27T18:06:35Z) - Sampling is Matter: Point-guided 3D Human Mesh Reconstruction [0.0]
本稿では,1枚のRGB画像から3次元メッシュ再構成を行うための簡易かつ強力な手法を提案する。
評価実験の結果,提案手法は3次元メッシュ再構成の性能を効率よく向上することが示された。
論文 参考訳（メタデータ） (2023-04-19T08:45:26Z) - MPT: Mesh Pre-Training with Transformers for Human Pose and Mesh
Reconstruction [56.80384196339199]
Mesh Pre-Training(MPT)は、人間のポーズのためのMoCapデータや単一のイメージからのメッシュ再構築などの3Dメッシュデータを活用する、新たな事前トレーニングフレームワークである。
MPTにより、トランスフォーマーモデルは、実際の画像から人間のメッシュ再構築のゼロショット機能を持つことができる。
論文 参考訳（メタデータ） (2022-11-24T00:02:13Z) - Towards Accurate Alignment in Real-time 3D Hand-Mesh Reconstruction [57.3636347704271]
RGB画像からの3Dハンドメッシュ再構築は拡張現実(AR)を含む多くのアプリケーションに役立つ
本稿では,手指再建作業を3段階に分割し,新しいパイプラインを提案する。
高品質な指レベルのメッシュイメージアライメントを促進し、モデルをまとめて、リアルタイムな予測を実現することができます。
論文 参考訳（メタデータ） (2021-09-03T20:42:01Z) - HandVoxNet: Deep Voxel-Based Network for 3D Hand Shape and Pose
Estimation from a Single Depth Map [72.93634777578336]
弱教師付き方式で3次元畳み込みを訓練した新しいアーキテクチャを提案する。
提案されたアプローチは、SynHand5Mデータセット上で、アートの状態を47.8%改善する。
我々の手法は、NYUとBigHand2.2Mデータセットで視覚的により合理的で現実的な手形を生成する。
論文 参考訳（メタデータ） (2020-04-03T14:27:16Z) - Learning Nonparametric Human Mesh Reconstruction from a Single Image
without Ground Truth Meshes [56.27436157101251]
そこで本研究では,人間のメッシュ再構築を基礎となる真理メッシュを使わずに学習する手法を提案する。
これはグラフ畳み込みニューラルネットワーク(Graph CNN)の損失関数に2つの新しい用語を導入することで実現される。
論文 参考訳（メタデータ） (2020-02-28T20:30:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。