論文の概要: Pixel-Aligned Non-parametric Hand Mesh Reconstruction

• arxiv url: http://arxiv.org/abs/2210.09198v1
• Date: Mon, 17 Oct 2022 15:53:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 19:55:29.049718
• Title: Pixel-Aligned Non-parametric Hand Mesh Reconstruction
• Title（参考訳）: 画素アライメント非パラメトリックハンドメッシュ再構成
• Authors: Shijian Jiang, Guwen Han, Danhang Tang, Yang Zhou, Xiang Li, Jiming Chen, Qi Ye
• Abstract要約: 非パラメトリックメッシュ再構成は、最近3Dの手と身体の応用において顕著な進歩を見せている。 本稿では,このマッピングをシンプルでコンパクトなアーキテクチャで構築し,活用することを目的とする。 3つのフェーズからなるハンドメッシュリカバリタスクのためのエンドツーエンドパイプラインを提案する。
• 参考スコア（独自算出の注目度）: 16.62199923065314
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Non-parametric mesh reconstruction has recently shown significant progress in 3D hand and body applications. In these methods, mesh vertices and edges are visible to neural networks, enabling the possibility to establish a direct mapping between 2D image pixels and 3D mesh vertices. In this paper, we seek to establish and exploit this mapping with a simple and compact architecture. The network is designed with these considerations: 1) aggregating both local 2D image features from the encoder and 3D geometric features captured in the mesh decoder; 2) decoding coarse-to-fine meshes along the decoding layers to make the best use of the hierarchical multi-scale information. Specifically, we propose an end-to-end pipeline for hand mesh recovery tasks which consists of three phases: a 2D feature extractor constructing multi-scale feature maps, a feature mapping module transforming local 2D image features to 3D vertex features via 3D-to-2D projection, and a mesh decoder combining the graph convolution and self-attention to reconstruct mesh. The decoder aggregate both local image features in pixels and geometric features in vertices. It also regresses the mesh vertices in a coarse-to-fine manner, which can leverage multi-scale information. By exploiting the local connection and designing the mesh decoder, Our approach achieves state-of-the-art for hand mesh reconstruction on the public FreiHAND dataset.
• Abstract（参考訳）: 非パラメトリックメッシュの再構築は、最近、3dハンドとボディアプリケーションで著しい進歩を示している。 これらの方法では、メッシュ頂点とエッジがニューラルネットワークで可視化され、2D画像ピクセルと3Dメッシュ頂点との直接マッピングが確立できる。 本稿では,このマッピングをシンプルでコンパクトなアーキテクチャで確立し,活用することを目指す。 ネットワークはこれらの考慮のもとに設計されています 1) メッシュデコーダで捉えたエンコーダから局所的な2次元画像特徴と3次元幾何学的特徴の両方を集約すること。 2) 階層的なマルチスケール情報を最大限活用するために,デコード層に沿って粗いメッシュをデコードする。 具体的には,マルチスケール特徴マップを構築する2次元特徴抽出器,3次元から2次元投影による局所2次元特徴を3次元頂点に変換する特徴マッピングモジュール,グラフ畳み込みと自己接続を組み合わせたメッシュデコーダの3段階からなる,ハンドメッシュリカバリタスクのためのエンドツーエンドパイプラインを提案する。 デコーダはピクセルの局所的な画像特徴と頂点の幾何学的特徴の両方を集約する。 また、マルチスケール情報を活用するために、メッシュ頂点を粗い方法で強化する。 ローカル接続を利用してメッシュデコーダを設計することにより、パブリックなFreiHANDデータセット上での手メッシュ再構築を実現する。

関連論文リスト

• Sampling is Matter: Point-guided 3D Human Mesh Reconstruction [0.0]
  本稿では,1枚のRGB画像から3次元メッシュ再構成を行うための簡易かつ強力な手法を提案する。 評価実験の結果,提案手法は3次元メッシュ再構成の性能を効率よく向上することが示された。
  論文  参考訳（メタデータ） (2023-04-19T08:45:26Z)
• Joint-MAE: 2D-3D Joint Masked Autoencoders for 3D Point Cloud Pre-training [65.75399500494343]
  Masked Autoencoders (MAE) は、2Dおよび3Dコンピュータビジョンのための自己教師型学習において有望な性能を示した。 自己監督型3次元点雲事前学習のための2D-3DジョイントMAEフレームワークであるJoint-MAEを提案する。
  論文  参考訳（メタデータ） (2023-02-27T17:56:18Z)
• Flattening-Net: Deep Regular 2D Representation for 3D Point Cloud Analysis [66.49788145564004]
  我々は、任意の幾何学と位相の不規則な3次元点雲を表現するために、Flattning-Netと呼ばれる教師なしのディープニューラルネットワークを提案する。 我々の手法は、現在の最先端の競合相手に対して好意的に機能する。
  論文  参考訳（メタデータ） (2022-12-17T15:05:25Z)
• PointMCD: Boosting Deep Point Cloud Encoders via Multi-view Cross-modal Distillation for 3D Shape Recognition [55.38462937452363]
  本稿では,教師として事前訓練されたディープイメージエンコーダ,学生としてディープポイントエンコーダを含む多視点クロスモーダル蒸留アーキテクチャを提案する。 複数ビューの視覚的および幾何学的記述子をペアワイズにアライメントすることで、より強力なディープポイントエンコーダを、疲労や複雑なネットワーク修正を伴わずに得ることができる。
  論文  参考訳（メタデータ） (2022-07-07T07:23:20Z)
• TerrainMesh: Metric-Semantic Terrain Reconstruction from Aerial Images Using Joint 2D-3D Learning [20.81202315793742]
  本稿では,視覚的オドメトリーアルゴリズムによって保持される各カメラにおける局所的メートル法-セマンティックメッシュを再構築する2次元3次元学習手法を提案する。 メッシュはグローバル環境モデルに組み立てて、オンライン操作中の地形のトポロジとセマンティクスをキャプチャすることができる。
  論文  参考訳（メタデータ） (2022-04-23T05:18:39Z)
• Subdivision-Based Mesh Convolution Networks [38.09613983540932]
  畳み込みニューラルネットワーク(CNN)は、2Dコンピュータビジョンにおいて大きなブレークスルーをもたらした。 本稿では,ループ分割シーケンス接続を伴う3次元トライアングルメッシュのための新しいCNNフレームワークSubdivNetを提案する。 メッシュ分類,セグメンテーション,対応,実世界からの検索実験により,SubdivNetの有効性と有効性を示す。
  論文  参考訳（メタデータ） (2021-06-04T06:50:34Z)
• NeuTex: Neural Texture Mapping for Volumetric Neural Rendering [48.83181790635772]
  本稿では,ジオメトリ-連続3次元ボリューム-出現-連続2次元テクスチャマップとして表現-を明示的に切り離す手法を提案する。 我々は,この表現を多視点画像監視のみを用いて再構成し,高品質なレンダリング結果を生成することを実証した。
  論文  参考訳（メタデータ） (2021-03-01T05:34:51Z)
• Learning Geometry-Disentangled Representation for Complementary Understanding of 3D Object Point Cloud [50.56461318879761]
  3次元画像処理のためのGDANet(Geometry-Disentangled Attention Network)を提案する。 GDANetは、点雲を3Dオブジェクトの輪郭と平らな部分に切り離し、それぞれ鋭い変化成分と穏やかな変化成分で表される。 3Dオブジェクトの分類とセグメンテーションベンチマークの実験は、GDANetがより少ないパラメータで最先端の処理を実現していることを示している。
  論文  参考訳（メタデータ） (2020-12-20T13:35:00Z)
• Improved Modeling of 3D Shapes with Multi-view Depth Maps [48.8309897766904]
  CNNを用いて3次元形状をモデル化するための汎用フレームワークを提案する。 オブジェクトの1つの深度画像だけで、3Dオブジェクトの高密度な多視点深度マップ表現を出力できる。
  論文  参考訳（メタデータ） (2020-09-07T17:58:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。