論文の概要: Rotation Equivariant 3D Hand Mesh Generation from a Single RGB Image

• arxiv url: http://arxiv.org/abs/2111.13023v1
• Date: Thu, 25 Nov 2021 11:07:27 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-30 08:59:22.204389
• Title: Rotation Equivariant 3D Hand Mesh Generation from a Single RGB Image
• Title（参考訳）: 単一rgb画像からの回転同変3次元ハンドメッシュ生成
• Authors: Joshua Mitton, Chaitanya Kaul, Roderick Murray-Smith
• Abstract要約: 2次元RGB画像から3次元手メッシュを生成する回転同変モデルを開発した。 これにより、手入力画像が回転されると、生成されたメッシュが対応する回転を行うことが保証される。
• 参考スコア（独自算出の注目度）: 1.8692254863855962
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We develop a rotation equivariant model for generating 3D hand meshes from 2D RGB images. This guarantees that as the input image of a hand is rotated the generated mesh undergoes a corresponding rotation. Furthermore, this removes undesirable deformations in the meshes often generated by methods without rotation equivariance. By building a rotation equivariant model, through considering symmetries in the problem, we reduce the need for training on very large datasets to achieve good mesh reconstruction. The encoder takes images defined on $\mathbb{Z}^{2}$ and maps these to latent functions defined on the group $C_{8}$. We introduce a novel vector mapping function to map the function defined on $C_{8}$ to a latent point cloud space defined on the group $\mathrm{SO}(2)$. Further, we introduce a 3D projection function that learns a 3D function from the $\mathrm{SO}(2)$ latent space. Finally, we use an $\mathrm{SO}(3)$ equivariant decoder to ensure rotation equivariance. Our rotation equivariant model outperforms state-of-the-art methods on a real-world dataset and we demonstrate that it accurately captures the shape and pose in the generated meshes under rotation of the input hand.
• Abstract（参考訳）: 2次元RGB画像から3次元手メッシュを生成する回転同変モデルを開発した。 これにより、手入力画像が回転されると、生成されたメッシュは対応する回転を行う。 さらに、これは回転平衡のない方法でしばしば生じるメッシュの望ましくない変形を除去する。 回転同変モデルを構築することにより,問題の対称性を考慮し,メッシュ再構成を達成するために,非常に大きなデータセットのトレーニングの必要性を低減できる。 encoder は $\mathbb{Z}^{2}$ で定義された画像を取得し、これらを群 $C_{8}$ で定義された潜在関数にマッピングする。 我々は、$c_{8}$ で定義される関数を、群 $\mathrm{so}(2)$ で定義される潜点クラウド空間にマッピングするために、新しいベクトル写像関数を導入する。 さらに、$\mathrm{SO}(2)$ latent 空間から3次元関数を学習する3次元射影関数を導入する。 最後に、回転同値性を保証するために$\mathrm{so}(3)$同変デコーダを用いる。 回転同変モデルは,実世界のデータセットにおける最先端の手法よりも優れており,入力手の回転下で生成されたメッシュの形状とポーズを正確に把握できることを実証する。

関連論文リスト

• Image to Sphere: Learning Equivariant Features for Efficient Pose Prediction [3.823356975862006]
  単一点推定を予測する方法は、対称性を持つ物体のポーズをうまく予測せず、不確実性を表現できない。 画像領域から3次元回転多様体への特徴量の新しいマッピングを提案する。 本稿では,オブジェクト指向予測における本手法の有効性を実証し,PASCAL3D+データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-02-27T16:23:19Z)
• PaRot: Patch-Wise Rotation-Invariant Network via Feature Disentanglement and Pose Restoration [16.75367717130046]
  最先端モデルは回転に対して堅牢ではなく、実際の応用に先立って未知のままである。 Patch-wise Rotation-invariant Network (PaRot)を導入する。 本モジュールは高品質な回転ロバスト特性を抽出し,提案した軽量モデルにより競争結果が得られた。
  論文  参考訳（メタデータ） (2023-02-06T02:13:51Z)
• Category-Level 6D Object Pose Estimation with Flexible Vector-Based Rotation Representation [51.67545893892129]
  モノクロRGB-D画像からカテゴリレベルの6次元ポーズとサイズ推定のための新しい3次元グラフ畳み込みに基づくパイプラインを提案する。 まず,3次元グラフ畳み込みを用いた向き対応オートエンコーダの設計を行った。 そして, 回転情報を潜在特徴から効率的に復号化するために, フレキシブルなベクトルベースデコンポーザブルな回転表現を設計する。
  論文  参考訳（メタデータ） (2022-12-09T02:13:43Z)
• 3D Equivariant Graph Implicit Functions [51.5559264447605]
  局所的詳細のモデリングを容易にする同変層を持つグラフ暗黙関数の新しいファミリを導入する。 提案手法は,ShapeNet再構成作業において既存の回転同変暗黙関数を0.69から0.89に改善する。
  論文  参考訳（メタデータ） (2022-03-31T16:51:25Z)
• ConDor: Self-Supervised Canonicalization of 3D Pose for Partial Shapes [55.689763519293464]
  ConDorは、完全および部分的な3次元点雲の3次元配向と位置を正準化することを学ぶ自己教師型手法である。 推測中,本手法は任意のポーズで完全あるいは部分的な3次元点の雲を抽出し,同変正則のポーズを出力する。
  論文  参考訳（メタデータ） (2022-01-19T18:57:21Z)
• ZZ-Net: A Universal Rotation Equivariant Architecture for 2D Point Clouds [17.35440223078089]
  本稿では,2次元点雲処理のためのニューラルネットワークアーキテクチャを提案する。 Indataとして2D-2D対応の集合を受け入れるためにアーキテクチャを拡張する方法を示す。 立体視における必須行列の推定について実験を行った。
  論文  参考訳（メタデータ） (2021-11-30T12:37:36Z)
• Extreme Rotation Estimation using Dense Correlation Volumes [73.35119461422153]
  本稿では,RGB画像対の相対的な3次元回転を極端に推定する手法を提案する。 画像が重なり合わなくても、それらの幾何学的関係に関して豊富な隠れた手がかりがあるかもしれないと観察する。 本稿では,2つの入力画像間の全ての点を比較することで,そのような暗黙の手がかりを自動的に学習できるネットワーク設計を提案する。
  論文  参考訳（メタデータ） (2021-04-28T02:00:04Z)
• Adjoint Rigid Transform Network: Task-conditioned Alignment of 3D Shapes [86.2129580231191]
  Adjoint Rigid Transform (ART) Networkは、さまざまな3Dネットワークと統合可能なニューラルネットワークモジュールである。 ARTは入力の形状を学習した標準方向に回転させることを学び、多くのタスクに欠かせない。 さらなる研究のために、コードと事前訓練されたモデルをリリースします。
  論文  参考訳（メタデータ） (2021-02-01T20:58:45Z)
• Rotation-Invariant Autoencoders for Signals on Spheres [10.406659081400354]
  球面画像に対する回転不変表現の教師なし学習の問題について検討する。 特に、$S2$と$SO(3)$の畳み込み層からなるオートエンコーダアーキテクチャを設計する。 複数のデータセットの実験は、クラスタリング、検索、分類アプリケーションにおける学習された表現の有用性を示す。
  論文  参考訳（メタデータ） (2020-12-08T15:15:03Z)
• Implicit Functions in Feature Space for 3D Shape Reconstruction and Completion [53.885984328273686]
  Implicit Feature Networks (IF-Nets) は連続的な出力を提供し、複数のトポロジを扱える。 IF-NetsはShapeNetにおける3次元オブジェクト再構成における先行作業よりも明らかに優れており、より正確な3次元人間の再構成が得られる。
  論文  参考訳（メタデータ） (2020-03-03T11:14:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。