論文の概要: 3D Hand Reconstruction via Aggregating Intra and Inter Graphs Guided by
Prior Knowledge for Hand-Object Interaction Scenario
- arxiv url: http://arxiv.org/abs/2403.01733v1
- Date: Mon, 4 Mar 2024 05:11:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-06 20:05:25.252873
- Title: 3D Hand Reconstruction via Aggregating Intra and Inter Graphs Guided by
Prior Knowledge for Hand-Object Interaction Scenario
- Title（参考訳）: ハンドオブジェクトインタラクションシナリオの事前知識によるグラフ内およびインターグラフの集約による3次元手指再建
- Authors: Feng Shuang, Wenbo He and Shaodong Li
- Abstract要約: モデルベースおよびモデルフリーアプローチの利点を生かした3次元ハンドリコンストラクションネットワークを提案する。
まず,2次元関節から直接のMANOポーズパラメータ回帰モジュールを提案する。
- 参考スコア（独自算出の注目度）: 8.364378460776832
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recently, 3D hand reconstruction has gained more attention in human-computer
cooperation, especially for hand-object interaction scenario. However, it still
remains huge challenge due to severe hand-occlusion caused by interaction,
which contain the balance of accuracy and physical plausibility, highly
nonlinear mapping of model parameters and occlusion feature enhancement. To
overcome these issues, we propose a 3D hand reconstruction network combining
the benefits of model-based and model-free approaches to balance accuracy and
physical plausibility for hand-object interaction scenario. Firstly, we present
a novel MANO pose parameters regression module from 2D joints directly, which
avoids the process of highly nonlinear mapping from abstract image feature and
no longer depends on accurate 3D joints. Moreover, we further propose a
vertex-joint mutual graph-attention model guided by MANO to jointly refine hand
meshes and joints, which model the dependencies of vertex-vertex and
joint-joint and capture the correlation of vertex-joint for aggregating
intra-graph and inter-graph node features respectively. The experimental
results demonstrate that our method achieves a competitive performance on
recently benchmark datasets HO3DV2 and Dex-YCB, and outperforms all only
model-base approaches and model-free approaches.
- Abstract（参考訳）: 近年,人-コンピュータ協調,特に手-物体相互作用のシナリオにおいて,3次元手再構成が注目されている。
しかし, 精度と物理的妥当性のバランス, モデルパラメータの高非線形マッピング, 閉塞特性の強化など, 相互作用によって引き起こされる重度の握手により, 依然として大きな課題が残っている。
これらの問題を解決するために,モデルベースとモデルフリーアプローチの利点を組み合わせた3次元ハンド再構成ネットワークを提案する。
まず,2次元継手から直接のMANOポーズパラメータ回帰モジュールを提案する。これは抽象画像特徴から高非線形マッピングの過程を回避し,正確な3次元継手に依存しない。
さらに, mano によって誘導された頂点-ジョイント相互グラフアテンションモデルを用いて, 頂点-頂点とジョイント-ジョイントの依存関係をモデル化し, グラフ内およびグラフ間ノードの特徴を集約するための頂点-ジョイントの相関を捉えた, ハンドメッシュとジョイントを共同精製する。
実験の結果,最近のベンチマークデータセット HO3DV2 と Dex-YCB の競合性能が得られ,モデルベースアプローチとモデルフリーアプローチに勝ることがわかった。
関連論文リスト
- Two Hands Are Better Than One: Resolving Hand to Hand Intersections via Occupancy Networks [33.9893684177763]
自己閉塞と指の関節は推定に重大な問題を引き起こす。
我々は、手の体積を連続多様体として表す占有ネットワークを利用する。
我々は,手動交差点の可能性を最小限に抑えるために,交差点損失関数を設計する。
論文 参考訳（メタデータ） (2024-04-08T11:32:26Z) - D-SCo: Dual-Stream Conditional Diffusion for Monocular Hand-Held Object Reconstruction [74.49121940466675]
モノクローナルハンドヘルドオブジェクト再構成のためのCentroid-fixed dual-stream conditionalfusionを導入する。
まず、対象のセントロイドがずれることを避けるために、手動制約付きセントロイド固定パラダイムを用いる。
第2に、意味的および幾何学的に手動物体の相互作用をモデル化するための二重ストリームデノイザを導入する。
論文 参考訳（メタデータ） (2023-11-23T20:14:50Z) - Spatio-temporal MLP-graph network for 3D human pose estimation [8.267311047244881]
グラフ畳み込みネットワークとその変種は3次元人間のポーズ推定において大きな可能性を示している。
暗黙の伝搬フェアリングを用いたグラフフィルタリングにより得られる新しい重み付きヤコビ特徴則を導入する。
また, 関節間の関係を学習するために, 隣接変調を用いた。
論文 参考訳（メタデータ） (2023-08-29T14:00:55Z) - Iterative Graph Filtering Network for 3D Human Pose Estimation [5.177947445379688]
グラフ畳み込みネットワーク(GCN)は3次元人間のポーズ推定に有効な手法であることが証明されている。
本稿では,3次元ポーズ推定のための反復グラフフィルタリングフレームワークを提案する。
我々のアプローチは、ラプラシア正規化によるグラフフィルタリングを反復的に解くという考え方に基づいている。
論文 参考訳（メタデータ） (2023-07-29T20:46:44Z) - A Probabilistic Attention Model with Occlusion-aware Texture Regression
for 3D Hand Reconstruction from a Single RGB Image [5.725477071353354]
深層学習のアプローチは、1枚のRGB画像から3Dの手の再構築に有望な結果を示している。
本稿では,モデルに基づくアプローチの堅牢性を実現するための新しい確率モデルを提案する。
本稿では,教師付きシナリオと弱教師付きシナリオの両方において,提案する確率モデルの柔軟性を実証する。
論文 参考訳（メタデータ） (2023-04-27T16:02:32Z) - Pose-Oriented Transformer with Uncertainty-Guided Refinement for
2D-to-3D Human Pose Estimation [51.00725889172323]
本研究では,3次元ポーズ推定のための不確実性ガイド付き多目的変換器(POT)を提案する。
我々はまず,人骨のトポロジーを明示的に活用するために,新しいポーズ指向の自己注意機構と距離関連位置埋め込みを開発した。
本稿では,特に難解な関節に対するPOTからのポーズ予測を洗練させるために,不確実性誘導型リファインメントネットワーク(UGRN)を提案する。
論文 参考訳（メタデータ） (2023-02-15T00:22:02Z) - Uncertainty-Aware Adaptation for Self-Supervised 3D Human Pose
Estimation [70.32536356351706]
本稿では、2つの出力ヘッドを2つの異なる構成にサブスクライブする共通のディープネットワークバックボーンを構成するMPP-Netを紹介する。
ポーズと関節のレベルで予測の不確実性を定量化するための適切な尺度を導出する。
本稿では,提案手法の総合評価を行い,ベンチマークデータセット上での最先端性能を示す。
論文 参考訳（メタデータ） (2022-03-29T07:14:58Z) - Monocular 3D Reconstruction of Interacting Hands via Collision-Aware
Factorized Refinements [96.40125818594952]
単眼のRGB画像から3Dインタラクションハンドを再構築する試みを初めて行った。
提案手法では, 高精度な3次元ポーズと最小の衝突で3次元ハンドメッシュを生成することができる。
論文 参考訳（メタデータ） (2021-11-01T08:24:10Z) - Real-time Pose and Shape Reconstruction of Two Interacting Hands With a
Single Depth Camera [79.41374930171469]
本稿では,2つの強く相互作用する手の位置と形状をリアルタイムに再現する新しい手法を提案する。
われわれのアプローチは、有利なプロパティの広範なリスト、すなわちマーカーレスを組み合わせている。
過去の研究で示された複雑性レベルを超える場面で、最先端の結果を示す。
論文 参考訳（メタデータ） (2021-06-15T11:39:49Z) - A hybrid classification-regression approach for 3D hand pose estimation
using graph convolutional networks [1.0152838128195467]
目的ごとの関係制約を学習する2段階のGCNベースのフレームワークを提案する。
第1フェーズは2D/3D空間を量子化し、その局所性に基づいて関節を2D/3Dブロックに分類する。
第2段階ではGCNベースのモジュールを使用し、隣り合う適応アルゴリズムを用いて関節関係を決定する。
論文 参考訳（メタデータ） (2021-05-23T10:09:10Z) - PaMIR: Parametric Model-Conditioned Implicit Representation for
Image-based Human Reconstruction [67.08350202974434]
本研究では,パラメトリックボディモデルと自由形深部暗黙関数を組み合わせたパラメトリックモデル記述型暗黙表現(PaMIR)を提案する。
本手法は, 挑戦的なポーズや衣料品のタイプにおいて, 画像に基づく3次元再構築のための最先端性能を実現する。
論文 参考訳（メタデータ） (2020-07-08T02:26:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。