論文の概要: Monocular 3D Reconstruction of Interacting Hands via Collision-Aware Factorized Refinements

• arxiv url: http://arxiv.org/abs/2111.00763v1
• Date: Mon, 1 Nov 2021 08:24:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-02 15:36:03.743427
• Title: Monocular 3D Reconstruction of Interacting Hands via Collision-Aware Factorized Refinements
• Title（参考訳）: 衝突認識因子による相互作用手の単眼3次元再構成
• Authors: Yu Rong, Jingbo Wang, Ziwei Liu, Chen Change Loy
• Abstract要約: 単眼のRGB画像から3Dインタラクションハンドを再構築する試みを初めて行った。 提案手法では, 高精度な3次元ポーズと最小の衝突で3次元ハンドメッシュを生成することができる。
• 参考スコア（独自算出の注目度）: 96.40125818594952
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: 3D interacting hand reconstruction is essential to facilitate human-machine interaction and human behaviors understanding. Previous works in this field either rely on auxiliary inputs such as depth images or they can only handle a single hand if monocular single RGB images are used. Single-hand methods tend to generate collided hand meshes, when applied to closely interacting hands, since they cannot model the interactions between two hands explicitly. In this paper, we make the first attempt to reconstruct 3D interacting hands from monocular single RGB images. Our method can generate 3D hand meshes with both precise 3D poses and minimal collisions. This is made possible via a two-stage framework. Specifically, the first stage adopts a convolutional neural network to generate coarse predictions that tolerate collisions but encourage pose-accurate hand meshes. The second stage progressively ameliorates the collisions through a series of factorized refinements while retaining the preciseness of 3D poses. We carefully investigate potential implementations for the factorized refinement, considering the trade-off between efficiency and accuracy. Extensive quantitative and qualitative results on large-scale datasets such as InterHand2.6M demonstrate the effectiveness of the proposed approach.
• Abstract（参考訳）: 3dインタラクションハンドレコンストラクションは、人間と機械の相互作用と人間の行動を理解するのに不可欠である。 この分野での以前の作業では、深度画像のような補助入力に依存するか、単眼のrgb画像を使用する場合のみ片手で処理できる。 シングルハンド法は、両手間の相互作用を明示的にモデル化できないため、密接に相互作用する手に適用すると、衝突した手メッシュを生成する傾向がある。 本稿では,単眼単一rgb画像から3次元インタラクションハンドを再構築する最初の試みを行う。 高精度な3dポーズと最小限の衝突を伴う3dハンドメッシュを生成できる。 これは2段階のフレームワークによって実現されている。 具体的には、第1段階は畳み込みニューラルネットワークを採用し、衝突を許容するがポーズ精度の高いハンドメッシュを奨励する粗い予測を生成する。 第2段階は、3dポーズの正確性を維持しながら、一連の因子化された改良を通じて衝突を段階的に緩和する。 効率と精度のトレードオフを考慮し, 分解改質の可能性を慎重に検討する。 interhand2.6m のような大規模データセットにおける広範囲な量的・質的結果が提案手法の有効性を示している。

関連論文リスト

• 3D Pose Estimation of Two Interacting Hands from a Monocular Event Camera [59.846927201816776]
  本稿では,1つの単眼イベントカメラから手の動きの速い2つの手の動きを3次元追跡するための最初のフレームワークを紹介する。 本手法は, 半教師付き機能的注意機構により, 左手のあいまいさに対処し, 交差点の損失を補足して手衝突を解消する。
  論文  参考訳（メタデータ） (2023-12-21T18:59:57Z)
• Decaf: Monocular Deformation Capture for Face and Hand Interactions [77.75726740605748]
  本稿では,単眼のRGBビデオから人間の顔と対話する人間の手を3Dで追跡する手法を提案する。 動作中の非剛性面の変形を誘発する定形物体として手をモデル化する。 本手法は,マーカーレスマルチビューカメラシステムで取得した現実的な顔変形を伴う手動・インタラクションキャプチャーデータセットに頼っている。
  論文  参考訳（メタデータ） (2023-09-28T17:59:51Z)
• 3D Interacting Hand Pose Estimation by Hand De-occlusion and Removal [85.30756038989057]
  単一のRGB画像から3Dインタラクションハンドポーズを推定することは、人間の行動を理解するのに不可欠である。 本稿では,難易度の高い手ポーズ推定タスクを分解し,各手のポーズを別々に推定することを提案する。 実験の結果,提案手法は従来の手ポーズ推定手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2022-07-22T13:04:06Z)
• Learning to Disambiguate Strongly Interacting Hands via Probabilistic Per-pixel Part Segmentation [84.28064034301445]
  自己相似性と、それぞれの手にピクセル観察を割り当てるあいまいさは、最終的な3Dポーズエラーの大きな原因である。 1つの単眼画像から2つの手の3次元ポーズを推定する新しい手法であるDIGITを提案する。 提案手法は,InterHand2.6Mデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-07-01T13:28:02Z)
• RGB2Hands: Real-Time Tracking of 3D Hand Interactions from Monocular RGB Video [76.86512780916827]
  本稿では,1台のRGBカメラによる骨格ポーズのモーションキャプチャと手の表面形状をリアルタイムに計測する手法を提案する。 RGBデータの本質的な深さの曖昧さに対処するために,我々は新しいマルチタスクCNNを提案する。 RGBの片手追跡と3D再構築パイプラインの個々のコンポーネントを実験的に検証した。
  論文  参考訳（メタデータ） (2021-06-22T12:53:56Z)
• HandsFormer: Keypoint Transformer for Monocular 3D Pose Estimation ofHands and Object in Interaction [33.661745138578596]
  単色画像からの密接な相互作用で両手の3次元ポーズを推定する頑健で正確な手法を提案する。 本手法は, 両手関節の電位2d位置をヒートマップの極値として抽出することから始まる。 これらの位置の外観と空間エンコーディングを変圧器への入力として使用し、注意メカニズムを利用して関節の正しい構成を整理します。
  論文  参考訳（メタデータ） (2021-04-29T20:19:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。