論文の概要: Multi-Person 3D Pose and Shape Estimation via Inverse Kinematics and Refinement

• arxiv url: http://arxiv.org/abs/2210.13529v1
• Date: Mon, 24 Oct 2022 18:29:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-26 14:48:28.245016
• Title: Multi-Person 3D Pose and Shape Estimation via Inverse Kinematics and Refinement
• Title（参考訳）: 逆運動学と精密化による多人数3次元ポーズと形状推定
• Authors: Junuk Cha, Muhammad Saqlain, GeonU Kim, Mingyu Shin, Seungryul Baek
• Abstract要約: モノクロRGB画像からメッシュ形状の3Dポーズと形状を推定することは困難である。 そこで本研究では, 1) 閉塞・腐食3次元骨格推定による逆運動学の利点を生かした粗粒間パイプラインを提案する。 本研究では,3DPW, MuPoTS, AGORAデータセット上での最先端の手法の有効性を実証する。
• 参考スコア（独自算出の注目度）: 5.655207244072081
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Estimating 3D poses and shapes in the form of meshes from monocular RGB images is challenging. Obviously, it is more difficult than estimating 3D poses only in the form of skeletons or heatmaps. When interacting persons are involved, the 3D mesh reconstruction becomes more challenging due to the ambiguity introduced by person-to-person occlusions. To tackle the challenges, we propose a coarse-to-fine pipeline that benefits from 1) inverse kinematics from the occlusion-robust 3D skeleton estimation and 2) Transformer-based relation-aware refinement techniques. In our pipeline, we first obtain occlusion-robust 3D skeletons for multiple persons from an RGB image. Then, we apply inverse kinematics to convert the estimated skeletons to deformable 3D mesh parameters. Finally, we apply the Transformer-based mesh refinement that refines the obtained mesh parameters considering intra- and inter-person relations of 3D meshes. Via extensive experiments, we demonstrate the effectiveness of our method, outperforming state-of-the-arts on 3DPW, MuPoTS and AGORA datasets.
• Abstract（参考訳）: モノクロRGB画像からメッシュ形状の3Dポーズと形状を推定することは困難である。 明らかに、骨格やヒートマップの形でのみ3Dのポーズを推定するよりも難しい。 相互作用する人物が関与する場合、対人咬合による曖昧さのため、3次元メッシュ再構成がより困難になる。 課題に対処するため,我々は粗大なパイプラインを提案する。 1)咬合・ロバスト3次元骨格推定と逆運動学 2)トランスフォーマーを用いたリレーションアウェアリファインメント技術 パイプラインでは,まずRGB画像から複数人用のオクルージョン・ロバスト3D骨格を抽出する。 次に, 逆運動学を用いて推定された骨格を変形可能な3次元メッシュパラメータに変換する。 最後に, 3次元メッシュの対人関係を考慮した, 得られたメッシュパラメータを洗練するトランスフォーマティブ・メッシュ・リファインメントを適用する。 3DPW, MuPoTS および AGORA データセット上で, 最先端技術よりも優れた性能を示すため, 提案手法の有効性を実証した。

関連論文リスト

• Enhancing Single Image to 3D Generation using Gaussian Splatting and Hybrid Diffusion Priors [17.544733016978928]
  単一の画像から3Dオブジェクトを生成するには、野生で撮影された未ポーズのRGB画像から、目に見えない景色の完全な3D形状とテクスチャを推定する必要がある。 3次元オブジェクト生成の最近の進歩は、物体の形状とテクスチャを再構築する技術を導入している。 本稿では, この限界に対応するために, 2次元拡散モデルと3次元拡散モデルとのギャップを埋めることを提案する。
  論文  参考訳（メタデータ） (2024-10-12T10:14:11Z)
• SkelFormer: Markerless 3D Pose and Shape Estimation using Skeletal Transformers [57.46911575980854]
  マルチビュー人間のポーズと形状推定のための新しいマーカーレスモーションキャプチャパイプラインであるSkelFormerを紹介する。 提案手法は,まず市販の2次元キーポイント推定器を用いて,大規模インザミルドデータに基づいて事前トレーニングを行い,3次元関節位置を求める。 次に、重雑音観測から、関節の位置をポーズと形状の表現にマッピングする回帰に基づく逆運動性骨格変換器を設計する。
  論文  参考訳（メタデータ） (2024-04-19T04:51:18Z)
• Decaf: Monocular Deformation Capture for Face and Hand Interactions [77.75726740605748]
  本稿では,単眼のRGBビデオから人間の顔と対話する人間の手を3Dで追跡する手法を提案する。 動作中の非剛性面の変形を誘発する定形物体として手をモデル化する。 本手法は,マーカーレスマルチビューカメラシステムで取得した現実的な顔変形を伴う手動・インタラクションキャプチャーデータセットに頼っている。
  論文  参考訳（メタデータ） (2023-09-28T17:59:51Z)
• 3D shape reconstruction of semi-transparent worms [0.950214811819847]
  3D形状の再構成は通常、被写体の複数の画像に物体の特徴やテクスチャを特定する必要がある。 ここでは、画像と比較するために、適応的ぼかしと透明度で候補形状を描画することで、これらの課題を克服する。 本研究は,線虫類の細いカエノルハブディティ・エレガンスを,生物学的にインフォームドされた制約や規則化を自然に許容する内在的パラメトリションを用いて3次元曲線としてモデル化する。
  論文  参考訳（メタデータ） (2023-04-28T13:29:36Z)
• Sampling is Matter: Point-guided 3D Human Mesh Reconstruction [0.0]
  本稿では,1枚のRGB画像から3次元メッシュ再構成を行うための簡易かつ強力な手法を提案する。 評価実験の結果,提案手法は3次元メッシュ再構成の性能を効率よく向上することが示された。
  論文  参考訳（メタデータ） (2023-04-19T08:45:26Z)
• MoDA: Modeling Deformable 3D Objects from Casual Videos [84.29654142118018]
  神経二元四元系ブレンドスキンニング(NeuDBS)を提案し,スキンを折り畳むことなく3次元点変形を実現する。 異なるフレーム間で2Dピクセルを登録する試みにおいて、標準空間内の3D点を符号化する標準特徴埋め込みの対応性を確立する。 本手法は,ヒトと動物の3Dモデルを,最先端の手法よりも質的,定量的な性能で再構築することができる。
  論文  参考訳（メタデータ） (2023-04-17T13:49:04Z)
• Permutation-Invariant Relational Network for Multi-person 3D Pose Estimation [46.38290735670527]
  単一のRGB画像から複数の人物の3Dポーズを復元することは、非常に不適切な問題である。 近年の研究では、異なる人物の推論を同時に行うことで、地域内のすべての事例において有望な成果を上げている。 PI-Netは、画像中のすべての人を同時に推論するための自己注意ブロックを導入し、ノイズの多い最初の3Dポーズを洗練します。 本稿では,集合変換器上に構築された置換不変な手法を用いて,人間同士の相互作用全体を,その数と独立にモデル化する。
  論文  参考訳（メタデータ） (2022-04-11T07:23:54Z)
• Beyond 3DMM: Learning to Capture High-fidelity 3D Face Shape [77.95154911528365]
  3Dモーフィブルモデル(3DMM)の適合性は、その強力な3D先行性のため、顔解析に広く有用である。 以前に再建された3次元顔は、微細な形状が失われるため、視差の低下に悩まされていた。 本論文は, パーソナライズされた形状が対応する人物と同一に見えるよう, パーソナライズされた形状を捉えるための完全な解を提案する。
  論文  参考訳（メタデータ） (2022-04-09T03:46:18Z)
• HybrIK: A Hybrid Analytical-Neural Inverse Kinematics Solution for 3D Human Pose and Shape Estimation [39.67289969828706]
  本稿では,体メッシュ推定と3次元キーポイント推定のギャップを埋めるために,新しいハイブリッド逆キネマティクスソリューション(HybrIK)を提案する。 HybrIKは、正確な3D関節を相対的なボディ部分回転に変換し、3Dボディーメッシュを再構築する。 その結果,HybrIKは3次元ポーズの精度とパラメトリックな人間の身体構造の両方を保っていることがわかった。
  論文  参考訳（メタデータ） (2020-11-30T10:32:30Z)
• Monocular, One-stage, Regression of Multiple 3D People [105.3143785498094]
  我々は、複数の3D人物(ROMP)のための1段階方式で全てのメッシュを回帰することを提案する。 本手法は,体温マップとメッシュマップを同時に予測し,画素レベルの3Dボディメッシュを共同で記述する。 最先端の手法と比較して、ROMPは挑戦的なマルチパーソンベンチマークよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2020-08-27T17:21:47Z)
• Geometric Correspondence Fields: Learned Differentiable Rendering for 3D Pose Refinement in the Wild [96.09941542587865]
  野生の任意のカテゴリのオブジェクトに対する微分可能レンダリングに基づく新しい3次元ポーズ精細化手法を提案する。 このようにして、3DモデルとRGB画像のオブジェクトを正確に整列し、3Dポーズ推定を大幅に改善する。 我々は、Pix3Dデータセットの挑戦に対するアプローチを評価し、複数のメトリクスにおける最先端の精錬手法と比較して、最大55%の改善を実現した。
  論文  参考訳（メタデータ） (2020-07-17T12:34:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。