論文の概要: Learning Complex 3D Human Self-Contact

• arxiv url: http://arxiv.org/abs/2012.10366v1
• Date: Fri, 18 Dec 2020 17:09:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-01 18:10:25.432707
• Title: Learning Complex 3D Human Self-Contact
• Title（参考訳）: 複雑な3次元自己接触の学習
• Authors: Mihai Fieraru, Mihai Zanfir, Elisabeta Oneata, Alin-Ionut Popa, Vlad Olaru, Cristian Sminchisescu
• Abstract要約: 既存の3次元再構成法は, 身体領域の自己接触に焦点を合わせない。 自己接触体表面のシグネチャを推定する自己接触予測モデルを開発した。 自己接触シグネチャ制約下での表現力に富む3次元再構成の再現性を示す。
• 参考スコア（独自算出の注目度）: 33.83748199524761
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Monocular estimation of three dimensional human self-contact is fundamental for detailed scene analysis including body language understanding and behaviour modeling. Existing 3d reconstruction methods do not focus on body regions in self-contact and consequently recover configurations that are either far from each other or self-intersecting, when they should just touch. This leads to perceptually incorrect estimates and limits impact in those very fine-grained analysis domains where detailed 3d models are expected to play an important role. To address such challenges we detect self-contact and design 3d losses to explicitly enforce it. Specifically, we develop a model for Self-Contact Prediction (SCP), that estimates the body surface signature of self-contact, leveraging the localization of self-contact in the image, during both training and inference. We collect two large datasets to support learning and evaluation: (1) HumanSC3D, an accurate 3d motion capture repository containing $1,032$ sequences with $5,058$ contact events and $1,246,487$ ground truth 3d poses synchronized with images collected from multiple views, and (2) FlickrSC3D, a repository of $3,969$ images, containing $25,297$ surface-to-surface correspondences with annotated image spatial support. We also illustrate how more expressive 3d reconstructions can be recovered under self-contact signature constraints and present monocular detection of face-touch as one of the multiple applications made possible by more accurate self-contact models.
• Abstract（参考訳）: 身体言語理解と行動モデリングを含む詳細な情景分析には,3次元自己接触の単眼的推定が基本である。 既存の3d再構成法は、自己接触の身体領域に焦点を合わせず、触るべき時に互いに遠く離れているか、あるいは自己干渉している構成を回復する。 これは、詳細な3dモデルが重要な役割を果たすことが期待される非常にきめ細かい分析領域において、知覚的に誤った推定と影響の制限につながる。 このような課題に対処するため、私たちは自己接触を検出し、明示的に強制するために3dロスを設計する。 具体的には, トレーニングと推論の両方において, 画像中の自己接触の局在を利用して, 自己接触体表面のシグネチャを推定する自己接触予測モデル(scp)を開発した。 学習と評価をサポートするために2つの大きなデータセットを収集した: (1) humanc3dは、5,058ドルのコンタクトイベントと1246,487ドルのグランド・トゥルート3dポーズを含む正確な3dモーションキャプチャーリポジトリであり、(2) flickrsc3dは3,969ドルのイメージのリポジトリで、25,297ドルの表面対面対応と注釈付き画像空間サポートを含んでいる。 また,より正確な自己接触モデルによって実現された複数の応用の1つとして,より表現力のある3次元再構成を自己接触署名制約の下でどのように回収するかを述べる。

関連論文リスト

• DICE: End-to-end Deformation Capture of Hand-Face Interactions from a Single Image [98.29284902879652]
  DICEは1枚の画像から変形認識による手と顔のインタラクションを再現する最初のエンドツーエンド手法である。 ローカルな変形場とグローバルなメッシュ位置の回帰を2つのネットワークブランチに切り離すことが特徴である。 標準的なベンチマークと、精度と物理的妥当性の点から見れば、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-06-26T00:08:29Z)
• Towards Precise 3D Human Pose Estimation with Multi-Perspective Spatial-Temporal Relational Transformers [28.38686299271394]
  人間のポーズ検出のための3次元シーケンス・ツー・シーケンス(seq2seq)フレームワークを提案する。 まず、空間モジュールは人物のポーズ特徴を画像内コンテンツで表現し、フレーム・イメージ関係モジュールは時間的関係を抽出する。 提案手法は,一般的な3次元ポーズ検出データセットであるHuman3.6Mを用いて評価する。
  論文  参考訳（メタデータ） (2024-01-30T03:00:25Z)
• Beyond the Contact: Discovering Comprehensive Affordance for 3D Objects from Pre-trained 2D Diffusion Models [8.933560282929726]
  我々はComprehensive Affordance(ComA)という新しい余裕表現を導入する。 3Dオブジェクトメッシュが与えられたとき、ComAは相互作用する人間のメッシュにおける相対配向と頂点の近接の分布をモデル化する。 ComAは、連絡先ベースの価格のモデリングにおいて、人間のアノテーションに依存している競争相手よりも優れていることを実証する。
  論文  参考訳（メタデータ） (2024-01-23T18:59:59Z)
• Decaf: Monocular Deformation Capture for Face and Hand Interactions [77.75726740605748]
  本稿では,単眼のRGBビデオから人間の顔と対話する人間の手を3Dで追跡する手法を提案する。 動作中の非剛性面の変形を誘発する定形物体として手をモデル化する。 本手法は,マーカーレスマルチビューカメラシステムで取得した現実的な顔変形を伴う手動・インタラクションキャプチャーデータセットに頼っている。
  論文  参考訳（メタデータ） (2023-09-28T17:59:51Z)
• DECO: Dense Estimation of 3D Human-Scene Contact In The Wild [54.44345845842109]
  SMPL体上の接触を推定するために、身体部分駆動とシーンコンテキスト駆動の両方の注意を用いた新しい3D接触検出器を訓練する。 すべてのベンチマークで既存のSOTAメソッドよりも大幅に優れています。 また、DECが自然画像における多様で挑戦的な現実世界の人間のインタラクションによく当てはまることを定性的に示す。
  論文  参考訳（メタデータ） (2023-09-26T21:21:07Z)
• Reconstructing Three-Dimensional Models of Interacting Humans [38.26269716290761]
  CHI3Dは、正確な3Dモーションキャプチャーデータセットで、631のシーケンスに2525ドルの接触イベントを含む。 FlickrCI3Dは、11,216ドルの画像のデータセットで、14,081ドルの処理と81,233ドルの顔レベルの対応がある。
  論文  参考訳（メタデータ） (2023-08-03T16:20:33Z)
• S$^2$Contact: Graph-based Network for 3D Hand-Object Contact Estimation with Semi-Supervised Learning [70.72037296392642]
  モノクロ画像から接触を学習できる新しい半教師付きフレームワークを提案する。 具体的には、大規模データセットにおける視覚的および幾何学的整合性制約を利用して擬似ラベルを生成する。 より正確な再構築を行うために手動インタラクションを規定するコンタクトマップを使用することの利点を示す。
  論文  参考訳（メタデータ） (2022-08-01T14:05:23Z)
• On Self-Contact and Human Pose [50.96752167102025]
  自己接触による人格推定を著しく改善する新しいデータセットと手法を開発した。 新たな自己接触トレーニングデータにより,保持されていないテストデータと既存の3DPWのようなデータセットの3次元ポーズ推定が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2021-04-07T15:10:38Z)
• SMAP: Single-Shot Multi-Person Absolute 3D Pose Estimation [46.85865451812981]
  本稿では,まず,この2.5D表現に基づいて,まず2.5D表現の集合を回帰し,さらに深部認識部分関連アルゴリズムを用いて3D絶対ポーズを再構成するシステムを提案する。 このような単発ボトムアップ方式により、システムは人物間の深度関係をよりよく学習し、推論し、3Dと2Dの両方のポーズ推定を改善することができる。
  論文  参考訳（メタデータ） (2020-08-26T09:56:07Z)
• Self-Supervised 3D Human Pose Estimation via Part Guided Novel Image Synthesis [72.34794624243281]
  ラベルのないビデオフレームからバリエーションを分離する自己教師付き学習フレームワークを提案する。 3Dポーズと空間部分マップの表現ギャップを埋める、微分可能な形式化により、多様なカメラの動きを持つビデオで操作できる。
  論文  参考訳（メタデータ） (2020-04-09T07:55:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。