論文の概要: Appearance Consensus Driven Self-Supervised Human Mesh Recovery

• arxiv url: http://arxiv.org/abs/2008.01341v1
• Date: Tue, 4 Aug 2020 05:40:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-03 00:22:22.234391
• Title: Appearance Consensus Driven Self-Supervised Human Mesh Recovery
• Title（参考訳）: 出現コンセンサス駆動型自己監視型ヒトメッシュリカバリ
• Authors: Jogendra Nath Kundu, Mugalodi Rakesh, Varun Jampani, Rahul Mysore Venkatesh, R. Venkatesh Babu
• Abstract要約: 単眼画像から人間のポーズや形状を推定する自己教師付きメッシュ回復フレームワークを提案する。 標準モデルに基づく3次元ポーズ推定ベンチマークの最先端結果を得る。 その結果、色付きメッシュ予測により、ポーズや形状推定以外にも、さまざまな外観関連タスクにフレームワークの使用が開放される。
• 参考スコア（独自算出の注目度）: 67.20942777949793
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a self-supervised human mesh recovery framework to infer human pose and shape from monocular images in the absence of any paired supervision. Recent advances have shifted the interest towards directly regressing parameters of a parametric human model by supervising them on large-scale datasets with 2D landmark annotations. This limits the generalizability of such approaches to operate on images from unlabeled wild environments. Acknowledging this we propose a novel appearance consensus driven self-supervised objective. To effectively disentangle the foreground (FG) human we rely on image pairs depicting the same person (consistent FG) in varied pose and background (BG) which are obtained from unlabeled wild videos. The proposed FG appearance consistency objective makes use of a novel, differentiable Color-recovery module to obtain vertex colors without the need for any appearance network; via efficient realization of color-picking and reflectional symmetry. We achieve state-of-the-art results on the standard model-based 3D pose estimation benchmarks at comparable supervision levels. Furthermore, the resulting colored mesh prediction opens up the usage of our framework for a variety of appearance-related tasks beyond the pose and shape estimation, thus establishing our superior generalizability.
• Abstract（参考訳）: 我々は,対の監視がなければ,単眼画像から人間のポーズや形状を推測する自己監視型メッシュリカバリフレームワークを提案する。 近年の進歩により、パラメトリック・ヒューマン・モデルのパラメータを2次元のランドマークアノテーションによる大規模データセットに監督することで直接レグレッションする関心が移っている。 これにより、ラベルのない野生環境から画像を操作するためのそのようなアプローチの一般化が制限される。 そこで我々は,新しい外観コンセンサスによる自己監督的目標を提案する。 前景(FG)の人間を効果的に切り離すには、未ラベルの野生ビデオから得られるさまざまなポーズと背景(BG)において同一人物(一貫性のあるFG)を描いた画像対に依存する。 提案したFGの外観整合性は, カラーピッキングと反射対称性の効率的な実現を通じて, 頂点色を得るために, 新たな可微分色回復モジュールを用いている。 我々は,標準的なモデルに基づく3Dポーズ推定ベンチマークを,同等の監督レベルで実現した。 さらに,色付きメッシュ予測は,ポーズや形状推定を超えて,様々な外観関連タスクに対する我々のフレームワークの利用を開放し,優れた一般化性を確立した。

関連論文リスト

• Non-Local Latent Relation Distillation for Self-Adaptive 3D Human Pose Estimation [63.199549837604444]
  3次元ポーズ推定アプローチは、強い(2D/3Dポーズ)または弱い(複数ビューまたは深さ)ペアによる監督の異なる形態を利用する。 我々は3Dポーズ学習を,ラベル付きソースドメインから完全に損なわれないターゲットへのタスク知識の転送を目的とした,自己指導型適応問題として捉えた。 我々は、異なる自己適応設定を評価し、標準ベンチマークで最先端の3Dポーズ推定性能を示す。
  論文  参考訳（メタデータ） (2022-04-05T03:52:57Z)
• Uncertainty-Aware Adaptation for Self-Supervised 3D Human Pose Estimation [70.32536356351706]
  本稿では、2つの出力ヘッドを2つの異なる構成にサブスクライブする共通のディープネットワークバックボーンを構成するMPP-Netを紹介する。 ポーズと関節のレベルで予測の不確実性を定量化するための適切な尺度を導出する。 本稿では,提案手法の総合評価を行い,ベンチマークデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2022-03-29T07:14:58Z)
• Unsupervised View-Invariant Human Posture Representation [28.840986167408037]
  本研究では、2次元画像からビュー不変な3次元ポーズ表現を抽出することを学ぶ新しい教師なしアプローチを提案する。 本モデルは,同時フレーム間の人間のポーズの内在的なビュー不変性を活用することで訓練される。 RGB画像と深度画像の非教師なしのクロスビュー動作分類精度の改善を示す。
  論文  参考訳（メタデータ） (2021-09-17T19:23:31Z)
• THUNDR: Transformer-based 3D HUmaN Reconstruction with Markers [67.8628917474705]
  THUNDRは、人の3Dポーズと形状を再構築するトランスフォーマーベースのディープニューラルネットワーク手法である。 完全教師付きモデルと自己教師型モデルの両方に対して,Human3.6Mと3DPWの最先端結果を示す。 野生で収集された難易度の高い人間のポーズに対して, 非常に堅固な3次元再構成性能を観察した。
  論文  参考訳（メタデータ） (2021-06-17T09:09:24Z)
• Kinematic-Structure-Preserved Representation for Unsupervised 3D Human Pose Estimation [58.72192168935338]
  大規模インスタディオデータセットの監視を用いて開発された人間のポーズ推定モデルの一般化可能性については疑問が残る。 本稿では,2対あるいは2対の弱い監督者によって抑制されない,新しいキネマティック構造保存型非教師付き3次元ポーズ推定フレームワークを提案する。 提案モデルでは,前方運動学,カメラ投影,空間マップ変換という3つの連続的な微分可能変換を用いる。
  論文  参考訳（メタデータ） (2020-06-24T23:56:33Z)
• Self-Supervised 3D Human Pose Estimation via Part Guided Novel Image Synthesis [72.34794624243281]
  ラベルのないビデオフレームからバリエーションを分離する自己教師付き学習フレームワークを提案する。 3Dポーズと空間部分マップの表現ギャップを埋める、微分可能な形式化により、多様なカメラの動きを持つビデオで操作できる。
  論文  参考訳（メタデータ） (2020-04-09T07:55:01Z)
• Introducing Pose Consistency and Warp-Alignment for Self-Supervised 6D Object Pose Estimation in Color Images [38.9238085806793]
  オブジェクトの6Dポーズを推定する最も成功したアプローチは、現実世界の画像で注釈付きのポーズで学習を監督することによって、ニューラルネットワークを訓練する。 既存のニューラルネットワークベースのアプローチの上に適用可能な2段階の6Dオブジェクトポーズ推定フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-27T11:53:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。