論文の概要: Self-supervised Human Mesh Recovery with Cross-Representation Alignment

• arxiv url: http://arxiv.org/abs/2209.04596v1
• Date: Sat, 10 Sep 2022 04:47:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-13 12:20:21.590194
• Title: Self-supervised Human Mesh Recovery with Cross-Representation Alignment
• Title（参考訳）: クロス表現アライメントを用いた自己監視型メッシュリカバリ
• Authors: Xuan Gong, Meng Zheng, Benjamin Planche, Srikrishna Karanam, Terrence Chen, David Doermann, and Ziyan Wu
• Abstract要約: 自己教師付きヒューマンメッシュリカバリ手法は、3Dアノテーション付きベンチマークデータセットの可用性と多様性が制限されているため、一般化性が低い。 頑健だがスパースな表現(2Dキーポイント)からの相補的情報を利用した相互表現アライメントを提案する。 この適応的相互表現アライメントは、偏差から明示的に学習し、相補的な情報(疎表現からの豊かさと密表現からの堅牢さ)をキャプチャする。
• 参考スコア（独自算出の注目度）: 20.69546341109787
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fully supervised human mesh recovery methods are data-hungry and have poor generalizability due to the limited availability and diversity of 3D-annotated benchmark datasets. Recent progress in self-supervised human mesh recovery has been made using synthetic-data-driven training paradigms where the model is trained from synthetic paired 2D representation (e.g., 2D keypoints and segmentation masks) and 3D mesh. However, on synthetic dense correspondence maps (i.e., IUV) few have been explored since the domain gap between synthetic training data and real testing data is hard to address for 2D dense representation. To alleviate this domain gap on IUV, we propose cross-representation alignment utilizing the complementary information from the robust but sparse representation (2D keypoints). Specifically, the alignment errors between initial mesh estimation and both 2D representations are forwarded into regressor and dynamically corrected in the following mesh regression. This adaptive cross-representation alignment explicitly learns from the deviations and captures complementary information: robustness from sparse representation and richness from dense representation. We conduct extensive experiments on multiple standard benchmark datasets and demonstrate competitive results, helping take a step towards reducing the annotation effort needed to produce state-of-the-art models in human mesh estimation.
• Abstract（参考訳）: 完全に監視されたヒトメッシュのリカバリ手法は,3dアノテートされたベンチマークデータセットの可用性と多様性が限られているため,汎用性が乏しい。 近年、合成データ駆動型トレーニングパラダイムを用いて、合成2次元表現(例えば、2Dキーポイントとセグメンテーションマスク)と3Dメッシュからモデルを訓練している。 しかし,合成高次対応写像(iuv)では,合成訓練データと実テストデータとの領域ギャップが2次元高次表現では解決しにくいため,ほとんど研究されていない。 iuv上のこの領域間隙を緩和するために,ロバストだがスパースな表現(2dキーポイント)からの補完情報を利用した相互表現アライメントを提案する。 具体的には,初期メッシュ推定と2次元表現のアライメント誤差を回帰器に転送し,次のメッシュ回帰で動的に補正する。 この適応的なクロス表現アライメントは偏差から明示的に学習し、疎表現からのロバスト性、高密度表現からの豊かさといった補完的な情報を取り込む。 我々は、複数の標準ベンチマークデータセットに関する広範な実験を行い、競争力のある結果を示し、人間のメッシュ推定における最先端モデルの生成に必要なアノテーションの労力を減らすために役立ちます。

関連論文リスト

• DiHuR: Diffusion-Guided Generalizable Human Reconstruction [51.31232435994026]
  一般化可能なヒト3次元再構成のための拡散誘導モデルであるDiHuRを導入し,スパース・ミニマル・オーバーラップ画像からのビュー合成について述べる。 提案手法は, 一般化可能なフィードフォワードモデルと2次元拡散モデルとの2つのキー前処理をコヒーレントな方法で統合する。
  論文  参考訳（メタデータ） (2024-11-16T03:52:23Z)
• Enhancing Generalizability of Representation Learning for Data-Efficient 3D Scene Understanding [50.448520056844885]
  本研究では,実世界のパターンを持つ多様な合成シーンを生成可能なベイズネットワークを提案する。 一連の実験は、既存の最先端の事前学習手法に比べて、我々の手法が一貫した優位性を示す。
  論文  参考訳（メタデータ） (2024-06-17T07:43:53Z)
• 3D Adversarial Augmentations for Robust Out-of-Domain Predictions [115.74319739738571]
  ドメイン外データへの一般化の改善に注力する。 対象を逆向きに変形させるベクトルの集合を学習する。 本研究では,学習したサンプル非依存ベクトルをモデルトレーニング時に利用可能なオブジェクトに適用することにより,対数拡大を行う。
  論文  参考訳（メタデータ） (2023-08-29T17:58:55Z)
• Progressive Multi-view Human Mesh Recovery with Self-Supervision [68.60019434498703]
  既存のソリューションは通常、新しい設定への一般化性能の低下に悩まされる。 マルチビューヒューマンメッシュリカバリのためのシミュレーションに基づく新しいトレーニングパイプラインを提案する。
  論文  参考訳（メタデータ） (2022-12-10T06:28:29Z)
• Uncertainty-Aware Adaptation for Self-Supervised 3D Human Pose Estimation [70.32536356351706]
  本稿では、2つの出力ヘッドを2つの異なる構成にサブスクライブする共通のディープネットワークバックボーンを構成するMPP-Netを紹介する。 ポーズと関節のレベルで予測の不確実性を定量化するための適切な尺度を導出する。 本稿では,提案手法の総合評価を行い,ベンチマークデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2022-03-29T07:14:58Z)
• A Lightweight Graph Transformer Network for Human Mesh Reconstruction from 2D Human Pose [8.816462200869445]
  GTRSは2次元の人間のポーズから人間のメッシュを再構築する。 我々は、Human3.6Mと3DPWデータセットの広範囲な評価により、GTRSの効率性と一般化を実証する。
  論文  参考訳（メタデータ） (2021-11-24T18:48:03Z)
• 3D Dense Geometry-Guided Facial Expression Synthesis by Adversarial Learning [54.24887282693925]
  本稿では,3次元密度(深度,表面正規度)情報を表現操作に用いる新しいフレームワークを提案する。 既製の最先端3D再構成モデルを用いて深度を推定し,大規模RGB-Depthデータセットを作成する。 実験により,提案手法は競争ベースラインと既存の芸術を大きなマージンで上回ることを示した。
  論文  参考訳（メタデータ） (2020-09-30T17:12:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。