論文の概要: Towards Robust 3D Pose Transfer with Adversarial Learning

• arxiv url: http://arxiv.org/abs/2404.02242v1
• Date: Tue, 2 Apr 2024 19:03:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 19:28:46.498659
• Title: Towards Robust 3D Pose Transfer with Adversarial Learning
• Title（参考訳）: 逆学習によるロバストな3次元姿勢伝達に向けて
• Authors: Haoyu Chen, Hao Tang, Ehsan Adeli, Guoying Zhao,
• Abstract要約: 望ましいポーズをターゲットメッシュに転送することを目的とした3Dポーズ転送は、最も困難な3D生成タスクの1つである。 以前の試みは、よく定義されたパラメトリックな人体モデルや骨格関節を駆動するポーズ源として頼っていた。 3次元外部プレゼンテーション(ポーズ)を効果的に学習するカスタマイズされたMAEである3D-PoseMAEを提案する。
• 参考スコア（独自算出の注目度）: 36.351835328908116
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: 3D pose transfer that aims to transfer the desired pose to a target mesh is one of the most challenging 3D generation tasks. Previous attempts rely on well-defined parametric human models or skeletal joints as driving pose sources. However, to obtain those clean pose sources, cumbersome but necessary pre-processing pipelines are inevitable, hindering implementations of the real-time applications. This work is driven by the intuition that the robustness of the model can be enhanced by introducing adversarial samples into the training, leading to a more invulnerable model to the noisy inputs, which even can be further extended to directly handling the real-world data like raw point clouds/scans without intermediate processing. Furthermore, we propose a novel 3D pose Masked Autoencoder (3D-PoseMAE), a customized MAE that effectively learns 3D extrinsic presentations (i.e., pose). 3D-PoseMAE facilitates learning from the aspect of extrinsic attributes by simultaneously generating adversarial samples that perturb the model and learning the arbitrary raw noisy poses via a multi-scale masking strategy. Both qualitative and quantitative studies show that the transferred meshes given by our network result in much better quality. Besides, we demonstrate the strong generalizability of our method on various poses, different domains, and even raw scans. Experimental results also show meaningful insights that the intermediate adversarial samples generated in the training can successfully attack the existing pose transfer models.
• Abstract（参考訳）: 望ましいポーズをターゲットメッシュに転送することを目的とした3Dポーズ転送は、最も困難な3D生成タスクの1つである。 以前の試みは、よく定義されたパラメトリックな人体モデルや骨格関節を駆動するポーズ源として頼っていた。 しかし、これらのクリーンなポーズソースを得るためには、面倒だが必要な事前処理パイプラインは避けられず、リアルタイムアプリケーションの実装を妨げている。 この研究は、トレーニングに敵対的なサンプルを導入することでモデルの堅牢性を向上できるという直感によって推進され、ノイズの多い入力に対してより控えめなモデルがもたらされ、中間処理なしで生の点雲やスキャンのような実世界のデータを直接扱えるようになる。 さらに,3次元外部プレゼンテーション(ポーズ)を効果的に学習するカスタマイズMAEであるMasked Autoencoder(3D-PoseMAE)を提案する。 3D-PoseMAEは、モデルに摂動する敵対的なサンプルを同時に生成し、マルチスケールマスキング戦略を通じて任意の生ノイズポーズを学習することにより、外在的属性の側面からの学習を容易にする。 定性的かつ定量的な研究は、ネットワークが与えるメッシュの転送によって、品質が大幅に向上することを示している。 さらに,様々なポーズ,異なるドメイン,さらには生スキャンに対して,本手法の強い一般化性を示す。 また, 実験結果から, 既存のポーズ伝達モデルに対して, 中間対向サンプルが攻撃可能であるという有意義な知見が得られた。

関連論文リスト

• Enhancing Generalizability of Representation Learning for Data-Efficient 3D Scene Understanding [50.448520056844885]
  本研究では,実世界のパターンを持つ多様な合成シーンを生成可能なベイズネットワークを提案する。 一連の実験は、既存の最先端の事前学習手法に比べて、我々の手法が一貫した優位性を示す。
  論文  参考訳（メタデータ） (2024-06-17T07:43:53Z)
• Learning 3D-Aware GANs from Unposed Images with Template Feature Field [33.32761749864555]
  この研究は、未提示の画像から3D対応のGANを学習することを目的としている。 学習テンプレート特徴場(TeFF)を用いたトレーニング画像のオンザフライポーズ推定を提案する。
  論文  参考訳（メタデータ） (2024-04-08T17:42:08Z)
• 3D Adversarial Augmentations for Robust Out-of-Domain Predictions [115.74319739738571]
  ドメイン外データへの一般化の改善に注力する。 対象を逆向きに変形させるベクトルの集合を学習する。 本研究では,学習したサンプル非依存ベクトルをモデルトレーニング時に利用可能なオブジェクトに適用することにより,対数拡大を行う。
  論文  参考訳（メタデータ） (2023-08-29T17:58:55Z)
• Unsupervised 3D Pose Transfer with Cross Consistency and Dual Reconstruction [50.94171353583328]
  3Dポーズ転送の目標は、アイデンティティ情報を保存しながら、ソースメッシュからターゲットメッシュにポーズを転送することである。 深層学習に基づく手法は、3Dポーズ転送の効率と性能を改善した。 X-DualNetは、教師なしの3Dポーズ転送を可能にするシンプルで効果的なアプローチである。
  論文  参考訳（メタデータ） (2022-11-18T15:09:56Z)
• Advancing 3D Medical Image Analysis with Variable Dimension Transform based Supervised 3D Pre-training [45.90045513731704]
  本稿では,革新的でシンプルな3Dネットワーク事前学習フレームワークを再考する。 再設計された3Dネットワークアーキテクチャにより、データ不足の問題に対処するために、修正された自然画像が使用される。 4つのベンチマークデータセットに関する総合的な実験により、提案した事前学習モデルが収束を効果的に加速できることが示されている。
  論文  参考訳（メタデータ） (2022-01-05T03:11:21Z)
• Unsupervised Cross-Modal Alignment for Multi-Person 3D Pose Estimation [52.94078950641959]
  マルチパーソン・ヒューマン・ポーズ推定のためのデプロイフレンドリーで高速なボトムアップ・フレームワークを提案する。 我々は,人物の位置を対応する3Dポーズ表現と統一する,多人数の3Dポーズのニューラル表現を採用する。 ペア化された2Dまたは3Dポーズアノテーションが利用できない実用的な配置パラダイムを提案する。
  論文  参考訳（メタデータ） (2020-08-04T07:54:25Z)
• Self-Supervised 3D Human Pose Estimation via Part Guided Novel Image Synthesis [72.34794624243281]
  ラベルのないビデオフレームからバリエーションを分離する自己教師付き学習フレームワークを提案する。 3Dポーズと空間部分マップの表現ギャップを埋める、微分可能な形式化により、多様なカメラの動きを持つビデオで操作できる。
  論文  参考訳（メタデータ） (2020-04-09T07:55:01Z)
• Weakly-Supervised 3D Human Pose Learning via Multi-view Images in the Wild [101.70320427145388]
  本稿では、3Dアノテーションを必要としない弱教師付きアプローチを提案し、ラベルのないマルチビューデータから3Dポーズを推定する。 提案手法を2つの大規模データセット上で評価する。
  論文  参考訳（メタデータ） (2020-03-17T08:47:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。