論文の概要: Unsupervised 3D Pose Transfer with Cross Consistency and Dual Reconstruction

• arxiv url: http://arxiv.org/abs/2211.10278v1
• Date: Fri, 18 Nov 2022 15:09:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-21 15:08:33.622995
• Title: Unsupervised 3D Pose Transfer with Cross Consistency and Dual Reconstruction
• Title（参考訳）: クロス一貫性とデュアルリコンストラクションによる教師なし3次元ポーズ転送
• Authors: Chaoyue Song, Jiacheng Wei, Ruibo Li, Fayao Liu and Guosheng Lin
• Abstract要約: 3Dポーズ転送の目標は、アイデンティティ情報を保存しながら、ソースメッシュからターゲットメッシュにポーズを転送することである。 深層学習に基づく手法は、3Dポーズ転送の効率と性能を改善した。 X-DualNetは、教師なしの3Dポーズ転送を可能にするシンプルで効果的なアプローチである。
• 参考スコア（独自算出の注目度）: 50.94171353583328
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The goal of 3D pose transfer is to transfer the pose from the source mesh to the target mesh while preserving the identity information (e.g., face, body shape) of the target mesh. Deep learning-based methods improved the efficiency and performance of 3D pose transfer. However, most of them are trained under the supervision of the ground truth, whose availability is limited in real-world scenarios. In this work, we present X-DualNet, a simple yet effective approach that enables unsupervised 3D pose transfer. In X-DualNet, we introduce a generator $G$ which contains correspondence learning and pose transfer modules to achieve 3D pose transfer. We learn the shape correspondence by solving an optimal transport problem without any key point annotations and generate high-quality meshes with our elastic instance normalization (ElaIN) in the pose transfer module. With $G$ as the basic component, we propose a cross consistency learning scheme and a dual reconstruction objective to learn the pose transfer without supervision. Besides that, we also adopt an as-rigid-as-possible deformer in the training process to fine-tune the body shape of the generated results. Extensive experiments on human and animal data demonstrate that our framework can successfully achieve comparable performance as the state-of-the-art supervised approaches.
• Abstract（参考訳）: 3dポーズ転送の目標は、ターゲットメッシュのアイデンティティ情報(例えば、顔、体形)を保持しながら、ソースメッシュからターゲットメッシュにポーズを転送することである。 深層学習に基づく手法は、3Dポーズ転送の効率と性能を改善した。 しかし、それらのほとんどは、実際のシナリオでの使用に制限がある地上真理の監督の下で訓練されている。 本稿では,教師なしの3次元ポーズ転送を可能にする,単純かつ効果的なアプローチであるX-DualNetを提案する。 X-DualNetでは、3Dポーズ転送を実現するために、対応学習とポーズ転送モジュールを含むジェネレータ$G$を導入する。 キーポイントアノテーションを使わずに最適なトランスポート問題を解決することで形状対応を学び、ポーズ転送モジュールのelastic instance normalization (elain) で高品質のメッシュを生成する。 本稿では,基本的なコンポーネントとして$G$を用いて,相互整合性学習手法と2つの再構成目標を提案する。 さらに, 生成した結果の体形を微調整する訓練プロセスにおいて, as-rigid-as-possible deformer も採用した。 人間と動物のデータに関する広範な実験は、最先端の監視アプローチとして、我々のフレームワークが同等のパフォーマンスを達成できることを示しています。

関連論文リスト

• Enhancing Generalizability of Representation Learning for Data-Efficient 3D Scene Understanding [50.448520056844885]
  本研究では,実世界のパターンを持つ多様な合成シーンを生成可能なベイズネットワークを提案する。 一連の実験は、既存の最先端の事前学習手法に比べて、我々の手法が一貫した優位性を示す。
  論文  参考訳（メタデータ） (2024-06-17T07:43:53Z)
• Towards Robust 3D Pose Transfer with Adversarial Learning [36.351835328908116]
  望ましいポーズをターゲットメッシュに転送することを目的とした3Dポーズ転送は、最も困難な3D生成タスクの1つである。 以前の試みは、よく定義されたパラメトリックな人体モデルや骨格関節を駆動するポーズ源として頼っていた。 3次元外部プレゼンテーション(ポーズ)を効果的に学習するカスタマイズされたMAEである3D-PoseMAEを提案する。
  論文  参考訳（メタデータ） (2024-04-02T19:03:39Z)
• Cross-domain and Cross-dimension Learning for Image-to-Graph Transformers [50.576354045312115]
  直接画像からグラフへの変換は、単一のモデルにおけるオブジェクトの検出と関係予測を解決するための課題である。 画像-グラフ変換器のクロスドメインおよびクロス次元変換学習を可能にする一連の手法を提案する。 そこで我々は,2次元の衛星画像上でモデルを事前学習し,それを2次元および3次元の異なるターゲット領域に適用する。
  論文  参考訳（メタデータ） (2024-03-11T10:48:56Z)
• Weakly-supervised 3D Pose Transfer with Keypoints [57.66991032263699]
  3Dポーズ転送の主な課題は、1) 異なる文字で同じポーズを行うペアトレーニングデータの欠如、2) ターゲットメッシュからポーズと形状情報を分離すること、3) 異なるトポロジを持つメッシュに適用することの難しさである。 本稿では,これらの課題を克服するためのキーポイントベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-25T12:40:24Z)
• MAPConNet: Self-supervised 3D Pose Transfer with Mesh and Point Contrastive Learning [32.97354536302333]
  3次元ポーズ転送は、ソースジオメトリのポーズを、ターゲットアイデンティティを保存したターゲットジオメトリに転送することを目的とした、困難な生成タスクである。 現在のポーズ伝達法は、エンドツーエンドの対応学習を可能にするが、監督のための基礎的真理として望ましい最終的な出力を必要とする。 本稿では、教師なし、半教師なし、あるいは完全に教師付き設定で訓練できる3Dポーズ転送のための新しい自己教師型フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-26T20:42:40Z)
• PoseTriplet: Co-evolving 3D Human Pose Estimation, Imitation, and Hallucination under Self-supervision [102.48681650013698]
  既存の自己監督型3次元ポーズ推定スキームは、学習を導くための弱い監督に大きく依存している。 そこで我々は,2D-3Dのポーズペアを明示的に生成し,監督を増強する,新しい自己監督手法を提案する。 これは、ポーズ推定器とポーズ幻覚器を併用して学習する強化学習ベースの模倣器を導入することで可能となる。
  論文  参考訳（メタデータ） (2022-03-29T14:45:53Z)
• Geometry-Contrastive Transformer for Generalized 3D Pose Transfer [95.56457218144983]
  この研究の直感は、与えられたメッシュ間の幾何学的不整合を強力な自己認識機構で知覚することである。 本研究では,グローバルな幾何学的不整合に対する3次元構造的知覚能力を有する新しい幾何学コントラスト変換器を提案する。 本稿では, クロスデータセット3次元ポーズ伝達タスクのための半合成データセットとともに, 潜時等尺正則化モジュールを提案する。
  論文  参考訳（メタデータ） (2021-12-14T13:14:24Z)
• 3D Pose Transfer with Correspondence Learning and Mesh Refinement [41.92922228475176]
  3Dポーズ転送は、最も困難な3D生成タスクの1つである。 本研究では,人間と動物のメッシュの3次元ポーズ伝達を支援するための通信抑制ネットワークを提案する。
  論文  参考訳（メタデータ） (2021-09-30T11:49:03Z)
• A 3D Mesh-based Lifting-and-Projection Network for Human Pose Transfer [25.681557081096805]
  本稿では3次元メッシュ空間でポーズ転送を行うためのリフト・アンド・プロジェクションフレームワークを提案する。 以前の人体形状を活用するために、LPNetは体メッシュのトポロジ的情報を利用する。 テクスチャの詳細を保存するために、LPNetが生成した機能を、ソースフォアグラウンドイメージで強化するためにADCNetが導入された。
  論文  参考訳（メタデータ） (2021-09-24T03:03:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。