論文の概要: Weakly-supervised 3D Pose Transfer with Keypoints
- arxiv url: http://arxiv.org/abs/2307.13459v1
- Date: Tue, 25 Jul 2023 12:40:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-26 17:16:55.464004
- Title: Weakly-supervised 3D Pose Transfer with Keypoints
- Title（参考訳）: キーポイントを用いた弱教師付き3次元ポーズ転送
- Authors: Jinnan Chen, Chen Li, Gim Hee Lee
- Abstract要約: 3Dポーズ転送の主な課題は、1) 異なる文字で同じポーズを行うペアトレーニングデータの欠如、2) ターゲットメッシュからポーズと形状情報を分離すること、3) 異なるトポロジを持つメッシュに適用することの難しさである。
本稿では,これらの課題を克服するためのキーポイントベースのフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 64.76663834329808
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The main challenges of 3D pose transfer are: 1) Lack of paired training data
with different characters performing the same pose; 2) Disentangling pose and
shape information from the target mesh; 3) Difficulty in applying to meshes
with different topologies. We thus propose a novel weakly-supervised
keypoint-based framework to overcome these difficulties. Specifically, we use a
topology-agnostic keypoint detector with inverse kinematics to compute
transformations between the source and target meshes. Our method only requires
supervision on the keypoints, can be applied to meshes with different
topologies and is shape-invariant for the target which allows extraction of
pose-only information from the target meshes without transferring shape
information. We further design a cycle reconstruction to perform
self-supervised pose transfer without the need for ground truth deformed mesh
with the same pose and shape as the target and source, respectively. We
evaluate our approach on benchmark human and animal datasets, where we achieve
superior performance compared to the state-of-the-art unsupervised approaches
and even comparable performance with the fully supervised approaches. We test
on the more challenging Mixamo dataset to verify our approach's ability in
handling meshes with different topologies and complex clothes. Cross-dataset
evaluation further shows the strong generalization ability of our approach.
- Abstract（参考訳）: 3Dポーズ転送の主な課題は次のとおりである。
1) 異なる文字が同一のポーズをとるペアトレーニングデータの欠如
2) 対象メッシュからポーズ及び形状情報を分離すること。
3) トポロジの異なるメッシュへの適用の難しさ。
そこで本研究では,これらの課題を克服するためのキーポイントベースフレームワークを提案する。
具体的には、逆キネマティクスを用いた位相非依存キーポイント検出器を用いて、ソースとターゲットメッシュ間の変換を計算する。
提案手法では,キーポイントの監視のみを要し,異なるトポロジを持つメッシュに適用可能であり,形状情報を転送することなく,ターゲットメッシュからポーズのみの情報抽出が可能な形状不変である。
さらに,対象と同一のポーズと形状の接地真理変形メッシュを必要とせず,自己監督型ポーズ転送を行うサイクル再構築を設計する。
ベンチマークによる人間と動物のデータセットのアプローチを評価し、最先端の教師なしのアプローチと比べて優れたパフォーマンスを達成し、完全に教師なしのアプローチと同等のパフォーマンスさえも達成します。
より困難なmixamoデータセット上でテストを行い、異なるトポロジーと複雑な服を持つメッシュを扱うアプローチの能力を検証する。
クロスデータセット評価はさらに、我々のアプローチの強力な一般化能力を示している。
関連論文リスト
- Enhancing Generalizability of Representation Learning for Data-Efficient 3D Scene Understanding [50.448520056844885]
本研究では,実世界のパターンを持つ多様な合成シーンを生成可能なベイズネットワークを提案する。
一連の実験は、既存の最先端の事前学習手法に比べて、我々の手法が一貫した優位性を示す。
論文 参考訳（メタデータ） (2024-06-17T07:43:53Z) - SkelFormer: Markerless 3D Pose and Shape Estimation using Skeletal Transformers [57.46911575980854]
マルチビュー人間のポーズと形状推定のための新しいマーカーレスモーションキャプチャパイプラインであるSkelFormerを紹介する。
提案手法は,まず市販の2次元キーポイント推定器を用いて,大規模インザミルドデータに基づいて事前トレーニングを行い,3次元関節位置を求める。
次に、重雑音観測から、関節の位置をポーズと形状の表現にマッピングする回帰に基づく逆運動性骨格変換器を設計する。
論文 参考訳（メタデータ） (2024-04-19T04:51:18Z) - Diffusion-Driven Self-Supervised Learning for Shape Reconstruction and Pose Estimation [26.982199143972835]
本稿では,多目的形状再構成とカテゴリー的ポーズ推定のための拡散駆動型自己教師ネットワークを提案する。
提案手法は,最先端の自己監督型カテゴリレベルのベースラインを著しく上回り,完全教師型インスタンスレベルのメソッドやカテゴリレベルのメソッドをはるかに上回っている。
論文 参考訳（メタデータ） (2024-03-19T13:43:27Z) - MAPConNet: Self-supervised 3D Pose Transfer with Mesh and Point
Contrastive Learning [32.97354536302333]
3次元ポーズ転送は、ソースジオメトリのポーズを、ターゲットアイデンティティを保存したターゲットジオメトリに転送することを目的とした、困難な生成タスクである。
現在のポーズ伝達法は、エンドツーエンドの対応学習を可能にするが、監督のための基礎的真理として望ましい最終的な出力を必要とする。
本稿では、教師なし、半教師なし、あるいは完全に教師付き設定で訓練できる3Dポーズ転送のための新しい自己教師型フレームワークを提案する。
論文 参考訳（メタデータ） (2023-04-26T20:42:40Z) - Unsupervised 3D Pose Transfer with Cross Consistency and Dual
Reconstruction [50.94171353583328]
3Dポーズ転送の目標は、アイデンティティ情報を保存しながら、ソースメッシュからターゲットメッシュにポーズを転送することである。
深層学習に基づく手法は、3Dポーズ転送の効率と性能を改善した。
X-DualNetは、教師なしの3Dポーズ転送を可能にするシンプルで効果的なアプローチである。
論文 参考訳（メタデータ） (2022-11-18T15:09:56Z) - Geometry-Contrastive Transformer for Generalized 3D Pose Transfer [95.56457218144983]
この研究の直感は、与えられたメッシュ間の幾何学的不整合を強力な自己認識機構で知覚することである。
本研究では,グローバルな幾何学的不整合に対する3次元構造的知覚能力を有する新しい幾何学コントラスト変換器を提案する。
本稿では, クロスデータセット3次元ポーズ伝達タスクのための半合成データセットとともに, 潜時等尺正則化モジュールを提案する。
論文 参考訳（メタデータ） (2021-12-14T13:14:24Z) - DFC: Deep Feature Consistency for Robust Point Cloud Registration [0.4724825031148411]
複雑なアライメントシーンのための学習に基づくアライメントネットワークを提案する。
我々は,3DMatchデータセットとKITTIオドメトリデータセットに対するアプローチを検証する。
論文 参考訳（メタデータ） (2021-11-15T08:27:21Z) - Benchmarking Unsupervised Object Representations for Video Sequences [111.81492107649889]
ViMON, OP3, TBA, SCALORの4つのオブジェクト中心アプローチの知覚能力を比較した。
この結果から,制約のない潜在表現を持つアーキテクチャは,オブジェクト検出やセグメンテーション,トラッキングといった観点から,より強力な表現を学習できる可能性が示唆された。
我々のベンチマークは、より堅牢なオブジェクト中心のビデオ表現を学習するための実りあるガイダンスを提供するかもしれない。
論文 参考訳（メタデータ） (2020-06-12T09:37:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。