論文の概要: L3D-Pose: Lifting Pose for 3D Avatars from a Single Camera in the Wild

• arxiv url: http://arxiv.org/abs/2501.01174v1
• Date: Thu, 02 Jan 2025 10:04:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-05 17:16:23.186707
• Title: L3D-Pose: Lifting Pose for 3D Avatars from a Single Camera in the Wild
• Title（参考訳）: L3D-Pose:野生の1台のカメラから3Dアバターをリフティングする
• Authors: Soumyaratna Debnath, Harish Katti, Shashikant Verma, Shanmuganathan Raman,
• Abstract要約: 3Dポーズ推定は、奥行きを取り入れたより包括的なソリューションを提供するが、動物のための3Dポーズデータセットを作成することは、自然の環境での動的で予測不可能な振る舞いのために難しい。 本研究では,2次元から3次元へのポーズを持ち上げるために,体系的に合成されたデータセットを用いたフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 15.174438063000453
• License:
• Abstract: While 2D pose estimation has advanced our ability to interpret body movements in animals and primates, it is limited by the lack of depth information, constraining its application range. 3D pose estimation provides a more comprehensive solution by incorporating spatial depth, yet creating extensive 3D pose datasets for animals is challenging due to their dynamic and unpredictable behaviours in natural settings. To address this, we propose a hybrid approach that utilizes rigged avatars and the pipeline to generate synthetic datasets to acquire the necessary 3D annotations for training. Our method introduces a simple attention-based MLP network for converting 2D poses to 3D, designed to be independent of the input image to ensure scalability for poses in natural environments. Additionally, we identify that existing anatomical keypoint detectors are insufficient for accurate pose retargeting onto arbitrary avatars. To overcome this, we present a lookup table based on a deep pose estimation method using a synthetic collection of diverse actions rigged avatars perform. Our experiments demonstrate the effectiveness and efficiency of this lookup table-based retargeting approach. Overall, we propose a comprehensive framework with systematically synthesized datasets for lifting poses from 2D to 3D and then utilize this to re-target motion from wild settings onto arbitrary avatars.
• Abstract（参考訳）: 2次元ポーズ推定は動物や霊長類の身体の動きを解釈する能力を向上させるが、深度情報の欠如によって制限され、適用範囲が制限されている。 3Dポーズ推定は、空間的な深さを取り入れたより包括的なソリューションを提供するが、動物のための広範囲な3Dポーズデータセットを作成することは、自然環境における動的で予測不可能な振る舞いのために困難である。 そこで本研究では,アバターとパイプラインを用いて合成データセットを生成し,学習に必要な3Dアノテーションを取得するハイブリッドアプローチを提案する。 本手法では,自然環境下でのポーズのスケーラビリティを確保するため,入力画像とは独立に設計された2次元ポーズを3Dに変換するためのシンプルな注意型MLPネットワークを提案する。 さらに、既存の解剖学的キーポイント検出器は、任意のアバターに正確なポーズ再ターゲティングには不十分であることを確認した。 そこで本研究では,アバターを用いた多種多様なアクションの合成コレクションを用いた深部ポーズ推定法に基づくルックアップテーブルを提案する。 このルックアップ表に基づくリターゲティング手法の有効性と有効性を示す。 全体として,2次元から3次元へのポーズを持ち上げるために,体系的に合成されたデータセットを用いた包括的フレームワークを提案し,これをワイルドセッティングから任意のアバターへの動きに再ターゲットする。

関連論文リスト

• SpaRP: Fast 3D Object Reconstruction and Pose Estimation from Sparse Views [36.02533658048349]
  本研究では,3次元テクスチャメッシュを再構成し,スパースビュー画像に対する相対カメラのポーズを推定する新しい手法であるSpaRPを提案する。 SpaRPは2次元拡散モデルから知識を抽出し、それらを微調整し、スパースビュー間の3次元空間関係を暗黙的に推論する。 テクスチャ化されたメッシュを生成するのに、わずか20秒しかかからず、カメラは入力ビューにポーズする。
  論文  参考訳（メタデータ） (2024-08-19T17:53:10Z)
• MPM: A Unified 2D-3D Human Pose Representation via Masked Pose Modeling [59.74064212110042]
  mpmcanは、3D人間のポーズ推定、クラッドされた2Dポーズからの3Dポーズ推定、3Dポーズ完了をtextocbsingleフレームワークで処理する。 MPI-INF-3DHPにおいて、広く使われているポーズデータセットの広範な実験とアブレーション研究を行い、最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-06-29T10:30:00Z)
• CameraPose: Weakly-Supervised Monocular 3D Human Pose Estimation by Leveraging In-the-wild 2D Annotations [25.05308239278207]
  一つの画像から3次元のポーズ推定を行うための弱教師付きフレームワークであるCameraPoseを提案する。 カメラパラメータブランチを追加することで、Wildの2Dアノテーションをパイプラインに投入して、トレーニングの多様性を高めることができます。 また、2次元ポーズ推定器によって抽出されたノイズの多い2Dキーポイントの品質をさらに向上させるため、信頼誘導損失を有する改良型ネットワークモジュールも導入する。
  論文  参考訳（メタデータ） (2023-01-08T05:07:41Z)
• SPGNet: Spatial Projection Guided 3D Human Pose Estimation in Low Dimensional Space [14.81199315166042]
  本研究では,多次元再投影と教師あり学習を混合した3次元人間のポーズ推定手法を提案する。 提案手法は,データセットHuman3.6Mの推定結果に基づいて,定性的にも定量的にも,多くの最先端手法より優れている。
  論文  参考訳（メタデータ） (2022-06-04T00:51:00Z)
• PoseTriplet: Co-evolving 3D Human Pose Estimation, Imitation, and Hallucination under Self-supervision [102.48681650013698]
  既存の自己監督型3次元ポーズ推定スキームは、学習を導くための弱い監督に大きく依存している。 そこで我々は,2D-3Dのポーズペアを明示的に生成し,監督を増強する,新しい自己監督手法を提案する。 これは、ポーズ推定器とポーズ幻覚器を併用して学習する強化学習ベースの模倣器を導入することで可能となる。
  論文  参考訳（メタデータ） (2022-03-29T14:45:53Z)
• Residual Pose: A Decoupled Approach for Depth-based 3D Human Pose Estimation [18.103595280706593]
  我々は,CNNによる信頼度の高い2次元ポーズ推定の最近の進歩を活用し,深度画像から人物の3次元ポーズを推定する。 提案手法は2つの公開データセットの精度と速度の両面で非常に競争力のある結果が得られる。
  論文  参考訳（メタデータ） (2020-11-10T10:08:13Z)
• SMAP: Single-Shot Multi-Person Absolute 3D Pose Estimation [46.85865451812981]
  本稿では,まず,この2.5D表現に基づいて,まず2.5D表現の集合を回帰し,さらに深部認識部分関連アルゴリズムを用いて3D絶対ポーズを再構成するシステムを提案する。 このような単発ボトムアップ方式により、システムは人物間の深度関係をよりよく学習し、推論し、3Dと2Dの両方のポーズ推定を改善することができる。
  論文  参考訳（メタデータ） (2020-08-26T09:56:07Z)
• Towards Generalization of 3D Human Pose Estimation In The Wild [73.19542580408971]
  3DBodyTex.Poseは、3Dの人間のポーズ推定のタスクに対処するデータセットである。 3DBodyTex.Poseは、さまざまな衣服やポーズで405種類の実際の被写体を含む高品質でリッチなデータを提供する。
  論文  参考訳（メタデータ） (2020-04-21T13:31:58Z)
• Self-Supervised 3D Human Pose Estimation via Part Guided Novel Image Synthesis [72.34794624243281]
  ラベルのないビデオフレームからバリエーションを分離する自己教師付き学習フレームワークを提案する。 3Dポーズと空間部分マップの表現ギャップを埋める、微分可能な形式化により、多様なカメラの動きを持つビデオで操作できる。
  論文  参考訳（メタデータ） (2020-04-09T07:55:01Z)
• Exemplar Fine-Tuning for 3D Human Model Fitting Towards In-the-Wild 3D Human Pose Estimation [107.07047303858664]
  3次元の地平線アノテーションを持つ大規模な人的データセットは、野生では入手が困難である。 既存の2Dデータセットを高品質な3Dポーズマッチングで拡張することで、この問題に対処する。 結果として得られるアノテーションは、3Dのプロシージャネットワークをスクラッチからトレーニングするのに十分である。
  論文  参考訳（メタデータ） (2020-04-07T20:21:18Z)
• Weakly-Supervised 3D Human Pose Learning via Multi-view Images in the Wild [101.70320427145388]
  本稿では、3Dアノテーションを必要としない弱教師付きアプローチを提案し、ラベルのないマルチビューデータから3Dポーズを推定する。 提案手法を2つの大規模データセット上で評価する。
  論文  参考訳（メタデータ） (2020-03-17T08:47:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。