論文の概要: Unsupervised Learning of Category-Level 3D Pose from Object-Centric Videos

• arxiv url: http://arxiv.org/abs/2407.04384v1
• Date: Fri, 5 Jul 2024 09:43:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-08 13:50:07.568851
• Title: Unsupervised Learning of Category-Level 3D Pose from Object-Centric Videos
• Title（参考訳）: 物体中心映像からのカテゴリーレベル3次元画像の教師なし学習
• Authors: Leonhard Sommer, Artur Jesslen, Eddy Ilg, Adam Kortylewski,
• Abstract要約: カテゴリーレベルの3Dポーズ推定は、コンピュータビジョンとロボット工学において基本的に重要な問題である。 カテゴリーレベルの3Dポーズを,カジュアルに撮られた対象中心の動画からのみ推定する学習の課題に取り組む。
• 参考スコア（独自算出の注目度）: 15.532504015622159
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Category-level 3D pose estimation is a fundamentally important problem in computer vision and robotics, e.g. for embodied agents or to train 3D generative models. However, so far methods that estimate the category-level object pose require either large amounts of human annotations, CAD models or input from RGB-D sensors. In contrast, we tackle the problem of learning to estimate the category-level 3D pose only from casually taken object-centric videos without human supervision. We propose a two-step pipeline: First, we introduce a multi-view alignment procedure that determines canonical camera poses across videos with a novel and robust cyclic distance formulation for geometric and appearance matching using reconstructed coarse meshes and DINOv2 features. In a second step, the canonical poses and reconstructed meshes enable us to train a model for 3D pose estimation from a single image. In particular, our model learns to estimate dense correspondences between images and a prototypical 3D template by predicting, for each pixel in a 2D image, a feature vector of the corresponding vertex in the template mesh. We demonstrate that our method outperforms all baselines at the unsupervised alignment of object-centric videos by a large margin and provides faithful and robust predictions in-the-wild. Our code and data is available at https://github.com/GenIntel/uns-obj-pose3d.
• Abstract（参考訳）: カテゴリーレベルの3Dポーズ推定は、コンピュータビジョンとロボティクスにおいて、例えばエンボディエージェントや3D生成モデルのトレーニングにおいて、根本的な重要な問題である。 しかし,分類レベルのオブジェクトのポーズを推定するには,大量のアノテーション,CADモデル,あるいはRGB-Dセンサからの入力が必要である。 対照的に、我々は、人間の監督なしに、カジュアルに撮られた対象中心の動画からのみ、カテゴリーレベルの3Dポーズを推定する学習の課題に取り組む。 まず、再構成された粗いメッシュとDINOv2特徴を用いた幾何学的および外観整合のための、新規で堅牢な環状距離の定式化により、ビデオ間での標準カメラのポーズを決定する多視点アライメント手順を提案する。 2番目のステップでは、標準ポーズと再構成メッシュにより、1つの画像から3次元ポーズ推定のためのモデルを訓練することができる。 特に,2次元画像の各画素について,テンプレートメッシュ内の対応する頂点の特徴ベクトルを予測することにより,画像と原型3次元テンプレートとの密接な対応を推定する。 提案手法は,対象中心ビデオの教師なしアライメントにおいて,大きなマージンで全てのベースラインを上回り,忠実で堅牢な予測を提供することを示す。 私たちのコードとデータはhttps://github.com/GenIntel/uns-obj-pose3dで公開されています。

関連論文リスト

• Generating 3D-Consistent Videos from Unposed Internet Photos [68.944029293283]
  カメラパラメータなどの3Dアノテーションを使わずに,スケーラブルな3D対応ビデオモデルをトレーニングする。 その結果,映像やマルチビューインターネット写真などの2次元データのみを用いて,シーンレベルの3D学習をスケールアップできることが示唆された。
  論文  参考訳（メタデータ） (2024-11-20T18:58:31Z)
• SpaRP: Fast 3D Object Reconstruction and Pose Estimation from Sparse Views [36.02533658048349]
  本研究では,3次元テクスチャメッシュを再構成し,スパースビュー画像に対する相対カメラのポーズを推定する新しい手法であるSpaRPを提案する。 SpaRPは2次元拡散モデルから知識を抽出し、それらを微調整し、スパースビュー間の3次元空間関係を暗黙的に推論する。 テクスチャ化されたメッシュを生成するのに、わずか20秒しかかからず、カメラは入力ビューにポーズする。
  論文  参考訳（メタデータ） (2024-08-19T17:53:10Z)
• Self-learning Canonical Space for Multi-view 3D Human Pose Estimation [57.969696744428475]
  マルチビュー3次元人間のポーズ推定は、自然に単一ビューのポーズ推定よりも優れている。 これらの情報の正確な注釈を得るのは難しい。 完全自己管理型多視点アグリゲーションネットワーク(CMANet)を提案する。 CMANetは、大規模で質的な分析において最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2024-03-19T04:54:59Z)
• End-to-End Learning of Multi-category 3D Pose and Shape Estimation [128.881857704338]
  本稿では,画像から2次元キーポイントを同時に検出し,それらを3次元に引き上げるエンド・ツー・エンド手法を提案する。 提案手法は2次元キーポイントアノテーションからのみ2次元検出と3次元リフトを学習する。 画像から3D学習へのエンドツーエンド化に加えて,1つのニューラルネットワークを用いて複数のカテゴリからのオブジェクトも処理する。
  論文  参考訳（メタデータ） (2021-12-19T17:10:40Z)
• Learning Temporal 3D Human Pose Estimation with Pseudo-Labels [3.0954251281114513]
  自己監督型3次元ポーズ推定のための簡易かつ効果的なアプローチを提案する。 我々は、マルチビューカメラシステムの2Dボディポーズ推定を三角測量に頼っている。 提案手法はHuman3.6MとMPI-INF-3DHPベンチマークにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-10-14T17:40:45Z)
• Self-Supervised 3D Human Pose Estimation with Multiple-View Geometry [2.7541825072548805]
  本稿では,複数視点カメラシステムに基づく1人の人物の3次元ポーズ推定のための自己教師付き学習アルゴリズムを提案する。 そこで本研究では,2次元・3次元の立体ポーズが不要な4自由度関数学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-08-17T17:31:24Z)
• TriPose: A Weakly-Supervised 3D Human Pose Estimation via Triangulation from Video [23.00696619207748]
  ビデオから3D人間のポーズを推定することは難しい問題です。 3Dヒューマンポーズアノテーションの欠如は、教師付きトレーニングと、見えないデータセットへの一般化の大きな障害です。 3dアノテーションやキャリブレーションカメラを必要としない弱い教師付きトレーニングスキームを提案する。
  論文  参考訳（メタデータ） (2021-05-14T00:46:48Z)
• Canonical 3D Deformer Maps: Unifying parametric and non-parametric methods for dense weakly-supervised category reconstruction [79.98689027127855]
  独立オブジェクトの2次元画像の集合から学習できる共通オブジェクトカテゴリの3次元形状の表現を提案する。 提案手法は, パラメトリック変形モデル, 非パラメトリック3次元再構成, 標準埋め込みの概念に基づく新しい手法で構築する。 顔、車、鳥の野生のデータセットを3Dで再現することで、最先端の成果が得られます。
  論文  参考訳（メタデータ） (2020-08-28T15:44:05Z)
• Self-Supervised 3D Human Pose Estimation via Part Guided Novel Image Synthesis [72.34794624243281]
  ラベルのないビデオフレームからバリエーションを分離する自己教師付き学習フレームワークを提案する。 3Dポーズと空間部分マップの表現ギャップを埋める、微分可能な形式化により、多様なカメラの動きを持つビデオで操作できる。
  論文  参考訳（メタデータ） (2020-04-09T07:55:01Z)
• Lightweight Multi-View 3D Pose Estimation through Camera-Disentangled Representation [57.11299763566534]
  空間校正カメラで撮影した多視点画像から3次元ポーズを復元する手法を提案する。 我々は3次元形状を利用して、入力画像をカメラ視点から切り離したポーズの潜在表現に融合する。 アーキテクチャは、カメラプロジェクション演算子に学習した表現を条件付け、ビュー当たりの正確な2次元検出を生成する。
  論文  参考訳（メタデータ） (2020-04-05T12:52:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。