論文の概要: Self-Supervised Geometric Correspondence for Category-Level 6D Object Pose Estimation in the Wild

• arxiv url: http://arxiv.org/abs/2210.07199v3
• Date: Mon, 3 Apr 2023 05:35:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-05 00:39:25.630018
• Title: Self-Supervised Geometric Correspondence for Category-Level 6D Object Pose Estimation in the Wild
• Title（参考訳）: 野生におけるカテゴリーレベル6次元物体ポーズ推定のための自己教師あり幾何対応
• Authors: Kaifeng Zhang, Yang Fu, Shubhankar Borse, Hong Cai, Fatih Porikli, Xiaolong Wang
• Abstract要約: 本研究では,大規模現実世界のオブジェクトビデオを直接学習し,カテゴリーレベルの6Dポーズ推定を行う自己教師型学習手法を提案する。 本フレームワークは,対象カテゴリの正準3次元形状を再構成し,入力画像と正準形状との密接な対応を表面埋め込みにより学習する。 意外なことに、人間のアノテーションやシミュレータを使わずに、従来の教師付きあるいは半教師付き画像の半教師付き手法よりも、オンパーまたはそれ以上のパフォーマンスを達成できる。
• 参考スコア（独自算出の注目度）: 47.80637472803838
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While 6D object pose estimation has wide applications across computer vision and robotics, it remains far from being solved due to the lack of annotations. The problem becomes even more challenging when moving to category-level 6D pose, which requires generalization to unseen instances. Current approaches are restricted by leveraging annotations from simulation or collected from humans. In this paper, we overcome this barrier by introducing a self-supervised learning approach trained directly on large-scale real-world object videos for category-level 6D pose estimation in the wild. Our framework reconstructs the canonical 3D shape of an object category and learns dense correspondences between input images and the canonical shape via surface embedding. For training, we propose novel geometrical cycle-consistency losses which construct cycles across 2D-3D spaces, across different instances and different time steps. The learned correspondence can be applied for 6D pose estimation and other downstream tasks such as keypoint transfer. Surprisingly, our method, without any human annotations or simulators, can achieve on-par or even better performance than previous supervised or semi-supervised methods on in-the-wild images. Our project page is: https://kywind.github.io/self-pose .
• Abstract（参考訳）: 6dオブジェクトポーズ推定はコンピュータビジョンとロボティクスに幅広く応用されているが、アノテーションの欠如によって解決されるには程遠い。 カテゴリレベルの6dポーズに移行することで、この問題はさらに難しくなります。 現在のアプローチは、シミュレーションや人間からの収集からアノテーションを活用することで制限されている。 本稿では,カテゴリーレベルの6次元ポーズ推定のために,大規模現実世界のオブジェクトビデオを直接学習する自己教師型学習手法を導入することで,この障壁を克服する。 本フレームワークは,対象カテゴリの正準3次元形状を再構成し,入力画像と正準形状との密接な対応を表面埋め込みにより学習する。 トレーニングのために,2次元3次元空間,異なるインスタンス,異なる時間ステップにまたがるサイクルを構成する新しい幾何学的サイクル整合性損失を提案する。 学習した対応は、6次元ポーズ推定やキーポイント転送などの下流タスクに適用できる。 驚いたことに、この手法は人間のアノテーションやシミュレータを使わずに、以前の監視または半監視された画像のメソッドよりも、ほぼあるいはそれ以上の性能を達成できます。 私たちのプロジェクトページは以下のとおりです。

関連論文リスト

• Unsupervised Learning of Category-Level 3D Pose from Object-Centric Videos [15.532504015622159]
  カテゴリーレベルの3Dポーズ推定は、コンピュータビジョンとロボット工学において基本的に重要な問題である。 カテゴリーレベルの3Dポーズを,カジュアルに撮られた対象中心の動画からのみ推定する学習の課題に取り組む。
  論文  参考訳（メタデータ） (2024-07-05T09:43:05Z)
• FreeZe: Training-free zero-shot 6D pose estimation with geometric and vision foundation models [5.754251195342313]
  私たちは、特定のデータでトレーニングすることなく、同じタスクに取り組む方法を示します。 我々は、事前学習された幾何学的および視覚的基礎モデルの能力を利用する新しいソリューションFreeZeを提案する。 FreeZeは、合成6Dポーズ推定データで広く訓練されたライバルを含む、最先端のアプローチを一貫して上回っている。
  論文  参考訳（メタデータ） (2023-12-01T22:00:14Z)
• Unseen Object 6D Pose Estimation: A Benchmark and Baselines [62.8809734237213]
  本稿では,新しい物体の6次元ポーズ推定をアルゴリズムで行えるようにするための新しいタスクを提案する。 実画像と合成画像の両方でデータセットを収集し、テストセットで最大48個の未確認オブジェクトを収集する。 エンド・ツー・エンドの3D対応ネットワークをトレーニングすることにより、未確認物体と部分ビューRGBD画像との対応点を高精度かつ効率的に見つけることができる。
  論文  参考訳（メタデータ） (2022-06-23T16:29:53Z)
• Coupled Iterative Refinement for 6D Multi-Object Pose Estimation [64.7198752089041]
  既知の3DオブジェクトのセットとRGBまたはRGB-Dの入力画像から、各オブジェクトの6Dポーズを検出して推定する。 我々のアプローチは、ポーズと対応を緊密に結合した方法で反復的に洗練し、アウトレーヤを動的に除去して精度を向上させる。
  論文  参考訳（メタデータ） (2022-04-26T18:00:08Z)
• NeRF-Pose: A First-Reconstruct-Then-Regress Approach for Weakly-supervised 6D Object Pose Estimation [44.42449011619408]
  トレーニング中に2次元オブジェクトセグメンテーションと既知の相対カメラポーズしか必要としないNeRF-Poseという,弱教師付き再構築型パイプラインを提案する。 予測応答から安定かつ正確なポーズを推定するために、NeRF対応RAN+SACアルゴリズムを用いる。 LineMod-Occlusion 実験の結果,提案手法は6次元ポーズ推定法と比較して最先端の精度を持つことがわかった。
  論文  参考訳（メタデータ） (2022-03-09T15:28:02Z)
• 3D Registration for Self-Occluded Objects in Context [66.41922513553367]
  このシナリオを効果的に処理できる最初のディープラーニングフレームワークを紹介します。 提案手法はインスタンスセグメンテーションモジュールとポーズ推定モジュールから構成される。 これにより、高価な反復手順を必要とせず、ワンショットで3D登録を行うことができます。
  論文  参考訳（メタデータ） (2020-11-23T08:05:28Z)
• Shape Prior Deformation for Categorical 6D Object Pose and Size Estimation [62.618227434286]
  RGB-D画像から見えないオブジェクトの6Dポーズとサイズを復元する新しい学習手法を提案する。 本研究では,事前学習したカテゴリ形状からの変形を明示的にモデル化することにより,3次元オブジェクトモデルを再構築するディープネットワークを提案する。
  論文  参考訳（メタデータ） (2020-07-16T16:45:05Z)
• CPS++: Improving Class-level 6D Pose and Shape Estimation From Monocular Images With Self-Supervised Learning [74.53664270194643]
  現代のモノクロ6Dポーズ推定手法は、少数のオブジェクトインスタンスにしか対応できない。 そこで本研究では,計量形状検索と組み合わせて,クラスレベルのモノクル6次元ポーズ推定手法を提案する。 1枚のRGB画像から正確な6Dポーズとメートル法形状を抽出できることを実験的に実証した。
  論文  参考訳（メタデータ） (2020-03-12T15:28:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。