論文の概要: 3D Model-based Zero-Shot Pose Estimation Pipeline
- arxiv url: http://arxiv.org/abs/2305.17934v1
- Date: Mon, 29 May 2023 07:54:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-30 15:48:24.938620
- Title: 3D Model-based Zero-Shot Pose Estimation Pipeline
- Title(参考訳): 3次元モデルに基づくゼロショットポス推定パイプライン
- Authors: Jianqiu Chen, Mingshan Sun, Tianpeng Bao, Rui Zhao, Liwei Wu, Zhenyu
He
- Abstract要約: 本稿では,物体の3次元モデルを利用した完全ゼロショットポーズ推定パイプラインを提案する。
最初のステップでは、テキスト記述の代わりに3Dモデルに基づいてゼロショットのインスタンスセグメンテーションを実行する新しい方法がある。
2番目のステップでは、階層的な幾何構造マッチング機構を用いてゼロショットポーズ推定を行う。
- 参考スコア(独自算出の注目度): 17.412408404070256
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most existing learning-based pose estimation methods are typically developed
for non-zero-shot scenarios, where they can only estimate the poses of objects
present in the training dataset. This setting restricts their applicability to
unseen objects in the training phase. In this paper, we introduce a fully
zero-shot pose estimation pipeline that leverages the 3D models of objects as
clues. Specifically, we design a two-step pipeline consisting of 3D model-based
zero-shot instance segmentation and a zero-shot pose estimator. For the first
step, there is a novel way to perform zero-shot instance segmentation based on
the 3D models instead of text descriptions, which can handle complex properties
of unseen objects. For the second step, we utilize a hierarchical geometric
structure matching mechanism to perform zero-shot pose estimation which is 10
times faster than the current render-based method. Extensive experimental
results on the seven core datasets on the BOP challenge show that the proposed
method outperforms the zero-shot state-of-the-art method with higher speed and
lower computation cost.
- Abstract(参考訳): 既存の学習ベースのポーズ推定手法の多くは、訓練データセットに存在するオブジェクトのポーズのみを推定できる非ゼロショットシナリオ向けに開発されている。
この設定は、トレーニングフェーズにおける未確認オブジェクトの適用性を制限する。
本稿では,物体の3次元モデルを手掛かりとして利用する全ゼロショットポーズ推定パイプラインを提案する。
具体的には、3次元モデルに基づくゼロショットインスタンスセグメンテーションとゼロショットポーズ推定器からなる2ステップパイプラインを設計する。
最初のステップでは、見えないオブジェクトの複雑なプロパティを処理できるテキスト記述の代わりに、3dモデルに基づいてゼロショットインスタンスセグメンテーションを実行する新しい方法があります。
第2段階として,階層的幾何構造マッチング機構を用いて,現在のレンダリングベース手法の10倍高速なゼロショットポーズ推定を行う。
BOPチャレンジにおける7つのコアデータセットの大規模な実験結果から,提案手法はゼロショット・オブ・ザ・アート法よりも高速で計算コストが低い。
関連論文リスト
- FoundationPose: Unified 6D Pose Estimation and Tracking of Novel Objects [55.77542145604758]
FoundationPoseは、6Dオブジェクトのポーズ推定と追跡のための統合基盤モデルである。
我々のアプローチは、微調整なしで、テスト時に新しいオブジェクトに即座に適用できる。
論文 参考訳(メタデータ) (2023-12-13T18:28:09Z) - GS-Pose: Category-Level Object Pose Estimation via Geometric and
Semantic Correspondence [5.500735640045456]
カテゴリーレベルのポーズ推定は、コンピュータビジョンやロボット工学における多くの潜在的な応用において難しい課題である。
本稿では,事前学習した基礎モデルから得られる幾何学的特徴と意味的特徴の両方を活用することを提案する。
これは、セマンティックな特徴がオブジェクトのテクスチャや外観に対して堅牢であるため、以前のメソッドよりもトレーニングするデータを大幅に少なくする。
論文 参考訳(メタデータ) (2023-11-23T02:35:38Z) - PoseMatcher: One-shot 6D Object Pose Estimation by Deep Feature Matching [51.142988196855484]
本稿では,PoseMatcherを提案する。
3ビューシステムに基づくオブジェクトと画像のマッチングのための新しいトレーニングパイプラインを作成します。
PoseMatcherは、画像とポイントクラウドの異なる入力モダリティに対応できるように、IO-Layerを導入します。
論文 参考訳(メタデータ) (2023-04-03T21:14:59Z) - OnePose++: Keypoint-Free One-Shot Object Pose Estimation without CAD
Models [51.68715543630427]
OnePoseは繰り返し可能なイメージキーポイントの検出に依存しているので、低テクスチャオブジェクトで失敗する傾向がある。
繰り返し可能なキーポイント検出の必要性を取り除くために,キーポイントフリーポーズ推定パイプラインを提案する。
2D-3Dマッチングネットワークは、クエリ画像と再構成されたポイントクラウドモデルとの間の2D-3D対応を直接確立する。
論文 参考訳(メタデータ) (2023-01-18T17:47:13Z) - MegaPose: 6D Pose Estimation of Novel Objects via Render & Compare [84.80956484848505]
MegaPoseは、トレーニング中に見えない新しいオブジェクトの6Dポーズを推定する方法である。
本稿では,新しいオブジェクトに適用可能なR&Compare戦略に基づく6次元ポーズリファインダを提案する。
第2に,合成レンダリングと同一物体の観察画像間のポーズ誤差をリファインダで補正できるか否かを分類するために訓練されたネットワークを利用する,粗いポーズ推定のための新しいアプローチを提案する。
論文 参考訳(メタデータ) (2022-12-13T19:30:03Z) - Semantic keypoint-based pose estimation from single RGB frames [64.80395521735463]
一つのRGB画像からオブジェクトの連続6-DoFポーズを推定する手法を提案する。
このアプローチは、畳み込みネットワーク(convnet)によって予測されるセマンティックキーポイントと、変形可能な形状モデルを組み合わせる。
提案手法は,インスタンスベースのシナリオとクラスベースのシナリオの両方に対して,6-DoFオブジェクトのポーズを正確に復元できることを示す。
論文 参考訳(メタデータ) (2022-04-12T15:03:51Z) - Zero-Shot Category-Level Object Pose Estimation [24.822189326540105]
ゼロショット方式で新しい対象カテゴリーのポーズを推定する問題に取り組む。
これは、ポーズラベル付きデータセットやカテゴリ固有のCADモデルの必要性を取り除くことで、既存の文献の多くを拡張します。
本手法は平均回転精度を30度で6倍改善する。
論文 参考訳(メタデータ) (2022-04-07T17:58:39Z) - Leveraging SE(3) Equivariance for Self-Supervised Category-Level Object
Pose Estimation [30.04752448942084]
カテゴリーレベルのオブジェクトポーズ推定は、オブジェクトCADモデルにアクセスすることなく、既知のカテゴリから未確認のオブジェクトインスタンスの6Dオブジェクトポーズを見つけることを目的としている。
本研究では,1つの3次元点群からカテゴリレベルの6次元オブジェクトのポーズを推定する自己教師型学習フレームワークを初めて提案する。
論文 参考訳(メタデータ) (2021-10-30T06:46:44Z) - Spatial Attention Improves Iterative 6D Object Pose Estimation [52.365075652976735]
本稿では,RGB画像を用いた6次元ポーズ推定の改良手法を提案する。
私たちの主な洞察力は、最初のポーズ推定の後、オブジェクトの異なる空間的特徴に注意を払うことが重要です。
実験により,このアプローチが空間的特徴に順応することを学び,被写体の一部を無視することを学び,データセット間でのポーズ推定を改善することを実証した。
論文 参考訳(メタデータ) (2021-01-05T17:18:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。