論文の概要: Object 6D pose estimation meets zero-shot learning
- arxiv url: http://arxiv.org/abs/2312.00947v1
- Date: Fri, 1 Dec 2023 22:00:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-05 20:04:15.301859
- Title: Object 6D pose estimation meets zero-shot learning
- Title(参考訳): ゼロショット学習を満たしたオブジェクト6dポーズ推定
- Authors: Andrea Caraffa, Davide Boscaini, Amir Hamza, Fabio Poiesi
- Abstract要約: 本稿では,事前学習された幾何学的・視覚的基礎モデルの寄与を解消する最初の手法を提案する。
我々はPoMZと命名し、ポイントクラウドデータから学習した幾何学的記述子と大規模Web画像から学習した視覚的特徴を組み合わせる。
PoMZ は BOP ベンチマークでタスク 4: 見えないオブジェクトの6D ローカライゼーションのカテゴリで第1位である。
- 参考スコア(独自算出の注目度): 6.286106048324139
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Object 6D pose estimation methods can achieve high accuracy when trained and
tested on the same objects. However, estimating the pose of objects that are
absent at training time is still a challenge. In this work, we advance the
state-of-the-art in zero-shot object 6D pose estimation by proposing the first
method that fuses the contribution of pre-trained geometric and vision
foundation models. Unlike state-of-the-art approaches that train their pipeline
on data specifically crafted for the 6D pose estimation task, our method does
not require task-specific finetuning. Instead, our method, which we name PoMZ,
combines geometric descriptors learned from point cloud data with visual
features learned from large-scale web images to produce distinctive 3D
point-level descriptors. By applying an off-the-shelf registration algorithm,
like RANSAC, PoMZ outperforms all state-of-the-art zero-shot object 6D pose
estimation approaches. We extensively evaluate PoMZ across the seven core
datasets of the BOP Benchmark, encompassing over a hundred objects and 20
thousand images captured in diverse scenarios. PoMZ ranks first in the BOP
Benchmark under the category Task 4: 6D localization of unseen objects. We will
release the source code publicly.
- Abstract(参考訳): オブジェクト6dポーズ推定手法は、同じオブジェクト上でトレーニングとテストを行う場合に高い精度を達成することができる。
しかし,訓練時間に不足している物体の姿勢推定は依然として課題である。
本研究では,事前学習された幾何学モデルと視覚基礎モデルの寄与を融合した最初の手法を提案することにより,ゼロショット物体6dポーズ推定の最先端を前進させる。
6次元ポーズ推定タスク用に特別に作られたデータに基づいてパイプラインをトレーニングする最先端のアプローチとは異なり、この方法はタスク固有の微調整を必要としない。
代わりに、我々がPoMZと呼ぶ手法は、ポイントクラウドデータから学習した幾何学的記述子と大規模ウェブ画像から学習した視覚的特徴を組み合わせることで、特異な3Dポイントレベルの記述子を生成する。
RANSACのような既製の登録アルゴリズムを適用することで、PoMZは最先端のゼロショットオブジェクト6Dのポーズ推定アプローチよりも優れている。
我々は、BOPベンチマークの7つのコアデータセットにまたがるPoMZを広範囲に評価し、100以上のオブジェクトと2000万のイメージを多様なシナリオでキャプチャした。
PoMZ は BOP ベンチマークでタスク 4: 見えないオブジェクトの6D ローカライゼーションのカテゴリで第1位である。
ソースコードを公開します。
関連論文リスト
- ZS6D: Zero-shot 6D Object Pose Estimation using Vision Transformers [9.899633398596672]
ゼロショット新規オブジェクト6Dのポーズ推定にZS6Dを導入する。
事前訓練された視覚変換器(ViT)を用いて抽出された視覚ディスクリプタは、レンダリングテンプレートのマッチングに使用される。
LMO、YCBV、TLESSデータセットで実験が行われる。
論文 参考訳(メタデータ) (2023-09-21T11:53:01Z) - Rigidity-Aware Detection for 6D Object Pose Estimation [60.88857851869196]
最近の6Dオブジェクトのポーズ推定方法は、最初にオブジェクト検出を使用して2Dバウンディングボックスを取得し、実際にポーズを回帰する。
本研究では,6次元ポーズ推定において対象物体が剛性であるという事実を利用した剛性認識検出手法を提案する。
このアプローチの成功の鍵となるのは可視性マップであり、これは境界ボックス内の各ピクセルとボックス境界の間の最小障壁距離を用いて構築することを提案する。
論文 参考訳(メタデータ) (2023-03-22T09:02:54Z) - Imitrob: Imitation Learning Dataset for Training and Evaluating 6D
Object Pose Estimators [20.611000416051546]
本稿では,標準RGBカメラで捉えたタスクデモにおける手持ちツールの6次元ポーズ推定のためのトレーニングと評価のためのデータセットを提案する。
このデータセットには、9つの異なるツールと12の操作タスクのイメージシーケンスが含まれており、2つのカメラ視点、4人の被写体、そして左右手である。
論文 参考訳(メタデータ) (2022-09-16T14:43:46Z) - Unseen Object 6D Pose Estimation: A Benchmark and Baselines [62.8809734237213]
本稿では,新しい物体の6次元ポーズ推定をアルゴリズムで行えるようにするための新しいタスクを提案する。
実画像と合成画像の両方でデータセットを収集し、テストセットで最大48個の未確認オブジェクトを収集する。
エンド・ツー・エンドの3D対応ネットワークをトレーニングすることにより、未確認物体と部分ビューRGBD画像との対応点を高精度かつ効率的に見つけることができる。
論文 参考訳(メタデータ) (2022-06-23T16:29:53Z) - Coupled Iterative Refinement for 6D Multi-Object Pose Estimation [64.7198752089041]
既知の3DオブジェクトのセットとRGBまたはRGB-Dの入力画像から、各オブジェクトの6Dポーズを検出して推定する。
我々のアプローチは、ポーズと対応を緊密に結合した方法で反復的に洗練し、アウトレーヤを動的に除去して精度を向上させる。
論文 参考訳(メタデータ) (2022-04-26T18:00:08Z) - Weakly Supervised Learning of Keypoints for 6D Object Pose Estimation [73.40404343241782]
2次元キーポイント検出に基づく弱教師付き6次元オブジェクトポーズ推定手法を提案する。
提案手法は,最先端の完全教師付きアプローチと同等の性能を実現する。
論文 参考訳(メタデータ) (2022-03-07T16:23:47Z) - Spatial Attention Improves Iterative 6D Object Pose Estimation [52.365075652976735]
本稿では,RGB画像を用いた6次元ポーズ推定の改良手法を提案する。
私たちの主な洞察力は、最初のポーズ推定の後、オブジェクトの異なる空間的特徴に注意を払うことが重要です。
実験により,このアプローチが空間的特徴に順応することを学び,被写体の一部を無視することを学び,データセット間でのポーズ推定を改善することを実証した。
論文 参考訳(メタデータ) (2021-01-05T17:18:52Z) - CosyPose: Consistent multi-view multi-object 6D pose estimation [48.097599674329004]
単視点単体6次元ポーズ推定法を提案し、6次元オブジェクトのポーズ仮説を生成する。
第2に、異なる入力画像間で個々の6次元オブジェクトのポーズをマッチングするロバストな手法を開発する。
第3に、複数のオブジェクト仮説とそれらの対応性を考慮したグローバルなシーン改善手法を開発した。
論文 参考訳(メタデータ) (2020-08-19T14:11:56Z) - Single Shot 6D Object Pose Estimation [11.37625512264302]
深度画像に基づく剛体物体の6次元オブジェクトポーズ推定のための新しい単一ショット手法を提案する。
完全な畳み込みニューラルネットワークを用い、3次元入力データを空間的に離散化し、ポーズ推定を回帰タスクとみなす。
GPU上の65fpsでは、Object Pose Network(OP-Net)は非常に高速で、エンドツーエンドに最適化され、画像内の複数のオブジェクトの6Dポーズを同時に推定する。
論文 参考訳(メタデータ) (2020-04-27T11:59:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。