論文の概要: HIPPo: Harnessing Image-to-3D Priors for Model-free Zero-shot 6D Pose Estimation

• arxiv url: http://arxiv.org/abs/2502.10606v1
• Date: Fri, 14 Feb 2025 23:44:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:09:17.781558
• Title: HIPPo: Harnessing Image-to-3D Priors for Model-free Zero-shot 6D Pose Estimation
• Title（参考訳）: HIPPo:モデルレスゼロショット6D画像推定における3次元画像のハーネス化
• Authors: Yibo Liu, Zhaodong Jiang, Binbin Xu, Guile Wu, Yuan Ren, Tongtong Cao, Bingbing Liu, Rui Heng Yang, Amir Rasouli, Jinjun Shan,
• Abstract要約: 本研究は、ロボット工学応用のためのモデルフリーゼロショット6Dオブジェクトポーズ推定に焦点を当てる。 本稿では,CADモデルや参照画像を必要としないHIPPoという新しいフレームワークを提案する。 私たちのHIPPo Dreamerは、わずか数秒で、目に見えない物体の3Dメッシュを生成することができます。
• 参考スコア（独自算出の注目度）: 23.451960895369517
• License:
• Abstract: This work focuses on model-free zero-shot 6D object pose estimation for robotics applications. While existing methods can estimate the precise 6D pose of objects, they heavily rely on curated CAD models or reference images, the preparation of which is a time-consuming and labor-intensive process. Moreover, in real-world scenarios, 3D models or reference images may not be available in advance and instant robot reaction is desired. In this work, we propose a novel framework named HIPPo, which eliminates the need for curated CAD models and reference images by harnessing image-to-3D priors from Diffusion Models, enabling model-free zero-shot 6D pose estimation. Specifically, we construct HIPPo Dreamer, a rapid image-to-mesh model built on a multiview Diffusion Model and a 3D reconstruction foundation model. Our HIPPo Dreamer can generate a 3D mesh of any unseen objects from a single glance in just a few seconds. Then, as more observations are acquired, we propose to continuously refine the diffusion prior mesh model by joint optimization of object geometry and appearance. This is achieved by a measurement-guided scheme that gradually replaces the plausible diffusion priors with more reliable online observations. Consequently, HIPPo can instantly estimate and track the 6D pose of a novel object and maintain a complete mesh for immediate robotic applications. Thorough experiments on various benchmarks show that HIPPo outperforms state-of-the-art methods in 6D object pose estimation when prior reference images are limited.
• Abstract（参考訳）: 本研究は、ロボット工学応用のためのモデルフリーゼロショット6Dオブジェクトポーズ推定に焦点を当てる。 既存の手法では、オブジェクトの正確な6Dポーズを推定できるが、CADモデルや参照画像に大きく依存している。 さらに,実世界のシナリオでは,3次元モデルや参照画像は事前に利用できない可能性があり,ロボットの即時反応が望まれる。 本研究では,Diffusion Modelsから画像から3Dの先行画像を活用することで,CADモデルや参照画像のキュレーションの必要性を解消し,モデルフリーなゼロショット6Dポーズ推定を可能にするHIPPoという新しいフレームワークを提案する。 具体的には,多視点拡散モデルと3次元再構成基礎モデルに基づく高速画像合成モデルであるHIPPo Dreamerを構築する。 私たちのHIPPo Dreamerは、わずか数秒で、目に見えない物体の3Dメッシュを生成することができます。 そして、より多くの観測値が得られるにつれて、オブジェクト形状と外観の合同最適化により、拡散前のメッシュモデルを継続的に洗練することを提案する。 これは測定誘導方式によって実現され、より信頼性の高いオンライン観測により、可算拡散の先行を徐々に置き換える。 これにより、HIPPoは、新しいオブジェクトの6Dポーズを即座に推定し、追跡し、即時ロボットアプリケーションのための完全なメッシュを維持することができる。 様々なベンチマーク実験により,HIPPoは,先行参照画像が限定された場合の6次元オブジェクトポーズ推定において,最先端の手法よりも優れていることが示された。

関連論文リスト

• 6DOPE-GS: Online 6D Object Pose Estimation using Gaussian Splatting [7.7145084897748974]
  1台のRGB-Dカメラで6Dオブジェクトのポーズを推定・追跡する新しい手法である6DOPE-GSを提案する。 その結果,6DOPE-GSはモデルレス同時ポーズトラッキングと再構築のための最先端ベースラインの性能と一致していることがわかった。 また,実世界の環境下での動的物体追跡と再構成のための手法の適合性を実証した。
  論文  参考訳（メタデータ） (2024-12-02T14:32:19Z)
• Zero123-6D: Zero-shot Novel View Synthesis for RGB Category-level 6D Pose Estimation [66.3814684757376]
  本研究は,RGB 6Dのカテゴリレベルでのポーズ推定を向上するための拡散モデルに基づく新規ビュー合成器の実用性を示す最初の研究であるZero123-6Dを示す。 本手法は,データ要求の低減,ゼロショットカテゴリレベルの6Dポーズ推定タスクにおける深度情報の必要性の除去,およびCO3Dデータセットの実験により定量的に示された性能の向上を示す。
  論文  参考訳（メタデータ） (2024-03-21T10:38:18Z)
• GigaPose: Fast and Robust Novel Object Pose Estimation via One Correspondence [64.77224422330737]
  GigaPoseは、RGB画像におけるCADベースの新しいオブジェクトポーズ推定のための高速で堅牢で正確な方法である。 提案手法では,通常の3次元ではなく,2自由度空間でテンプレートをサンプリングする。 最先端の精度を実現し、既存の精錬手法とシームレスに統合することができる。
  論文  参考訳（メタデータ） (2023-11-23T18:55:03Z)
• 6D Object Pose Estimation from Approximate 3D Models for Orbital Robotics [19.64111218032901]
  単一画像から物体の6次元ポーズを推定する新しい手法を提案する。 画素毎に3次元モデル座標を回帰する高密度な2次元から3次元対応予測器を用いる。 提案手法は,SPEED+データセット上での最先端性能を実現し,SPEC2021ポストモーテムコンペティションで優勝した。
  論文  参考訳（メタデータ） (2023-03-23T13:18:05Z)
• OnePose++: Keypoint-Free One-Shot Object Pose Estimation without CAD Models [51.68715543630427]
  OnePoseは繰り返し可能なイメージキーポイントの検出に依存しているので、低テクスチャオブジェクトで失敗する傾向がある。 繰り返し可能なキーポイント検出の必要性を取り除くために,キーポイントフリーポーズ推定パイプラインを提案する。 2D-3Dマッチングネットワークは、クエリ画像と再構成されたポイントクラウドモデルとの間の2D-3D対応を直接確立する。
  論文  参考訳（メタデータ） (2023-01-18T17:47:13Z)
• MegaPose: 6D Pose Estimation of Novel Objects via Render & Compare [84.80956484848505]
  MegaPoseは、トレーニング中に見えない新しいオブジェクトの6Dポーズを推定する方法である。 本稿では,新しいオブジェクトに適用可能なR&Compare戦略に基づく6次元ポーズリファインダを提案する。 第2に,合成レンダリングと同一物体の観察画像間のポーズ誤差をリファインダで補正できるか否かを分類するために訓練されたネットワークを利用する,粗いポーズ推定のための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-12-13T19:30:03Z)
• Shape, Pose, and Appearance from a Single Image via Bootstrapped Radiance Field Inversion [54.151979979158085]
  提案手法では,自然画像に対する基本的エンドツーエンド再構築フレームワークを導入し,正確な地平のポーズが得られない。 そこで,モデルが解の第一の推算を生成するハイブリッド・インバージョン・スキームを適用する。 当社のフレームワークでは,イメージを10ステップでデレンダリングすることが可能で,現実的なシナリオで使用することが可能です。
  論文  参考訳（メタデータ） (2022-11-21T17:42:42Z)
• Learning 6D Pose Estimation from Synthetic RGBD Images for Robotic Applications [0.6299766708197883]
  提案したパイプラインは、興味のある対象のために大量の写真リアリスティックなRGBD画像を生成することができる。 オブジェクト検出器YOLO-V4-tinyと6次元ポーズ推定アルゴリズムPVN3Dを統合し,リアルタイム2次元ポーズ推定手法を開発した。 結果として得られたネットワークは、LineModデータセットで評価した場合の最先端手法と比較して、競合性能を示す。
  論文  参考訳（メタデータ） (2022-08-30T14:17:15Z)
• CenterSnap: Single-Shot Multi-Object 3D Shape Reconstruction and Categorical 6D Pose and Size Estimation [19.284468553414918]
  本稿では, 単視点RGB-D観測による同時多目的3次元再構成, 6次元ポーズ, サイズ推定の複雑な課題について検討する。 既存のアプローチは主に、イメージ内の各オブジェクトインスタンスをローカライズして検出し、3Dメッシュまたは6Dポーズに回帰する複雑なマルチステージパイプラインに従う。 本研究では,3次元形状の予測と6次元ポーズと大きさの同時推定を,バウンディングボックスフリーで行うための簡単な一段階的手法を提案する。
  論文  参考訳（メタデータ） (2022-03-03T18:59:04Z)
• CPS++: Improving Class-level 6D Pose and Shape Estimation From Monocular Images With Self-Supervised Learning [74.53664270194643]
  現代のモノクロ6Dポーズ推定手法は、少数のオブジェクトインスタンスにしか対応できない。 そこで本研究では,計量形状検索と組み合わせて,クラスレベルのモノクル6次元ポーズ推定手法を提案する。 1枚のRGB画像から正確な6Dポーズとメートル法形状を抽出できることを実験的に実証した。
  論文  参考訳（メタデータ） (2020-03-12T15:28:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。