論文の概要: FoundationPose: Unified 6D Pose Estimation and Tracking of Novel Objects

• arxiv url: http://arxiv.org/abs/2312.08344v2
• Date: Tue, 26 Mar 2024 19:25:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-28 22:23:24.234434
• Title: FoundationPose: Unified 6D Pose Estimation and Tracking of Novel Objects
• Title（参考訳）: FoundationPose:新しいオブジェクトの6D Pose推定と追跡を統一化
• Authors: Bowen Wen, Wei Yang, Jan Kautz, Stan Birchfield,
• Abstract要約: FoundationPoseは、6Dオブジェクトのポーズ推定と追跡のための統合基盤モデルである。 我々のアプローチは、微調整なしで、テスト時に新しいオブジェクトに即座に適用できる。
• 参考スコア（独自算出の注目度）: 55.77542145604758
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present FoundationPose, a unified foundation model for 6D object pose estimation and tracking, supporting both model-based and model-free setups. Our approach can be instantly applied at test-time to a novel object without fine-tuning, as long as its CAD model is given, or a small number of reference images are captured. We bridge the gap between these two setups with a neural implicit representation that allows for effective novel view synthesis, keeping the downstream pose estimation modules invariant under the same unified framework. Strong generalizability is achieved via large-scale synthetic training, aided by a large language model (LLM), a novel transformer-based architecture, and contrastive learning formulation. Extensive evaluation on multiple public datasets involving challenging scenarios and objects indicate our unified approach outperforms existing methods specialized for each task by a large margin. In addition, it even achieves comparable results to instance-level methods despite the reduced assumptions. Project page: https://nvlabs.github.io/FoundationPose/
• Abstract（参考訳）: 本稿では,6次元オブジェクトのポーズ推定と追跡のための統合基盤モデルであるFoundationPoseについて述べる。 本手法は,CADモデルが提供された場合や,少数の参照画像が取得された場合であっても,微調整をせずに,新しいオブジェクトに対するテスト時に即座に適用することができる。 これら2つのセットアップ間のギャップをニューラルな暗黙表現でブリッジし、効果的に新規なビュー合成を可能にし、下流のポーズ推定モジュールを同じ統一フレームワークの下で不変に保ちます。 強い一般化性は、大規模合成訓練によって達成され、大きな言語モデル(LLM)、新しいトランスフォーマーベースのアーキテクチャ、コントラスト学習の定式化によって支援される。 難解なシナリオとオブジェクトを含む複数の公開データセットに対する大規模な評価は、我々の統一アプローチが各タスクに特化した既存のメソッドを大きなマージンで上回っていることを示している。 さらに、仮定が減っているにもかかわらず、インスタンスレベルのメソッドに匹敵する結果も達成します。 プロジェクトページ: https://nvlabs.github.io/FoundationPose/

関連論文リスト

• FoundPose: Unseen Object Pose Estimation with Foundation Features [11.32559845631345]
  FoundPoseは、単一のRGB画像から見えないオブジェクトを6Dポーズで推定するモデルベースの手法である。 この方法は、オブジェクトやタスク固有のトレーニングを必要とせずに、3Dモデルを使って、新しいオブジェクトを素早くオンボードできる。
  論文  参考訳（メタデータ） (2023-11-30T18:52:29Z)
• MFOS: Model-Free & One-Shot Object Pose Estimation [10.009454818723025]
  最小限の入力が与えられた場合、トレーニング中に見たことのないオブジェクトのポーズを1つのフォワードで推定できる新しいアプローチを導入する。 我々は、LINEMODベンチマークで広範な実験を行い、最先端のワンショット性能を報告した。
  論文  参考訳（メタデータ） (2023-10-03T09:12:07Z)
• YOLOPose V2: Understanding and Improving Transformer-based 6D Pose Estimation [36.067414358144816]
  YOLOPoseはトランスフォーマーベースの多目的6Dポーズ推定法である。 キーポイントから向きを予測するために,学習可能な向き推定モジュールを用いる。 提案手法はリアルタイムアプリケーションに適した手法であり,最先端の手法に匹敵する結果が得られる。
  論文  参考訳（メタデータ） (2023-07-21T12:53:54Z)
• PoseMatcher: One-shot 6D Object Pose Estimation by Deep Feature Matching [51.142988196855484]
  本稿では,PoseMatcherを提案する。 3ビューシステムに基づくオブジェクトと画像のマッチングのための新しいトレーニングパイプラインを作成します。 PoseMatcherは、画像とポイントクラウドの異なる入力モダリティに対応できるように、IO-Layerを導入します。
  論文  参考訳（メタデータ） (2023-04-03T21:14:59Z)
• OnePose++: Keypoint-Free One-Shot Object Pose Estimation without CAD Models [51.68715543630427]
  OnePoseは繰り返し可能なイメージキーポイントの検出に依存しているので、低テクスチャオブジェクトで失敗する傾向がある。 繰り返し可能なキーポイント検出の必要性を取り除くために,キーポイントフリーポーズ推定パイプラインを提案する。 2D-3Dマッチングネットワークは、クエリ画像と再構成されたポイントクラウドモデルとの間の2D-3D対応を直接確立する。
  論文  参考訳（メタデータ） (2023-01-18T17:47:13Z)
• MegaPose: 6D Pose Estimation of Novel Objects via Render & Compare [84.80956484848505]
  MegaPoseは、トレーニング中に見えない新しいオブジェクトの6Dポーズを推定する方法である。 本稿では,新しいオブジェクトに適用可能なR&Compare戦略に基づく6次元ポーズリファインダを提案する。 第2に,合成レンダリングと同一物体の観察画像間のポーズ誤差をリファインダで補正できるか否かを分類するために訓練されたネットワークを利用する,粗いポーズ推定のための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-12-13T19:30:03Z)
• Semantic keypoint-based pose estimation from single RGB frames [64.80395521735463]
  一つのRGB画像からオブジェクトの連続6-DoFポーズを推定する手法を提案する。 このアプローチは、畳み込みネットワーク(convnet)によって予測されるセマンティックキーポイントと、変形可能な形状モデルを組み合わせる。 提案手法は,インスタンスベースのシナリオとクラスベースのシナリオの両方に対して,6-DoFオブジェクトのポーズを正確に復元できることを示す。
  論文  参考訳（メタデータ） (2022-04-12T15:03:51Z)
• Leveraging SE(3) Equivariance for Self-Supervised Category-Level Object Pose Estimation [30.04752448942084]
  カテゴリーレベルのオブジェクトポーズ推定は、オブジェクトCADモデルにアクセスすることなく、既知のカテゴリから未確認のオブジェクトインスタンスの6Dオブジェクトポーズを見つけることを目的としている。 本研究では,1つの3次元点群からカテゴリレベルの6次元オブジェクトのポーズを推定する自己教師型学習フレームワークを初めて提案する。
  論文  参考訳（メタデータ） (2021-10-30T06:46:44Z)
• Learning Monocular Depth in Dynamic Scenes via Instance-Aware Projection Consistency [114.02182755620784]
  本稿では,複数の動的物体の6-DoF動作,エゴモーション,深度を,監督なしで一眼レフカメラで明示的にモデル化する,エンドツーエンドのジョイントトレーニングフレームワークを提案する。 筆者らのフレームワークは,最先端の深度・動き推定法より優れていた。
  論文  参考訳（メタデータ） (2021-02-04T14:26:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。