論文の概要: GS-Pose: Category-Level Object Pose Estimation via Geometric and Semantic Correspondence

• arxiv url: http://arxiv.org/abs/2311.13777v1
• Date: Thu, 23 Nov 2023 02:35:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-28 00:45:29.814782
• Title: GS-Pose: Category-Level Object Pose Estimation via Geometric and Semantic Correspondence
• Title（参考訳）: GS-Pose:幾何学的・意味的対応によるカテゴリーレベルオブジェクトポス推定
• Authors: Pengyuan Wang, Takuya Ikeda, Robert Lee, Koichi Nishiwaki
• Abstract要約: カテゴリーレベルのポーズ推定は、コンピュータビジョンやロボット工学における多くの潜在的な応用において難しい課題である。 本稿では,事前学習した基礎モデルから得られる幾何学的特徴と意味的特徴の両方を活用することを提案する。 これは、セマンティックな特徴がオブジェクトのテクスチャや外観に対して堅牢であるため、以前のメソッドよりもトレーニングするデータを大幅に少なくする。
• 参考スコア（独自算出の注目度）: 5.500735640045456
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Category-level pose estimation is a challenging task with many potential applications in computer vision and robotics. Recently, deep-learning-based approaches have made great progress, but are typically hindered by the need for large datasets of either pose-labelled real images or carefully tuned photorealistic simulators. This can be avoided by using only geometry inputs such as depth images to reduce the domain-gap but these approaches suffer from a lack of semantic information, which can be vital in the pose estimation problem. To resolve this conflict, we propose to utilize both geometric and semantic features obtained from a pre-trained foundation model.Our approach projects 2D features from this foundation model into 3D for a single object model per category, and then performs matching against this for new single view observations of unseen object instances with a trained matching network. This requires significantly less data to train than prior methods since the semantic features are robust to object texture and appearance. We demonstrate this with a rich evaluation, showing improved performance over prior methods with a fraction of the data required.
• Abstract（参考訳）: カテゴリーレベルのポーズ推定は、コンピュータビジョンとロボット工学における多くの潜在的な応用において難しい課題である。 近年、ディープラーニングベースのアプローチは大きな進歩を遂げているが、通常はポーズラベル付き実画像の大規模なデータセットの必要性や、注意深く調整されたフォトリアリスティックシミュレータの必要性によって妨げられている。 これは、深度画像などの幾何入力のみを使用してドメインギャップを減らすことで回避できるが、これらのアプローチは意味情報の欠如に苦しむため、ポーズ推定問題において不可欠である。 この矛盾を解決するために,我々は,事前学習した基礎モデルから得られた幾何学的特徴と意味的特徴の両方を利用するように提案する。我々のアプローチでは,この基礎モデルから2d特徴をカテゴリ毎に1つのオブジェクトモデルに対して3dに計画する。 セマンティクス機能はオブジェクトのテクスチャと外観にロバストであるため、トレーニングするデータ量は以前のメソッドよりもはるかに少ない。 我々はこれをリッチな評価で実証し、必要なデータの一部で事前の手法よりも優れた性能を示す。

関連論文リスト

• FoundationPose: Unified 6D Pose Estimation and Tracking of Novel Objects [55.77542145604758]
  FoundationPoseは、6Dオブジェクトのポーズ推定と追跡のための統合基盤モデルである。 我々のアプローチは、微調整なしで、テスト時に新しいオブジェクトに即座に適用できる。
  論文  参考訳（メタデータ） (2023-12-13T18:28:09Z)
• MFOS: Model-Free & One-Shot Object Pose Estimation [10.009454818723025]
  最小限の入力が与えられた場合、トレーニング中に見たことのないオブジェクトのポーズを1つのフォワードで推定できる新しいアプローチを導入する。 我々は、LINEMODベンチマークで広範な実験を行い、最先端のワンショット性能を報告した。
  論文  参考訳（メタデータ） (2023-10-03T09:12:07Z)
• FrozenRecon: Pose-free 3D Scene Reconstruction with Frozen Depth Models [67.96827539201071]
  本稿では,3次元シーン再構成のための新しいテスト時間最適化手法を提案する。 本手法は5つのゼロショットテストデータセット上で,最先端のクロスデータセット再構築を実現する。
  論文  参考訳（メタデータ） (2023-08-10T17:55:02Z)
• PoseMatcher: One-shot 6D Object Pose Estimation by Deep Feature Matching [51.142988196855484]
  本稿では,PoseMatcherを提案する。 3ビューシステムに基づくオブジェクトと画像のマッチングのための新しいトレーニングパイプラインを作成します。 PoseMatcherは、画像とポイントクラウドの異なる入力モダリティに対応できるように、IO-Layerを導入します。
  論文  参考訳（メタデータ） (2023-04-03T21:14:59Z)
• NOPE: Novel Object Pose Estimation from a Single Image [67.11073133072527]
  本稿では,新しいオブジェクトの1つのイメージを入力として取り込んで,オブジェクトの3Dモデルに関する事前知識を必要とせずに,新しいイメージにおけるオブジェクトの相対的なポーズを予測するアプローチを提案する。 我々は、オブジェクトを取り巻く視点に対する識別的埋め込みを直接予測するモデルを訓練することで、これを実現する。 この予測は単純なU-Netアーキテクチャを用いて行われ、要求されたポーズに注意を向け、条件を定め、非常に高速な推論をもたらす。
  論文  参考訳（メタデータ） (2023-03-23T18:55:43Z)
• MegaPose: 6D Pose Estimation of Novel Objects via Render & Compare [84.80956484848505]
  MegaPoseは、トレーニング中に見えない新しいオブジェクトの6Dポーズを推定する方法である。 本稿では,新しいオブジェクトに適用可能なR&Compare戦略に基づく6次元ポーズリファインダを提案する。 第2に,合成レンダリングと同一物体の観察画像間のポーズ誤差をリファインダで補正できるか否かを分類するために訓練されたネットワークを利用する,粗いポーズ推定のための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-12-13T19:30:03Z)
• Category-Agnostic 6D Pose Estimation with Conditional Neural Processes [19.387280883044482]
  未知物体の6次元ポーズ推定のためのメタラーニング手法を提案する。 本アルゴリズムは,オブジェクトの表現をカテゴリに依存しない方法で学習し,オブジェクトカテゴリをまたいだ強力な一般化機能を実現する。
  論文  参考訳（メタデータ） (2022-06-14T20:46:09Z)
• Contrastive Object-level Pre-training with Spatial Noise Curriculum Learning [12.697842097171119]
  本稿では,生成した領域を適応的に拡張するカリキュラム学習機構を提案する。 実験の結果,マルチオブジェクトシーンイメージデータセットの事前学習において,MoCo v2のベースラインに対するアプローチは,複数のオブジェクトレベルタスクに対して大きなマージンで改善されていることがわかった。
  論文  参考訳（メタデータ） (2021-11-26T18:29:57Z)
• Category Level Object Pose Estimation via Neural Analysis-by-Synthesis [64.14028598360741]
  本稿では、勾配に基づくフィッティング法とパラメトリックニューラルネットワーク合成モジュールを組み合わせる。 画像合成ネットワークは、ポーズ設定空間を効率的に分散するように設計されている。 本研究では,2次元画像のみから高精度に物体の向きを復元できることを実験的に示す。
  論文  参考訳（メタデータ） (2020-08-18T20:30:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。