論文の概要: SecondPose: SE(3)-Consistent Dual-Stream Feature Fusion for Category-Level Pose Estimation

• arxiv url: http://arxiv.org/abs/2311.11125v2
• Date: Sat, 16 Dec 2023 18:29:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-19 19:33:04.681123
• Title: SecondPose: SE(3)-Consistent Dual-Stream Feature Fusion for Category-Level Pose Estimation
• Title（参考訳）: SecondPose: SE(3)-Consistent Dual-Stream Feature Fusion for Category-Level Pose Estimation
• Authors: Yamei Chen, Yan Di, Guangyao Zhai, Fabian Manhardt, Chenyangguang Zhang, Ruida Zhang, Federico Tombari, Nassir Navab, Benjamin Busam
• Abstract要約: カテゴリーレベルのオブジェクトのポーズ推定は、既知のカテゴリから6次元のポーズと3次元の大きさを予測することを目的としている。 我々は、DINOv2のセマンティックカテゴリにオブジェクト固有の幾何学的特徴を統合する新しいアプローチであるSecondPoseを提案する。
• 参考スコア（独自算出の注目度）: 82.10246534047127
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Category-level object pose estimation, aiming to predict the 6D pose and 3D size of objects from known categories, typically struggles with large intra-class shape variation. Existing works utilizing mean shapes often fall short of capturing this variation. To address this issue, we present SecondPose, a novel approach integrating object-specific geometric features with semantic category priors from DINOv2. Leveraging the advantage of DINOv2 in providing SE(3)-consistent semantic features, we hierarchically extract two types of SE(3)-invariant geometric features to further encapsulate local-to-global object-specific information. These geometric features are then point-aligned with DINOv2 features to establish a consistent object representation under SE(3) transformations, facilitating the mapping from camera space to the pre-defined canonical space, thus further enhancing pose estimation. Extensive experiments on NOCS-REAL275 demonstrate that SecondPose achieves a 12.4% leap forward over the state-of-the-art. Moreover, on a more complex dataset HouseCat6D which provides photometrically challenging objects, SecondPose still surpasses other competitors by a large margin. The code will be released soon.
• Abstract（参考訳）: カテゴリーレベルのオブジェクトのポーズ推定は、既知のカテゴリから6次元のポーズと3次元の大きさを予測することを目的としている。 平均的な形状を利用した既存の作品では、このバリエーションを捉えられないことが多い。 この問題に対処するために、DINOv2のセマンティックなカテゴリにオブジェクト固有の幾何学的特徴を統合する新しいアプローチであるSecondPoseを提案する。 DINOv2の利点を生かして、SE(3)-一貫性のある意味的特徴を提供することにより、2種類のSE(3)-不変な幾何学的特徴を階層的に抽出し、局所-言語的オブジェクト固有情報をカプセル化する。 これらの幾何学的特徴は、DINOv2特徴と整合して、SE(3)変換の下で一貫したオブジェクト表現を確立し、カメラ空間から予め定義された標準空間へのマッピングを容易にし、ポーズ推定をさらに強化する。 NOCS-REAL275の大規模な実験により、SecondPoseは最先端技術に対して12.4%の飛躍を達成した。 さらに、フォトメトリックに挑戦するオブジェクトを提供するより複雑なデータセットHouseCat6Dでは、SecondPoseは依然として他の競合より大きなマージンで勝っている。 コードはまもなくリリースされる。

関連論文リスト

• RelPose++: Recovering 6D Poses from Sparse-view Observations [66.6922660401558]
  スパースビュー画像集合(2-8画像)から6次元カメラポーズを推定する作業に対処する。 我々は,画像対上の相対回転よりも分布を推定するネットワークを学習するRelPoseフレームワークを構築した。 最終システムは,先行技術よりも6次元ポーズ予測を大幅に改善する。
  論文  参考訳（メタデータ） (2023-05-08T17:59:58Z)
• Generative Category-Level Shape and Pose Estimation with Semantic Primitives [27.692997522812615]
  本稿では,1枚のRGB-D画像からカテゴリレベルのオブジェクト形状とポーズ推定を行う新しいフレームワークを提案する。 カテゴリ内変動に対処するために、様々な形状を統一された潜在空間にエンコードするセマンティックプリミティブ表現を採用する。 提案手法は,実世界のデータセットにおいて,SOTAのポーズ推定性能とより優れた一般化を実現する。
  論文  参考訳（メタデータ） (2022-10-03T17:51:54Z)
• Coupled Iterative Refinement for 6D Multi-Object Pose Estimation [64.7198752089041]
  既知の3DオブジェクトのセットとRGBまたはRGB-Dの入力画像から、各オブジェクトの6Dポーズを検出して推定する。 我々のアプローチは、ポーズと対応を緊密に結合した方法で反復的に洗練し、アウトレーヤを動的に除去して精度を向上させる。
  論文  参考訳（メタデータ） (2022-04-26T18:00:08Z)
• GPV-Pose: Category-level Object Pose Estimation via Geometry-guided Point-wise Voting [103.74918834553249]
  GPV-Poseはロバストなカテゴリーレベルのポーズ推定のための新しいフレームワークである。 幾何学的洞察を利用して、カテゴリーレベルのポーズ感応的特徴の学習を強化する。 一般的な公開ベンチマークにおいて、最先端の競合相手に優れた結果をもたらす。
  論文  参考訳（メタデータ） (2022-03-15T13:58:50Z)
• CAPTRA: CAtegory-level Pose Tracking for Rigid and Articulated Objects from Point Clouds [97.63549045541296]
  新規なリジッドオブジェクトインスタンスに対する9DoFポーズトラッキングと,関節付きオブジェクトに対するパート毎ポーズトラッキングを処理可能な統一フレームワークを提案する。 本手法は、高速なFPS 12で、カテゴリレベルのリジッドオブジェクトポーズ(NOCS-REAL275)と関節オブジェクトポーズベンチマーク(SAPIEN、BMVC)の最新のパフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-04-08T00:14:58Z)
• FS-Net: Fast Shape-based Network for Category-Level 6D Object Pose Estimation with Decoupled Rotation Mechanism [49.89268018642999]
  6次元ポーズ推定のための効率的なカテゴリレベルの特徴抽出が可能な高速形状ベースネットワーク(FS-Net)を提案する。 提案手法は,カテゴリレベルおよびインスタンスレベルの6Dオブジェクトのポーズ推定における最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-03-12T03:07:24Z)
• DualPoseNet: Category-level 6D Object Pose and Size Estimation using Dual Pose Network with Refined Learning of Pose Consistency [30.214100288708163]
  カテゴリーレベルの6Dオブジェクトのポーズとサイズ推定は、オブジェクトインスタンスの回転、翻訳、サイズの設定を9自由度(9DoF)で予測する。 本稿では,この課題に対するポーズ一貫性の学習を洗練し,DualPoseNetと略記したDual Pose Networkを提案する。
  論文  参考訳（メタデータ） (2021-03-11T08:33:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。