論文の概要: MatchU: Matching Unseen Objects for 6D Pose Estimation from RGB-D Images

• arxiv url: http://arxiv.org/abs/2403.01517v1
• Date: Sun, 3 Mar 2024 14:01:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-06 21:08:38.872407
• Title: MatchU: Matching Unseen Objects for 6D Pose Estimation from RGB-D Images
• Title（参考訳）: MatchU:RGB-D画像からの6次元空間推定のための見えない物体のマッチング
• Authors: Junwen Huang, Hao Yu, Kuan-Ting Yu, Nassir Navab, Slobodan Ilic, Benjamin Busam
• Abstract要約: RGB-D画像からの6次元ポーズ推定のためのFuse-Describe-Match戦略を提案する。 MatchUは、2Dテクスチャと6Dポーズ予測のための3D幾何学的手がかりを融合する汎用的なアプローチである。
• 参考スコア（独自算出の注目度）: 61.15679579799858
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent learning methods for object pose estimation require resource-intensive training for each individual object instance or category, hampering their scalability in real applications when confronted with previously unseen objects. In this paper, we propose MatchU, a Fuse-Describe-Match strategy for 6D pose estimation from RGB-D images. MatchU is a generic approach that fuses 2D texture and 3D geometric cues for 6D pose prediction of unseen objects. We rely on learning geometric 3D descriptors that are rotation-invariant by design. By encoding pose-agnostic geometry, the learned descriptors naturally generalize to unseen objects and capture symmetries. To tackle ambiguous associations using 3D geometry only, we fuse additional RGB information into our descriptor. This is achieved through a novel attention-based mechanism that fuses cross-modal information, together with a matching loss that leverages the latent space learned from RGB data to guide the descriptor learning process. Extensive experiments reveal the generalizability of both the RGB-D fusion strategy as well as the descriptor efficacy. Benefiting from the novel designs, MatchU surpasses all existing methods by a significant margin in terms of both accuracy and speed, even without the requirement of expensive re-training or rendering.
• Abstract（参考訳）: オブジェクトポーズ推定のための最近の学習方法は、個々のオブジェクトインスタンスやカテゴリに対するリソース集約的なトレーニングを必要とする。 本稿では,rgb-d画像から6次元ポーズ推定のためのfuse-describe-match戦略であるmatchuを提案する。 MatchUは、2Dテクスチャと6Dポーズ予測のための3D幾何学的手がかりを融合する汎用的なアプローチである。 設計によって回転不変となる幾何学的3次元ディスクリプタの学習に依拠する。 ポーズに依存しない幾何学を符号化することにより、学習された記述子は自然に見えない対象に一般化し、対称性を捉える。 3dジオメトリのみを使用して曖昧な関連に取り組むため、ディスクリプタに追加のrgb情報を注入します。 これは、クロスモーダルな情報を融合する新しい注意に基づくメカニズムと、rgbデータから学習した潜在空間を利用してディスクリプタ学習プロセスを導くマッチング損失によって達成される。 広範な実験により、rgb-d核融合戦略とディスクリプタの有効性の両方の一般化性が明らかになった。 新たな設計の恩恵を受け、matchuは高価な再トレーニングやレンダリングの必要がなくても、精度とスピードの両面で既存の手法をはるかに上回っている。

関連論文リスト

• Towards Human-Level 3D Relative Pose Estimation: Generalizable, Training-Free, with Single Reference [62.99706119370521]
  人間は、単一のクエリ参照イメージペアのみを与えられたラベル/トレーニングなしで、目に見えないオブジェクトの相対的なポーズを容易に推論することができる。 そこで,本研究では,RGB-D参照から2.5D形状のRGB-D参照,オフザシェルフ微分可能なRGB-D参照,DINOv2のような事前学習モデルからのセマンティックキューを用いた3D一般化可能な相対ポーズ推定手法を提案する。
  論文  参考訳（メタデータ） (2024-06-26T16:01:10Z)
• RDPN6D: Residual-based Dense Point-wise Network for 6Dof Object Pose Estimation Based on RGB-D Images [13.051302134031808]
  単一のRGB-D画像を用いてオブジェクトの6DoFポーズを計算する新しい手法を提案する。 オブジェクトのポーズを直接予測する既存の手法や、ポーズ回復のためのスパースキーポイントに依存する既存の手法とは異なり、我々のアプローチは密度の高い対応を使ってこの課題に対処する。
  論文  参考訳（メタデータ） (2024-05-14T10:10:45Z)
• GenFlow: Generalizable Recurrent Flow for 6D Pose Refinement of Novel Objects [14.598853174946656]
  我々は、新しいオブジェクトへの精度と一般化を可能にするアプローチであるGenFlowを提案する。 提案手法は, レンダリング画像と観察画像との間の光学的流れを予測し, 6次元ポーズを反復的に洗練する。 3次元形状の制約と、エンドツーエンドの微分システムから学習した一般化可能な幾何学的知識により、性能を向上させる。
  論文  参考訳（メタデータ） (2024-03-18T06:32:23Z)
• Towards Two-view 6D Object Pose Estimation: A Comparative Study on Fusion Strategy [16.65699606802237]
  現在のRGBベースの6Dオブジェクトポーズ推定手法は、データセットや実世界のアプリケーションで顕著なパフォーマンスを達成した。 本稿では2枚のRGB画像から暗黙的な3D情報を学習する6次元オブジェクトポーズ推定フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-01T08:22:34Z)
• Unseen Object 6D Pose Estimation: A Benchmark and Baselines [62.8809734237213]
  本稿では,新しい物体の6次元ポーズ推定をアルゴリズムで行えるようにするための新しいタスクを提案する。 実画像と合成画像の両方でデータセットを収集し、テストセットで最大48個の未確認オブジェクトを収集する。 エンド・ツー・エンドの3D対応ネットワークをトレーニングすることにより、未確認物体と部分ビューRGBD画像との対応点を高精度かつ効率的に見つけることができる。
  論文  参考訳（メタデータ） (2022-06-23T16:29:53Z)
• Coupled Iterative Refinement for 6D Multi-Object Pose Estimation [64.7198752089041]
  既知の3DオブジェクトのセットとRGBまたはRGB-Dの入力画像から、各オブジェクトの6Dポーズを検出して推定する。 我々のアプローチは、ポーズと対応を緊密に結合した方法で反復的に洗練し、アウトレーヤを動的に除去して精度を向上させる。
  論文  参考訳（メタデータ） (2022-04-26T18:00:08Z)
• Pose Estimation of Specific Rigid Objects [0.7931904787652707]
  本稿では,RGBまたはRGB-D入力画像から剛体物体の6次元ポーズを推定する問題に対処する。 この問題は、ロボット操作、拡張現実、自律運転など、多くの応用分野において非常に重要である。
  論文  参考訳（メタデータ） (2021-12-30T14:36:47Z)
• FFB6D: A Full Flow Bidirectional Fusion Network for 6D Pose Estimation [54.666329929930455]
  単一RGBD画像からの6次元ポーズ推定のための双方向融合ネットワークであるFFB6Dを提案する。 表現学習と出力表現選択のための表現情報と幾何学情報を組み合わせることを学ぶ。 提案手法は,いくつかのベンチマークにおいて,最先端の手法よりも大きなマージンを達成している。
  論文  参考訳（メタデータ） (2021-03-03T08:07:29Z)
• EPOS: Estimating 6D Pose of Objects with Symmetries [57.448933686429825]
  1つのRGB入力から利用可能な3次元モデルを用いて、剛体物体の6次元ポーズを推定する新しい手法を提案する。 オブジェクトは、体系的な方法で対称性を許容するコンパクトな表面フラグメントによって表現される。 エンコーダデコーダネットワークを用いて,高密度サンプリング画素とフラグメントの対応性を予測する。
  論文  参考訳（メタデータ） (2020-04-01T17:41:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。