論文の概要: MatchU: Matching Unseen Objects for 6D Pose Estimation from RGB-D Images

• arxiv url: http://arxiv.org/abs/2403.01517v2
• Date: Wed, 8 May 2024 11:54:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-09 16:34:07.215168
• Title: MatchU: Matching Unseen Objects for 6D Pose Estimation from RGB-D Images
• Title（参考訳）: MatchU:RGB-D画像からの6次元空間推定のための見えない物体のマッチング
• Authors: Junwen Huang, Hao Yu, Kuan-Ting Yu, Nassir Navab, Slobodan Ilic, Benjamin Busam,
• Abstract要約: RGB-D画像からの6次元ポーズ推定のためのFuse-Describe-Match戦略を提案する。 MatchUは、2Dテクスチャと6Dポーズ予測のための3D幾何学的手がかりを融合する汎用的なアプローチである。
• 参考スコア（独自算出の注目度）: 57.71600854525037
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent learning methods for object pose estimation require resource-intensive training for each individual object instance or category, hampering their scalability in real applications when confronted with previously unseen objects. In this paper, we propose MatchU, a Fuse-Describe-Match strategy for 6D pose estimation from RGB-D images. MatchU is a generic approach that fuses 2D texture and 3D geometric cues for 6D pose prediction of unseen objects. We rely on learning geometric 3D descriptors that are rotation-invariant by design. By encoding pose-agnostic geometry, the learned descriptors naturally generalize to unseen objects and capture symmetries. To tackle ambiguous associations using 3D geometry only, we fuse additional RGB information into our descriptor. This is achieved through a novel attention-based mechanism that fuses cross-modal information, together with a matching loss that leverages the latent space learned from RGB data to guide the descriptor learning process. Extensive experiments reveal the generalizability of both the RGB-D fusion strategy as well as the descriptor efficacy. Benefiting from the novel designs, MatchU surpasses all existing methods by a significant margin in terms of both accuracy and speed, even without the requirement of expensive re-training or rendering.
• Abstract（参考訳）: オブジェクトポーズ推定の最近の学習方法は、個々のオブジェクトインスタンスやカテゴリごとにリソース集約的なトレーニングを必要としており、これまで目に見えないオブジェクトに直面すると、実際のアプリケーションでのスケーラビリティを妨げます。 本稿では,RGB-D画像からの6次元ポーズ推定のためのFuse-Describe-Match戦略であるMatchUを提案する。 MatchUは、2Dテクスチャと6Dポーズ予測のための3D幾何学的手がかりを融合する汎用的なアプローチである。 設計上は回転不変な幾何学的3D記述子を学習することに依存している。 ポーズに依存しない幾何学を符号化することにより、学習された記述子は自然に未知の物体に一般化し、対称性を捉える。 3次元幾何学のみを用いて曖昧な関連性に対処するために、我々は追加のRGB情報を記述子に注入する。 これは、RGBデータから学習した潜伏空間を活用して記述子学習プロセスをガイドする、クロスモーダル情報を融合する新しいアテンションベースのメカニズムによって実現される。 広範囲な実験により、RGB-D融合戦略とディスクリプタの有効性の両方が一般化可能であることが明らかになった。 斬新なデザインから恩恵を受け、MatchUは高価なリトレーニングやレンダリングを必要とせずとも、精度とスピードの両面で既存の手法をはるかに上回っている。

関連論文リスト

• Towards Human-Level 3D Relative Pose Estimation: Generalizable, Training-Free, with Single Reference [62.99706119370521]
  人間は、単一のクエリ参照イメージペアのみを与えられたラベル/トレーニングなしで、目に見えないオブジェクトの相対的なポーズを容易に推論することができる。 そこで,本研究では,RGB-D参照から2.5D形状のRGB-D参照,オフザシェルフ微分可能なRGB-D参照,DINOv2のような事前学習モデルからのセマンティックキューを用いた3D一般化可能な相対ポーズ推定手法を提案する。
  論文  参考訳（メタデータ） (2024-06-26T16:01:10Z)
• RDPN6D: Residual-based Dense Point-wise Network for 6Dof Object Pose Estimation Based on RGB-D Images [13.051302134031808]
  単一のRGB-D画像を用いてオブジェクトの6DoFポーズを計算する新しい手法を提案する。 オブジェクトのポーズを直接予測する既存の手法や、ポーズ回復のためのスパースキーポイントに依存する既存の手法とは異なり、我々のアプローチは密度の高い対応を使ってこの課題に対処する。
  論文  参考訳（メタデータ） (2024-05-14T10:10:45Z)
• GenFlow: Generalizable Recurrent Flow for 6D Pose Refinement of Novel Objects [14.598853174946656]
  我々は、新しいオブジェクトへの精度と一般化を可能にするアプローチであるGenFlowを提案する。 提案手法は, レンダリング画像と観察画像との間の光学的流れを予測し, 6次元ポーズを反復的に洗練する。 3次元形状の制約と、エンドツーエンドの微分システムから学習した一般化可能な幾何学的知識により、性能を向上させる。
  論文  参考訳（メタデータ） (2024-03-18T06:32:23Z)
• Towards Two-view 6D Object Pose Estimation: A Comparative Study on Fusion Strategy [16.65699606802237]
  現在のRGBベースの6Dオブジェクトポーズ推定手法は、データセットや実世界のアプリケーションで顕著なパフォーマンスを達成した。 本稿では2枚のRGB画像から暗黙的な3D情報を学習する6次元オブジェクトポーズ推定フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-01T08:22:34Z)
• Unseen Object 6D Pose Estimation: A Benchmark and Baselines [62.8809734237213]
  本稿では,新しい物体の6次元ポーズ推定をアルゴリズムで行えるようにするための新しいタスクを提案する。 実画像と合成画像の両方でデータセットを収集し、テストセットで最大48個の未確認オブジェクトを収集する。 エンド・ツー・エンドの3D対応ネットワークをトレーニングすることにより、未確認物体と部分ビューRGBD画像との対応点を高精度かつ効率的に見つけることができる。
  論文  参考訳（メタデータ） (2022-06-23T16:29:53Z)
• Coupled Iterative Refinement for 6D Multi-Object Pose Estimation [64.7198752089041]
  既知の3DオブジェクトのセットとRGBまたはRGB-Dの入力画像から、各オブジェクトの6Dポーズを検出して推定する。 我々のアプローチは、ポーズと対応を緊密に結合した方法で反復的に洗練し、アウトレーヤを動的に除去して精度を向上させる。
  論文  参考訳（メタデータ） (2022-04-26T18:00:08Z)
• Pose Estimation of Specific Rigid Objects [0.7931904787652707]
  本稿では,RGBまたはRGB-D入力画像から剛体物体の6次元ポーズを推定する問題に対処する。 この問題は、ロボット操作、拡張現実、自律運転など、多くの応用分野において非常に重要である。
  論文  参考訳（メタデータ） (2021-12-30T14:36:47Z)
• FFB6D: A Full Flow Bidirectional Fusion Network for 6D Pose Estimation [54.666329929930455]
  単一RGBD画像からの6次元ポーズ推定のための双方向融合ネットワークであるFFB6Dを提案する。 表現学習と出力表現選択のための表現情報と幾何学情報を組み合わせることを学ぶ。 提案手法は,いくつかのベンチマークにおいて,最先端の手法よりも大きなマージンを達成している。
  論文  参考訳（メタデータ） (2021-03-03T08:07:29Z)
• EPOS: Estimating 6D Pose of Objects with Symmetries [57.448933686429825]
  1つのRGB入力から利用可能な3次元モデルを用いて、剛体物体の6次元ポーズを推定する新しい手法を提案する。 オブジェクトは、体系的な方法で対称性を許容するコンパクトな表面フラグメントによって表現される。 エンコーダデコーダネットワークを用いて,高密度サンプリング画素とフラグメントの対応性を予測する。
  論文  参考訳（メタデータ） (2020-04-01T17:41:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。