論文の概要: SO(3)-Pose: SO(3)-Equivariance Learning for 6D Object Pose Estimation
- arxiv url: http://arxiv.org/abs/2208.08338v1
- Date: Wed, 17 Aug 2022 15:04:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-18 13:03:10.464129
- Title: SO(3)-Pose: SO(3)-Equivariance Learning for 6D Object Pose Estimation
- Title（参考訳）: so(3)-pose:so(3)-等分散学習による6次元物体ポーズ推定
- Authors: Haoran Pan, Jun Zhou, Yuanpeng Liu, Xuequan Lu, Weiming Wang, Xuefeng
Yan, Mingqiang Wei
- Abstract要約: RGB-D画像からの剛体物体の6次元ポーズ推定は,ロボット工学における物体の把握と操作に不可欠である。
ポーズ推定のための深度チャネルから,SO(3)-同変およびSO(3)-不変特徴を探索する新しい表現学習ネットワークであるSO(3)-Poseを提案する。
提案手法は,3つのベンチマーク上での最先端性能を実現する。
- 参考スコア（独自算出の注目度）: 23.49267816526126
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 6D pose estimation of rigid objects from RGB-D images is crucial for object
grasping and manipulation in robotics. Although RGB channels and the depth (D)
channel are often complementary, providing respectively the appearance and
geometry information, it is still non-trivial how to fully benefit from the two
cross-modal data. From the simple yet new observation, when an object rotates,
its semantic label is invariant to the pose while its keypoint offset direction
is variant to the pose. To this end, we present SO(3)-Pose, a new
representation learning network to explore SO(3)-equivariant and
SO(3)-invariant features from the depth channel for pose estimation. The
SO(3)-invariant features facilitate to learn more distinctive representations
for segmenting objects with similar appearance from RGB channels. The
SO(3)-equivariant features communicate with RGB features to deduce the (missed)
geometry for detecting keypoints of an object with the reflective surface from
the depth channel. Unlike most of existing pose estimation methods, our
SO(3)-Pose not only implements the information communication between the RGB
and depth channels, but also naturally absorbs the SO(3)-equivariance geometry
knowledge from depth images, leading to better appearance and geometry
representation learning. Comprehensive experiments show that our method
achieves the state-of-the-art performance on three benchmarks.
- Abstract（参考訳）: rgb-d画像からの剛体物体の6次元ポーズ推定はロボットの物体把握と操作に不可欠である。
rgbチャネルと深度(d)チャネルは相補的であり、それぞれ外観と形状の情報を提供するが、2つのクロスモーダルデータから完全に恩恵を受ける方法はいまだに自明ではない。
単純で新しい観察では、物体が回転するとき、その意味ラベルはポーズに不変であり、キーポイントオフセット方向はポーズに変化している。
この目的のために,ポーズ推定のための深度チャネルからSO(3)-同変およびSO(3)-不変特徴を探索する新しい表現学習ネットワークであるSO(3)-Poseを提案する。
so(3)不変な特徴は、rgbチャネルから類似した外観を持つセグメンテーションオブジェクトのより特徴的な表現を学ぶのに役立つ。
SO(3)-等価な特徴はRGBの特徴と通信し、深度チャネルから反射面を持つ物体のキーポイントを検出する(欠測した)幾何学を推論する。
既存のポーズ推定手法とは異なり、我々のSO(3)-PoseはRGBと深度チャネル間の情報通信を実装しているだけでなく、深度画像からSO(3)-等価な幾何学的知識を自然に吸収し、外観と幾何表現学習の改善をもたらす。
総合的な実験により,本手法は3つのベンチマークで最先端の性能を実現する。
関連論文リスト
- Towards Human-Level 3D Relative Pose Estimation: Generalizable, Training-Free, with Single Reference [62.99706119370521]
人間は、単一のクエリ参照イメージペアのみを与えられたラベル/トレーニングなしで、目に見えないオブジェクトの相対的なポーズを容易に推論することができる。
そこで,本研究では,RGB-D参照から2.5D形状のRGB-D参照,オフザシェルフ微分可能なRGB-D参照,DINOv2のような事前学習モデルからのセマンティックキューを用いた3D一般化可能な相対ポーズ推定手法を提案する。
論文 参考訳（メタデータ） (2024-06-26T16:01:10Z) - Normal-guided Detail-Preserving Neural Implicit Functions for High-Fidelity 3D Surface Reconstruction [6.4279213810512665]
RGBまたはRGBD画像からニューラル暗黙表現を学習する現在の方法は、欠落した部分と詳細を持つ3D曲面を生成する。
本稿では,1次微分特性を持つニューラル表現のトレーニング,すなわち表面正規化が,高精度な3次元表面再構成をもたらすことを示す。
論文 参考訳（メタデータ） (2024-06-07T11:48:47Z) - MatchU: Matching Unseen Objects for 6D Pose Estimation from RGB-D Images [57.71600854525037]
RGB-D画像からの6次元ポーズ推定のためのFuse-Describe-Match戦略を提案する。
MatchUは、2Dテクスチャと6Dポーズ予測のための3D幾何学的手がかりを融合する汎用的なアプローチである。
論文 参考訳（メタデータ） (2024-03-03T14:01:03Z) - RGB-based Category-level Object Pose Estimation via Decoupled Metric
Scale Recovery [72.13154206106259]
本研究では、6次元のポーズとサイズ推定を分離し、不完全なスケールが剛性変換に与える影響を緩和するパイプラインを提案する。
具体的には,事前学習した単分子推定器を用いて局所的な幾何学的情報を抽出する。
別個のブランチは、カテゴリレベルの統計に基づいてオブジェクトのメートル法スケールを直接復元するように設計されている。
論文 参考訳（メタデータ） (2023-09-19T02:20:26Z) - CheckerPose: Progressive Dense Keypoint Localization for Object Pose
Estimation with Graph Neural Network [66.24726878647543]
単一のRGB画像から固い物体の6-DoFのポーズを推定することは、非常に難しい課題である。
近年の研究では、高密度対応型解の大きな可能性を示している。
そこで本研究では,CheckerPoseというポーズ推定アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-03-29T17:30:53Z) - Neural Correspondence Field for Object Pose Estimation [67.96767010122633]
1枚のRGB画像から3次元モデルで剛体物体の6DoFポーズを推定する手法を提案する。
入力画像の画素で3次元オブジェクト座標を予測する古典的対応法とは異なり,提案手法はカメラフラストラムでサンプリングされた3次元クエリポイントで3次元オブジェクト座標を予測する。
論文 参考訳（メタデータ） (2022-07-30T01:48:23Z) - DPODv2: Dense Correspondence-Based 6 DoF Pose Estimation [24.770767430749288]
DPODv2(Dense Pose Object Detector)と呼ばれる3ステージ6DoFオブジェクト検出手法を提案する。
本研究では,2次元物体検出器と高密度対応推定ネットワークを組み合わせることで,フル6DFのポーズを推定する多視点ポーズ補正手法を提案する。
DPODv2は、使用済みのデータモダリティとトレーニングデータの種類によらず、高速でスケーラブルなまま、すべてのデータに対して優れた結果を得る。
論文 参考訳（メタデータ） (2022-07-06T16:48:56Z) - Joint stereo 3D object detection and implicit surface reconstruction [39.30458073540617]
本稿では,SO(3)の正確なオブジェクト指向を復元し,ステレオRGB画像から暗黙的な剛性形状を同時に予測できる学習ベースのフレームワークS-3D-RCNNを提案する。
方向推定のためには、局所的な外観を観測角度にマッピングする従来の研究とは対照的に、意味のある幾何学的表現(IGR)を抽出して進歩的なアプローチを提案する。
このアプローチは、知覚強度を1つか2つのビューからオブジェクト部分座標に変換するディープモデルにより、カメラ座標系において、直接自我中心のオブジェクト指向推定を実現する。
3次元境界ボックス内におけるより詳細な記述を実現するため,ステレオ画像からの暗黙的形状推定問題について検討する。
論文 参考訳（メタデータ） (2021-11-25T05:52:30Z) - 3D Point-to-Keypoint Voting Network for 6D Pose Estimation [8.801404171357916]
3次元キーポイントの空間構造特性に基づくRGB-Dデータから6次元ポーズ推定のためのフレームワークを提案する。
提案手法は, LINEMOD と OCCLUSION LINEMOD の2つのベンチマークデータセットで検証する。
論文 参考訳（メタデータ） (2020-12-22T11:43:15Z) - EPOS: Estimating 6D Pose of Objects with Symmetries [57.448933686429825]
1つのRGB入力から利用可能な3次元モデルを用いて、剛体物体の6次元ポーズを推定する新しい手法を提案する。
オブジェクトは、体系的な方法で対称性を許容するコンパクトな表面フラグメントによって表現される。
エンコーダデコーダネットワークを用いて,高密度サンプリング画素とフラグメントの対応性を予測する。
論文 参考訳（メタデータ） (2020-04-01T17:41:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。