論文の概要: MV6D: Multi-View 6D Pose Estimation on RGB-D Frames Using a Deep
Point-wise Voting Network
- arxiv url: http://arxiv.org/abs/2208.01172v1
- Date: Mon, 1 Aug 2022 23:34:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-03 12:44:10.343553
- Title: MV6D: Multi-View 6D Pose Estimation on RGB-D Frames Using a Deep
Point-wise Voting Network
- Title（参考訳）: MV6D:ディープポイントワイズ投票ネットワークを用いたRGB-Dフレーム上の多視点6Dポス推定
- Authors: Fabian Duffhauss, Tobias Demmler, Gerhard Neumann
- Abstract要約: MV6Dと呼ばれる新しい多視点6Dポーズ推定手法を提案する。
我々は、ターゲットオブジェクトのキーポイントを予測するために単一のRGB-D画像を使用するPVN3Dネットワークをベースとしています。
CosyPoseのような現在の多視点ポーズ検出ネットワークとは対照的に、MV6Dはエンドツーエンドで複数の視点の融合を学習することができる。
- 参考スコア（独自算出の注目度）: 14.754297065772676
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Estimating 6D poses of objects is an essential computer vision task. However,
most conventional approaches rely on camera data from a single perspective and
therefore suffer from occlusions. We overcome this issue with our novel
multi-view 6D pose estimation method called MV6D which accurately predicts the
6D poses of all objects in a cluttered scene based on RGB-D images from
multiple perspectives. We base our approach on the PVN3D network that uses a
single RGB-D image to predict keypoints of the target objects. We extend this
approach by using a combined point cloud from multiple views and fusing the
images from each view with a DenseFusion layer. In contrast to current
multi-view pose detection networks such as CosyPose, our MV6D can learn the
fusion of multiple perspectives in an end-to-end manner and does not require
multiple prediction stages or subsequent fine tuning of the prediction.
Furthermore, we present three novel photorealistic datasets of cluttered scenes
with heavy occlusions. All of them contain RGB-D images from multiple
perspectives and the ground truth for instance semantic segmentation and 6D
pose estimation. MV6D significantly outperforms the state-of-the-art in
multi-view 6D pose estimation even in cases where the camera poses are known
inaccurately. Furthermore, we show that our approach is robust towards dynamic
camera setups and that its accuracy increases incrementally with an increasing
number of perspectives.
- Abstract（参考訳）: オブジェクトの6Dポーズを推定することは、重要なコンピュータビジョンタスクである。
しかし、従来のアプローチのほとんどは単一の視点からのカメラデータに依存しているため、オクルージョンに苦しむ。
我々は,複数の視点からRGB-D画像に基づいて,全物体の6次元ポーズを正確に予測するMV6Dという新しい多視点6Dポーズ推定手法により,この問題を克服する。
対象オブジェクトのキーポイントを単一のrgb-dイメージで予測するpvn3dネットワークをベースとする。
複数のビューからコンバインドポイントクラウドを使用して,各ビューからのイメージを集中層で融合することにより,このアプローチを拡張する。
CosyPoseのような現在の多視点ポーズ検出ネットワークとは対照的に、MV6Dはエンドツーエンドで複数の視点の融合を学習することができ、複数の予測ステージやその後の予測の微調整を必要としない。
さらに,重閉塞の散逸したシーンの3つの新しいフォトリアリスティックデータセットを提示する。
それらすべてには、複数の視点からRGB-D画像が含まれており、例えばセマンティックセグメンテーションや6Dポーズ推定などの基礎的な真実が含まれている。
MV6Dは、カメラのポーズが不正確な場合にも、マルチビュー6Dのポーズ推定において最先端を著しく上回る。
さらに,本手法は動的カメラのセットアップに対して頑健であり,視点数の増加とともに精度が漸進的に向上することを示す。
関連論文リスト
- SyMFM6D: Symmetry-aware Multi-directional Fusion for Multi-View 6D
Object Pose Estimation [16.460390441848464]
我々はSyMFM6Dと呼ばれる新しい対称性を考慮したマルチビュー6Dポーズ推定器を提案する。
本手法は,深層多方向核融合ネットワークにおいて,複数の視点からRGB-Dフレームを効率よく融合させる。
我々は,不正確なカメラキャリブレーションやダイナミックカメラのセットアップに対して,我々のアプローチが堅牢であることを示す。
論文 参考訳（メタデータ） (2023-07-01T11:28:53Z) - Learning to Estimate 6DoF Pose from Limited Data: A Few-Shot,
Generalizable Approach using RGB Images [60.0898989456276]
本稿では,数ショットの6DoFポーズ推定のためのCas6Dという新しいフレームワークを提案する。
極めて少数の設定で対象物検出の偽陽性に対処するために,本フレームワークでは,自己教師付き事前学習型ViTを用いて,ロバストな特徴表現を学習する。
LINEMODとGenMOPデータセットの実験結果は、Cas6Dが32ショット設定で最先端の手法を9.2%、精度3.8%(Proj-5)で上回ることを示した。
論文 参考訳（メタデータ） (2023-06-13T07:45:42Z) - RelPose++: Recovering 6D Poses from Sparse-view Observations [66.6922660401558]
スパースビュー画像集合(2-8画像)から6次元カメラポーズを推定する作業に対処する。
我々は,画像対上の相対回転よりも分布を推定するネットワークを学習するRelPoseフレームワークを構築した。
最終システムは,先行技術よりも6次元ポーズ予測を大幅に改善する。
論文 参考訳（メタデータ） (2023-05-08T17:59:58Z) - Coupled Iterative Refinement for 6D Multi-Object Pose Estimation [64.7198752089041]
既知の3DオブジェクトのセットとRGBまたはRGB-Dの入力画像から、各オブジェクトの6Dポーズを検出して推定する。
我々のアプローチは、ポーズと対応を緊密に結合した方法で反復的に洗練し、アウトレーヤを動的に除去して精度を向上させる。
論文 参考訳（メタデータ） (2022-04-26T18:00:08Z) - FS6D: Few-Shot 6D Pose Estimation of Novel Objects [116.34922994123973]
6Dオブジェクトポーズ推定ネットワークは、多数のオブジェクトインスタンスにスケールする能力に制限がある。
本研究では,未知の物体の6次元ポーズを,余分な訓練を伴わずにいくつかの支援ビューで推定する。
論文 参考訳（メタデータ） (2022-03-28T10:31:29Z) - Weakly Supervised Learning of Keypoints for 6D Object Pose Estimation [73.40404343241782]
2次元キーポイント検出に基づく弱教師付き6次元オブジェクトポーズ推定手法を提案する。
提案手法は,最先端の完全教師付きアプローチと同等の性能を実現する。
論文 参考訳（メタデータ） (2022-03-07T16:23:47Z) - CenterSnap: Single-Shot Multi-Object 3D Shape Reconstruction and
Categorical 6D Pose and Size Estimation [19.284468553414918]
本稿では, 単視点RGB-D観測による同時多目的3次元再構成, 6次元ポーズ, サイズ推定の複雑な課題について検討する。
既存のアプローチは主に、イメージ内の各オブジェクトインスタンスをローカライズして検出し、3Dメッシュまたは6Dポーズに回帰する複雑なマルチステージパイプラインに従う。
本研究では,3次元形状の予測と6次元ポーズと大きさの同時推定を,バウンディングボックスフリーで行うための簡単な一段階的手法を提案する。
論文 参考訳（メタデータ） (2022-03-03T18:59:04Z) - Multi-View Multi-Person 3D Pose Estimation with Plane Sweep Stereo [71.59494156155309]
既存のマルチビュー3Dポーズ推定手法は、複数のカメラビューからグループ2Dポーズ検出に対するクロスビュー対応を明確に確立する。
平面スイープステレオに基づくマルチビュー3Dポーズ推定手法を提案し、クロスビュー融合と3Dポーズ再構築を1ショットで共同で解決します。
論文 参考訳（メタデータ） (2021-04-06T03:49:35Z) - CosyPose: Consistent multi-view multi-object 6D pose estimation [48.097599674329004]
単視点単体6次元ポーズ推定法を提案し、6次元オブジェクトのポーズ仮説を生成する。
第2に、異なる入力画像間で個々の6次元オブジェクトのポーズをマッチングするロバストな手法を開発する。
第3に、複数のオブジェクト仮説とそれらの対応性を考慮したグローバルなシーン改善手法を開発した。
論文 参考訳（メタデータ） (2020-08-19T14:11:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。