論文の概要: NeuSurfEmb: A Complete Pipeline for Dense Correspondence-based 6D Object Pose Estimation without CAD Models

• arxiv url: http://arxiv.org/abs/2407.12207v1
• Date: Tue, 16 Jul 2024 22:48:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-18 18:58:45.421417
• Title: NeuSurfEmb: A Complete Pipeline for Dense Correspondence-based 6D Object Pose Estimation without CAD Models
• Title（参考訳）: NeuSurfEmb:CADモデルなしの高密度対応型6次元オブジェクト空間推定のための完全パイプライン
• Authors: Francesco Milano, Jen Jen Chung, Hermann Blum, Roland Siegwart, Lionel Ott,
• Abstract要約: CADモデルを必要とせず、入力として少数の実画像のみを必要とする最先端のポーズ推定器を訓練できるパイプラインを提案する。 提案手法は,Structure-from-Motion (SfM) とオブジェクトに依存しないセグメンテーションに基づいて,半自動で学習するNeuS2オブジェクト表現に基づいている。 提案手法をLINEMOD-Occlusionデータセット上で評価し,各コンポーネントの影響を広範囲に検討し,CADモデルとPBRデータに基づくアプローチによる競合性能を示す。
• 参考スコア（独自算出の注目度）: 34.898217885820614
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: State-of-the-art approaches for 6D object pose estimation assume the availability of CAD models and require the user to manually set up physically-based rendering (PBR) pipelines for synthetic training data generation. Both factors limit the application of these methods in real-world scenarios. In this work, we present a pipeline that does not require CAD models and allows training a state-of-the-art pose estimator requiring only a small set of real images as input. Our method is based on a NeuS2 object representation, that we learn through a semi-automated procedure based on Structure-from-Motion (SfM) and object-agnostic segmentation. We exploit the novel-view synthesis ability of NeuS2 and simple cut-and-paste augmentation to automatically generate photorealistic object renderings, which we use to train the correspondence-based SurfEmb pose estimator. We evaluate our method on the LINEMOD-Occlusion dataset, extensively studying the impact of its individual components and showing competitive performance with respect to approaches based on CAD models and PBR data. We additionally demonstrate the ease of use and effectiveness of our pipeline on self-collected real-world objects, showing that our method outperforms state-of-the-art CAD-model-free approaches, with better accuracy and robustness to mild occlusions. To allow the robotics community to benefit from this system, we will publicly release it at https://www.github.com/ethz-asl/neusurfemb.
• Abstract（参考訳）: 6Dオブジェクトのポーズ推定のための最先端のアプローチはCADモデルの可用性を前提としており、ユーザーは合成トレーニングデータ生成のために物理ベースレンダリング(PBR)パイプラインを手動でセットアップする必要がある。 どちらの要因も実際のシナリオにおけるこれらの手法の適用を制限する。 本研究では,CADモデルを必要とせず,少数の実画像のみを入力として必要とする最先端のポーズ推定器を訓練できるパイプラインを提案する。 提案手法は,Structure-from-Motion (SfM) とオブジェクトに依存しないセグメンテーションに基づいて,半自動で学習するNeuS2オブジェクト表現に基づいている。 我々は、NeuS2とシンプルなカット・アンド・ペースト・オーグメンテーションの新規なビュー合成機能を利用して、自動的にフォトリアリスティックなオブジェクトレンダリングを生成し、通信ベースのSurfEmbポーズ推定器を訓練する。 提案手法をLINEMOD-Occlusionデータセット上で評価し,各コンポーネントの影響を広範囲に検討し,CADモデルとPBRデータに基づくアプローチによる競合性能を示す。 さらに,本手法は,従来のCADモデルのない手法よりも優れた精度とロバスト性を実現し,自己コンパイルされた実世界のオブジェクトに対するパイプラインの使用の容易さと有効性を実証する。 ロボットコミュニティがこのシステムの恩恵を受けるために、https://www.github.com/ethz-asl/neusurfemb.comで公開します。

関連論文リスト

• View-Dependent Octree-based Mesh Extraction in Unbounded Scenes for Procedural Synthetic Data [71.22495169640239]
  手続き署名距離関数(SDF)は、大規模な詳細なシーンをモデル化するための強力なツールである。 OcMesherというメッシュ抽出アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-12-13T18:56:13Z)
• FoundationPose: Unified 6D Pose Estimation and Tracking of Novel Objects [55.77542145604758]
  FoundationPoseは、6Dオブジェクトのポーズ推定と追跡のための統合基盤モデルである。 我々のアプローチは、微調整なしで、テスト時に新しいオブジェクトに即座に適用できる。
  論文  参考訳（メタデータ） (2023-12-13T18:28:09Z)
• DiffCAD: Weakly-Supervised Probabilistic CAD Model Retrieval and Alignment from an RGB Image [34.47379913018661]
  本稿では,RGB画像からのCAD検索とアライメントに対する,最初の弱教師付き確率的アプローチであるDiffCADを提案する。 我々はこれを条件付き生成タスクとして定式化し、拡散を利用して画像中のCADオブジェクトの形状、ポーズ、スケールをキャプチャする暗黙の確率モデルを学ぶ。 提案手法は, 合成データのみを用いて学習し, 単眼深度とマスク推定を利用して, 種々の実対象領域へのロバストなゼロショット適応を実現する。
  論文  参考訳（メタデータ） (2023-11-30T15:10:21Z)
• Robust Category-Level 3D Pose Estimation from Synthetic Data [17.247607850702558]
  CADモデルから生成されたオブジェクトポーズ推定のための新しい合成データセットであるSyntheticP3Dを紹介する。 逆レンダリングによるポーズ推定を行うニューラルネットワークモデルをトレーニングするための新しいアプローチ(CC3D)を提案する。
  論文  参考訳（メタデータ） (2023-05-25T14:56:03Z)
• MegaPose: 6D Pose Estimation of Novel Objects via Render & Compare [84.80956484848505]
  MegaPoseは、トレーニング中に見えない新しいオブジェクトの6Dポーズを推定する方法である。 本稿では,新しいオブジェクトに適用可能なR&Compare戦略に基づく6次元ポーズリファインダを提案する。 第2に,合成レンダリングと同一物体の観察画像間のポーズ誤差をリファインダで補正できるか否かを分類するために訓練されたネットワークを利用する,粗いポーズ推定のための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-12-13T19:30:03Z)
• Semantic keypoint-based pose estimation from single RGB frames [64.80395521735463]
  一つのRGB画像からオブジェクトの連続6-DoFポーズを推定する手法を提案する。 このアプローチは、畳み込みネットワーク(convnet)によって予測されるセマンティックキーポイントと、変形可能な形状モデルを組み合わせる。 提案手法は,インスタンスベースのシナリオとクラスベースのシナリオの両方に対して,6-DoFオブジェクトのポーズを正確に復元できることを示す。
  論文  参考訳（メタデータ） (2022-04-12T15:03:51Z)
• Sim2Real Instance-Level Style Transfer for 6D Pose Estimation [0.4893345190925177]
  本研究では,6次元ポーズ推定ネットワークトレーニングのための実時間(sim2real)インスタンスレベルの転送手法を提案する。 提案手法は,人間の介入なしに,対象物体のスタイルを人工物から現実物へ個別に伝達する。
  論文  参考訳（メタデータ） (2022-03-03T23:46:47Z)
• SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
  本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。 しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
  論文  参考訳（メタデータ） (2021-12-22T14:45:37Z)
• Learning Monocular Depth in Dynamic Scenes via Instance-Aware Projection Consistency [114.02182755620784]
  本稿では,複数の動的物体の6-DoF動作,エゴモーション,深度を,監督なしで一眼レフカメラで明示的にモデル化する,エンドツーエンドのジョイントトレーニングフレームワークを提案する。 筆者らのフレームワークは,最先端の深度・動き推定法より優れていた。
  論文  参考訳（メタデータ） (2021-02-04T14:26:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。