論文の概要: Occlusion-Aware Self-Supervised Monocular 6D Object Pose Estimation

• arxiv url: http://arxiv.org/abs/2203.10339v1
• Date: Sat, 19 Mar 2022 15:12:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-22 18:03:19.909651
• Title: Occlusion-Aware Self-Supervised Monocular 6D Object Pose Estimation
• Title（参考訳）: 閉塞型自己監督型モノクロ6Dオブジェクトポース推定
• Authors: Gu Wang, Fabian Manhardt, Xingyu Liu, Xiangyang Ji, Federico Tombari
• Abstract要約: 自己教師付き学習による新しい単眼6次元ポーズ推定手法を提案する。 ノイズの多い学生のトレーニングと差別化可能なレンダリングの現在の傾向を活用して、モデルをさらに自己監督する。 提案する自己超越法は,合成データに依存する他の方法よりも優れている。
• 参考スコア（独自算出の注目度）: 88.8963330073454
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: 6D object pose estimation is a fundamental yet challenging problem in computer vision. Convolutional Neural Networks (CNNs) have recently proven to be capable of predicting reliable 6D pose estimates even under monocular settings. Nonetheless, CNNs are identified as being extremely data-driven, and acquiring adequate annotations is oftentimes very time-consuming and labor intensive. To overcome this limitation, we propose a novel monocular 6D pose estimation approach by means of self-supervised learning, removing the need for real annotations. After training our proposed network fully supervised with synthetic RGB data, we leverage current trends in noisy student training and differentiable rendering to further self-supervise the model on these unsupervised real RGB(-D) samples, seeking for a visually and geometrically optimal alignment. Moreover, employing both visible and amodal mask information, our self-supervision becomes very robust towards challenging scenarios such as occlusion. Extensive evaluations demonstrate that our proposed self-supervision outperforms all other methods relying on synthetic data or employing elaborate techniques from the domain adaptation realm. Noteworthy, our self-supervised approach consistently improves over its synthetically trained baseline and often almost closes the gap towards its fully supervised counterpart. The code and models are publicly available at https://github.com/THU-DA-6D-Pose-Group/self6dpp.git.
• Abstract（参考訳）: 6Dオブジェクトのポーズ推定は、コンピュータビジョンの基本的な問題である。 畳み込みニューラルネットワーク(cnns)は、単眼環境下でも信頼できる6dポーズ推定を予測できることが最近証明されている。 それでも、CNNは極めてデータ駆動であり、適切なアノテーションを取得することは、しばしば非常に時間がかかり、労力がかかる。 この制限を克服するために,自己教師付き学習による新しい単眼6Dポーズ推定手法を提案し,実際のアノテーションの必要性を排除した。 提案するネットワークを合成rgbデータで完全に監視した上で,ノイズの多い学生トレーニングと微分可能レンダリングの現在のトレンドを活用して,教師なし実rgb(-d)サンプルのモデルをさらに自己監督し,視覚的かつ幾何学的に最適なアライメントを求める。 さらに,目に見えるマスク情報とアモーダルマスク情報の両方を用いることで,咬合などの難易度の高いシナリオに対して,自己スーパービジョンが極めて堅牢になる。 総合評価の結果,提案する自己超越法は,合成データやドメイン適応領域の精巧な手法を用いて,他の手法よりも優れていた。 注目すべきは、我々の自己監督的アプローチは、合成訓練されたベースラインよりも一貫して改善され、しばしば完全に教師されたベースラインへのギャップを埋めることです。 コードとモデルはhttps://github.com/THU-DA-6D-Pose-Group/self6dpp.gitで公開されている。

関連論文リスト

• SC-DepthV3: Robust Self-supervised Monocular Depth Estimation for Dynamic Scenes [58.89295356901823]
  自己監督型単眼深度推定は静的な場面で顕著な結果を示した。 トレーニングネットワークのマルチビュー整合性の仮定に依存するが、動的オブジェクト領域に違反する。 単一画像の深度を事前に生成するための,外部トレーニング付き単眼深度推定モデルを提案する。 我々のモデルは、高度にダイナミックなシーンのモノクロビデオからトレーニングしても、シャープで正確な深度マップを予測できる。
  論文  参考訳（メタデータ） (2022-11-07T16:17:47Z)
• FS6D: Few-Shot 6D Pose Estimation of Novel Objects [116.34922994123973]
  6Dオブジェクトポーズ推定ネットワークは、多数のオブジェクトインスタンスにスケールする能力に制限がある。 本研究では,未知の物体の6次元ポーズを,余分な訓練を伴わずにいくつかの支援ビューで推定する。
  論文  参考訳（メタデータ） (2022-03-28T10:31:29Z)
• VIPose: Real-time Visual-Inertial 6D Object Pose Tracking [3.44942675405441]
  本稿では,オブジェクトのポーズ追跡問題にリアルタイムに対処するために,VIPoseと呼ばれる新しいディープニューラルネットワーク(DNN)を提案する。 重要な貢献は、オブジェクトの相対的な6Dポーズを予測するために視覚的および慣性的特徴を融合する新しいDNNアーキテクチャの設計である。 このアプローチでは、最先端技術に匹敵する精度性能を示すが、リアルタイムであることにはさらなるメリットがある。
  論文  参考訳（メタデータ） (2021-07-27T06:10:23Z)
• Unsupervised Domain Adaptation with Temporal-Consistent Self-Training for 3D Hand-Object Joint Reconstruction [131.34795312667026]
  サイクル生成逆数ネットワーク(CycleGAN)内の3次元幾何学的制約を利用してこの問題に対処する効果的なアプローチを提案する。 既存のほとんどの研究とは対照的に、ドメイン適応モデルを自己管理的に微調整するために、短期的および長期的時間的整合性を強制することを提案する。 本研究では,3つのベンチマークを用いて,最先端の3Dハンドオブジェ共同再建手法を上回っていることを実証する。
  論文  参考訳（メタデータ） (2020-12-21T11:27:56Z)
• se(3)-TrackNet: Data-driven 6D Pose Tracking by Calibrating Image Residuals in Synthetic Domains [12.71983073907091]
  本研究では,長期6次元ポーズトラッキングのためのデータ駆動型最適化手法を提案する。 本研究の目的は、現在のRGB-D観測と、前回の推定値と対象物のモデルに基づいて条件付けされた合成画像から、最適な相対的なポーズを特定することである。 提案手法は, 実画像を用いて訓練した場合でも, 常に頑健な評価を達成し, 代替品よりも優れる。
  論文  参考訳（メタデータ） (2020-07-27T21:09:36Z)
• Self6D: Self-Supervised Monocular 6D Object Pose Estimation [114.18496727590481]
  自己教師付き学習による単眼6次元ポーズ推定のアイデアを提案する。 ニューラルレンダリングの最近の進歩を活用して、注釈のない実RGB-Dデータのモデルをさらに自己監督する。
  論文  参考訳（メタデータ） (2020-04-14T13:16:36Z)
• CPS++: Improving Class-level 6D Pose and Shape Estimation From Monocular Images With Self-Supervised Learning [74.53664270194643]
  現代のモノクロ6Dポーズ推定手法は、少数のオブジェクトインスタンスにしか対応できない。 そこで本研究では,計量形状検索と組み合わせて,クラスレベルのモノクル6次元ポーズ推定手法を提案する。 1枚のRGB画像から正確な6Dポーズとメートル法形状を抽出できることを実験的に実証した。
  論文  参考訳（メタデータ） (2020-03-12T15:28:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。