論文の概要: TexPose: Neural Texture Learning for Self-Supervised 6D Object Pose Estimation

• arxiv url: http://arxiv.org/abs/2212.12902v1
• Date: Sun, 25 Dec 2022 13:36:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-27 14:43:46.533888
• Title: TexPose: Neural Texture Learning for Self-Supervised 6D Object Pose Estimation
• Title（参考訳）: TexPose: 自己監督型6次元オブジェクトマップ推定のためのニューラルネットワークテクスチャ学習
• Authors: Hanzhi Chen, Fabian Manhardt, Nassir Navab, Benjamin Busam
• Abstract要約: 合成データから6次元オブジェクトポーズ推定のためのニューラルネットワークによるテクスチャ学習を提案する。 実画像からオブジェクトの現実的なテクスチャを予測することを学ぶ。 画素完全合成データからポーズ推定を学習する。
• 参考スコア（独自算出の注目度）: 55.94900327396771
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we introduce neural texture learning for 6D object pose estimation from synthetic data and a few unlabelled real images. Our major contribution is a novel learning scheme which removes the drawbacks of previous works, namely the strong dependency on co-modalities or additional refinement. These have been previously necessary to provide training signals for convergence. We formulate such a scheme as two sub-optimisation problems on texture learning and pose learning. We separately learn to predict realistic texture of objects from real image collections and learn pose estimation from pixel-perfect synthetic data. Combining these two capabilities allows then to synthesise photorealistic novel views to supervise the pose estimator with accurate geometry. To alleviate pose noise and segmentation imperfection present during the texture learning phase, we propose a surfel-based adversarial training loss together with texture regularisation from synthetic data. We demonstrate that the proposed approach significantly outperforms the recent state-of-the-art methods without ground-truth pose annotations and demonstrates substantial generalisation improvements towards unseen scenes. Remarkably, our scheme improves the adopted pose estimators substantially even when initialised with much inferior performance.
• Abstract（参考訳）: 本稿では,合成データから6次元物体ポーズ推定のためのニューラルテクスチャ学習と,ラベルなし実画像をいくつか紹介する。 私たちの大きな貢献は、以前の作品の欠点、すなわち共変性やさらなる洗練への強い依存を取り除く、新しい学習スキームです。 これらは以前は収束のための訓練信号を提供するために必要だった。 テクスチャ学習とポーズ学習の2つの下位最適化問題として,このようなスキームを定式化する。 我々は、実際の画像コレクションからオブジェクトの現実的なテクスチャを予測し、ピクセル完全合成データからポーズ推定を学ぶ。 これら2つの能力を組み合わせることで、フォトリアリスティックな新しいビューを合成し、ポーズ推定器を正確な幾何学で監督することができる。 テクスチャ学習段階でのポーズノイズとセグメンテーションの不完全さを軽減するために,合成データからのテクスチャ規則化とともに,サーフェルベースの逆訓練損失を提案する。 提案手法は, 直近の最先端手法において, 地味なポーズアノテーションを使わずに大幅に向上し, 目立たないシーンに対する大幅な一般化向上を示す。 顕著なことに,本手法は,性能が劣る初期化においても,採用したポーズ推定器を大幅に改善する。

関連論文リスト

• Is Synthetic Image Useful for Transfer Learning? An Investigation into Data Generation, Volume, and Utilization [62.157627519792946]
  ブリッジドトランスファー(ブリッジドトランスファー)と呼ばれる新しいフレームワークを導入する。このフレームワークは、当初、トレーニング済みモデルの微調整に合成画像を使用し、転送性を向上させる。 合成画像と実画像のスタイルアライメントを改善するために,データセットスタイルの逆変換方式を提案する。 提案手法は10の異なるデータセットと5つの異なるモデルで評価され、一貫した改善が示されている。
  論文  参考訳（メタデータ） (2024-03-28T22:25:05Z)
• GS-Pose: Category-Level Object Pose Estimation via Geometric and Semantic Correspondence [5.500735640045456]
  カテゴリーレベルのポーズ推定は、コンピュータビジョンやロボット工学における多くの潜在的な応用において難しい課題である。 本稿では,事前学習した基礎モデルから得られる幾何学的特徴と意味的特徴の両方を活用することを提案する。 これは、セマンティックな特徴がオブジェクトのテクスチャや外観に対して堅牢であるため、以前のメソッドよりもトレーニングするデータを大幅に少なくする。
  論文  参考訳（メタデータ） (2023-11-23T02:35:38Z)
• Sim2Real Instance-Level Style Transfer for 6D Pose Estimation [0.4893345190925177]
  本研究では,6次元ポーズ推定ネットワークトレーニングのための実時間(sim2real)インスタンスレベルの転送手法を提案する。 提案手法は,人間の介入なしに,対象物体のスタイルを人工物から現実物へ個別に伝達する。
  論文  参考訳（メタデータ） (2022-03-03T23:46:47Z)
• Controllable Person Image Synthesis with Spatially-Adaptive Warped Normalization [72.65828901909708]
  制御可能な人物画像生成は、望ましい属性を持つ現実的な人間の画像を作成することを目的としている。 本稿では,学習フロー場とワープ変調パラメータを統合した空間適応型ワープ正規化(SAWN)を提案する。 本稿では,テクスチャ・トランスファータスクの事前学習モデルを洗練するための,新たな自己学習部分置換戦略を提案する。
  論文  参考訳（メタデータ） (2021-05-31T07:07:44Z)
• Multi-View Consistency Loss for Improved Single-Image 3D Reconstruction of Clothed People [36.30755368202957]
  本稿では,1枚の画像から3次元人物形状復元の精度を向上させるための新しい手法を提案する。 衣服、髪、体の大きさ、ポーズ、カメラの視点などによる形状の変化が大きいため、衣服の復元の正確さと完全性は限られている。
  論文  参考訳（メタデータ） (2020-09-29T17:18:00Z)
• Intrinsic Autoencoders for Joint Neural Rendering and Intrinsic Image Decomposition [67.9464567157846]
  合成3Dモデルからリアルな画像を生成するためのオートエンコーダを提案し,同時に実像を本質的な形状と外観特性に分解する。 実験により, レンダリングと分解の併用処理が有益であることが確認され, 画像から画像への翻訳の質的, 定量的なベースラインよりも優れた結果が得られた。
  論文  参考訳（メタデータ） (2020-06-29T12:53:58Z)
• Pose Proposal Critic: Robust Pose Refinement by Learning Reprojection Errors [17.918364675642998]
  我々は、ポーズの洗練に焦点をあて、部分閉塞の場合の最先端をどう進めるかを示す。 提案手法は,CNNを訓練し,観測画像と描画画像の間の再投影誤差を推定する簡易学習課題を利用する。 Occlusion LINEMODベンチマークの3つの指標のうち2つは、現在の最先端の結果よりも優れています。
  論文  参考訳（メタデータ） (2020-05-13T11:46:04Z)
• Leveraging Photometric Consistency over Time for Sparsely Supervised Hand-Object Reconstruction [118.21363599332493]
  本稿では,ビデオ中のフレームの粗いサブセットに対してのみアノテーションが利用できる場合に,時間とともに光度整合性を活用する手法を提案する。 本モデルでは,ポーズを推定することにより,手や物体を3Dで共同で再構成するカラーイメージをエンドツーエンドに訓練する。 提案手法は,3次元手動画像再構成の精度向上に有効であることを示す。
  論文  参考訳（メタデータ） (2020-04-28T12:03:14Z)
• Two-shot Spatially-varying BRDF and Shape Estimation [89.29020624201708]
  形状とSVBRDFを段階的に推定した新しいディープラーニングアーキテクチャを提案する。 ドメインランダム化された幾何学と現実的な材料を用いた大規模合成学習データセットを作成する。 合成データセットと実世界のデータセットの両方の実験により、合成データセットでトレーニングされたネットワークが、実世界の画像に対してうまく一般化できることが示されている。
  論文  参考訳（メタデータ） (2020-04-01T12:56:13Z)
• Introducing Pose Consistency and Warp-Alignment for Self-Supervised 6D Object Pose Estimation in Color Images [38.9238085806793]
  オブジェクトの6Dポーズを推定する最も成功したアプローチは、現実世界の画像で注釈付きのポーズで学習を監督することによって、ニューラルネットワークを訓練する。 既存のニューラルネットワークベースのアプローチの上に適用可能な2段階の6Dオブジェクトポーズ推定フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-27T11:53:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。