論文の概要: UPNeRF: A Unified Framework for Monocular 3D Object Reconstruction and Pose Estimation

• arxiv url: http://arxiv.org/abs/2403.15705v1
• Date: Sat, 23 Mar 2024 03:56:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-26 21:32:08.091076
• Title: UPNeRF: A Unified Framework for Monocular 3D Object Reconstruction and Pose Estimation
• Title（参考訳）: UPNeRF:モノクロ3次元オブジェクト再構成とポーズ推定のための統一フレームワーク
• Authors: Yuliang Guo, Abhinav Kumar, Cheng Zhao, Ruoyu Wang, Xinyu Huang, Liu Ren,
• Abstract要約: ポース推定とNeRFに基づく再構成を統合した統一フレームワークUPNeRFを提案する。 UPNeRFはオブジェクトの次元推定を分離し、スケールと深さのあいまいさを解決するために洗練する。 UPNeRFは、KITTIとデータセットに例外的なクロスデータセットの一般化を示す。
• 参考スコア（独自算出の注目度）: 15.166003559787915
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Monocular 3D reconstruction for categorical objects heavily relies on accurately perceiving each object's pose. While gradient-based optimization within a NeRF framework updates initially given poses, this paper highlights that such a scheme fails when the initial pose even moderately deviates from the true pose. Consequently, existing methods often depend on a third-party 3D object to provide an initial object pose, leading to increased complexity and generalization issues. To address these challenges, we present UPNeRF, a Unified framework integrating Pose estimation and NeRF-based reconstruction, bringing us closer to real-time monocular 3D object reconstruction. UPNeRF decouples the object's dimension estimation and pose refinement to resolve the scale-depth ambiguity, and introduces an effective projected-box representation that generalizes well cross different domains. While using a dedicated pose estimator that smoothly integrates into an object-centric NeRF, UPNeRF is free from external 3D detectors. UPNeRF achieves state-of-the-art results in both reconstruction and pose estimation tasks on the nuScenes dataset. Furthermore, UPNeRF exhibits exceptional Cross-dataset generalization on the KITTI and Waymo datasets, surpassing prior methods with up to 50% reduction in rotation and translation error.
• Abstract（参考訳）: 分類対象に対する単眼的な3D再構成は、各対象のポーズを正確に知覚することに大きく依存している。 NeRFフレームワーク内での勾配に基づく最適化は、最初はポーズが与えられたが、本論文では、最初のポーズが真のポーズからややずれた場合に、そのようなスキームが失敗することを強調する。 その結果、既存の手法は初期オブジェクトのポーズを提供するために第三者の3Dオブジェクトに依存することが多く、複雑さと一般化の問題が増大する。 これらの課題に対処するため,我々は Pose 推定と NeRF に基づく再構成を統合した統一フレームワークである UPNeRF を提案する。 UPNeRFはオブジェクトの次元推定を分離し、スケールと深さのあいまいさを解消するために改善を施し、異なる領域をよく横断する効果的な射影箱表現を導入している。 オブジェクト中心のNeRFに滑らかに統合される専用のポーズ推定器を使用する一方で、UPNeRFは外部の3D検出器から解放される。 UPNeRFは、nuScenesデータセットの再構築とポーズ推定の両方で最先端の結果を達成する。 さらに、UPNeRFは、KITTIとWaymoのデータセットに例外的なクロスデータセットの一般化を示し、ローテーションと翻訳エラーを最大50%削減する以前の手法を超越している。

関連論文リスト

• UNOPose: Unseen Object Pose Estimation with an Unposed RGB-D Reference Image [86.7128543480229]
  単参照型オブジェクトポーズ推定のための新しいアプローチとベンチマークをUNOPoseと呼ぶ。 粗大なパラダイムに基づいて、UNOPoseはSE(3)不変の参照フレームを構築し、オブジェクト表現を標準化する。 重なり合う領域内に存在すると予測される確率に基づいて、各対応の重みを補正する。
  論文  参考訳（メタデータ） (2024-11-25T05:36:00Z)
• Towards Degradation-Robust Reconstruction in Generalizable NeRF [58.33351079982745]
  GNeRF(Generalizable Radiance Field)は,シーンごとの最適化を回避する手段として有効であることが証明されている。 GNeRFの強靭性は, ソース画像に現れる様々な種類の劣化に対して限定的に研究されている。
  論文  参考訳（メタデータ） (2024-11-18T16:13:47Z)
• LU-NeRF: Scene and Pose Estimation by Synchronizing Local Unposed NeRFs [56.050550636941836]
  NeRFモデルが野生で広く展開されるのを防ぐ重要な障害は、正確なカメラのポーズに依存することである。 カメラのポーズとニューラルフィールドを協調して推定するLU-NeRFという新しい手法を提案する。 LU-NeRFパイプラインは、ポーズに制限的な仮定を加えることなく、未提案のNeRFに対する事前試みより優れることを示す。
  論文  参考訳（メタデータ） (2023-06-08T17:56:22Z)
• In-N-Out: Faithful 3D GAN Inversion with Volumetric Decomposition for Face Editing [28.790900756506833]
  3D対応のGANは、2D対応の編集機能を保ちながら、ビュー合成のための新しい機能を提供する。 GANインバージョンは、入力画像や動画を再構成する潜時コードを求める重要なステップであり、この潜時コードを操作することで様々な編集タスクを可能にする。 我々は3次元GANの入力からOODオブジェクトを明示的にモデル化することでこの問題に対処する。
  論文  参考訳（メタデータ） (2023-02-09T18:59:56Z)
• Few-View Object Reconstruction with Unknown Categories and Camera Poses [80.0820650171476]
  この研究は、カメラのポーズやオブジェクトのカテゴリを知らない少数の画像から、一般的な現実世界のオブジェクトを再構築する。 私たちの研究の要点は、形状再構成とポーズ推定という、2つの基本的な3D視覚問題を解決することです。 提案手法は,各ビューから3次元特徴を予測し,それらを入力画像と組み合わせて活用し,クロスビュー対応を確立する。
  論文  参考訳（メタデータ） (2022-12-08T18:59:02Z)
• RBP-Pose: Residual Bounding Box Projection for Category-Level Pose Estimation [103.74918834553247]
  カテゴリーレベルのオブジェクトポーズ推定は、既知のカテゴリの集合からの任意のオブジェクトの3次元メートル法サイズだけでなく、6次元のポーズを予測することを目的としている。 近年の手法では, 観測された点雲を標準空間にマッピングし, 梅山アルゴリズムを用いてポーズとサイズを復元する手法が提案されている。 本稿では,オブジェクトのポーズと残差ベクトルを共同で予測する,幾何学誘導型残差オブジェクト境界ボックス投影ネットワーク RBP-Pose を提案する。
  論文  参考訳（メタデータ） (2022-07-30T14:45:20Z)
• RNNPose: Recurrent 6-DoF Object Pose Refinement with Robust Correspondence Field Estimation and Pose Optimization [46.144194562841435]
  本稿では、オブジェクトポーズ改善のためのリカレントニューラルネットワーク(RNN)に基づくフレームワークを提案する。 この問題は、推定対応フィールドに基づいて非線形最小二乗問題として定式化される。 各イテレーションにおいて、対応フィールド推定とポーズ精錬を代替して行い、正確なオブジェクトポーズを復元する。
  論文  参考訳（メタデータ） (2022-03-24T06:24:55Z)
• Iterative Optimisation with an Innovation CNN for Pose Refinement [17.752556490937092]
  本研究では,オブジェクトのポーズ推定を改良する手法として,Innovation CNNを提案する。 Innovation CNNを勾配降下フレームワークに反復的に適用することにより、初期ポーズ推定を段階的に改善する。 提案手法は,人気のLINEMODおよびOcclusion LINEMODデータセット上で評価し,両データセットの最先端性能を得る。
  論文  参考訳（メタデータ） (2021-01-22T00:12:12Z)
• Reconstruct, Rasterize and Backprop: Dense shape and pose estimation from a single image [14.9851111159799]
  本稿では,1枚の画像から6-DoFポーズとともに高密度物体再構成を行うシステムを提案する。 我々は、カメラフレームの3D再構成でループを閉じるために、差別化可能なレンダリング(特にロボティクス)の最近の進歩を活用している。
  論文  参考訳（メタデータ） (2020-04-25T20:53:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。