論文の概要: Marrying NeRF with Feature Matching for One-step Pose Estimation

• arxiv url: http://arxiv.org/abs/2404.00891v1
• Date: Mon, 1 Apr 2024 03:35:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-03 23:26:11.576654
• Title: Marrying NeRF with Feature Matching for One-step Pose Estimation
• Title（参考訳）: 一段階ポーズ推定のための特徴マッチングによるNeRFの結婚
• Authors: Ronghan Chen, Yang Cong, Yu Ren,
• Abstract要約: 我々は、CADモデルやオブジェクト固有の訓練時間を必要としないリアルタイム画像ベースのポーズ推定手法を構築した。 最近のNeRFベースの手法は、レンダリング画像とターゲット画像の間の画素損失からのポーズを直接最適化することで、有望なソリューションを提供する。 我々は,NeRFと画像マッチングを組み合わせてこの問題を解決することを目的としており,NeRFが描画した2Dマッチングと深度を用いて,ターゲットと初期ビューの2D-3D対応を構築し,リアルタイムな予測を可能にする。
• 参考スコア（独自算出の注目度）: 18.02810348735667
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Given the image collection of an object, we aim at building a real-time image-based pose estimation method, which requires neither its CAD model nor hours of object-specific training. Recent NeRF-based methods provide a promising solution by directly optimizing the pose from pixel loss between rendered and target images. However, during inference, they require long converging time, and suffer from local minima, making them impractical for real-time robot applications. We aim at solving this problem by marrying image matching with NeRF. With 2D matches and depth rendered by NeRF, we directly solve the pose in one step by building 2D-3D correspondences between target and initial view, thus allowing for real-time prediction. Moreover, to improve the accuracy of 2D-3D correspondences, we propose a 3D consistent point mining strategy, which effectively discards unfaithful points reconstruted by NeRF. Moreover, current NeRF-based methods naively optimizing pixel loss fail at occluded images. Thus, we further propose a 2D matches based sampling strategy to preclude the occluded area. Experimental results on representative datasets prove that our method outperforms state-of-the-art methods, and improves inference efficiency by 90x, achieving real-time prediction at 6 FPS.
• Abstract（参考訳）: オブジェクトのイメージコレクションを考えると,CADモデルやオブジェクト固有の訓練時間を必要としないリアルタイム画像ベースのポーズ推定手法を構築することを目指している。 最近のNeRFベースの手法は、レンダリング画像とターゲット画像の間の画素損失からのポーズを直接最適化することで、有望なソリューションを提供する。 しかし、推論中は長い収束時間を必要とし、局所的なミニマに悩まされるため、リアルタイムロボットの応用には実用的ではない。 我々は、NeRFと画像マッチングを組み合わせることで、この問題を解決することを目指している。 NeRFによる2Dマッチングと深度により、ターゲットと初期ビューの間に2D-3D対応性を構築することで、一段階のポーズを直接解決し、リアルタイムな予測を可能にする。 さらに,2次元3次元対応の精度を向上させるために,NeRFにより再構成された不誠実な点を効果的に破棄する3次元一貫した点マイニング戦略を提案する。 さらに、現在のNeRFベースの手法は、隠蔽画像の画素損失を動的に最適化する。 そこで本研究では,2次元マッチングに基づくサンプリング手法を提案する。 その結果,提案手法は最先端の手法より優れ,推論効率は90倍向上し,リアルタイム予測を6FPSで達成した。

関連論文リスト

• SG-NeRF: Neural Surface Reconstruction with Scene Graph Optimization [16.460851701725392]
  本稿では,外乱ポーズの影響を軽減するため,シーングラフを用いた放射場最適化手法を提案する。 本手法では,シーングラフに基づく適応型不整合・不整合信頼度推定手法を取り入れた。 また、カメラのポーズと表面形状を最適化するために、効果的な交叉結合(IoU)損失を導入する。
  論文  参考訳（メタデータ） (2024-07-17T15:50:17Z)
• UPose3D: Uncertainty-Aware 3D Human Pose Estimation with Cross-View and Temporal Cues [55.69339788566899]
  UPose3Dは多視点人間のポーズ推定のための新しいアプローチである。 直接的な3Dアノテーションを必要とせずに、堅牢性と柔軟性を向上させる。
  論文  参考訳（メタデータ） (2024-04-23T00:18:00Z)
• Personalized 3D Human Pose and Shape Refinement [19.082329060985455]
  回帰に基づく手法は3次元人間のポーズと形状推定の分野を支配してきた。 本稿では,初期人間のモデル推定値と対応する画像との密接な対応性を構築することを提案する。 提案手法は画像モデルアライメントの改善だけでなく,3次元精度の向上にも寄与する。
  論文  参考訳（メタデータ） (2024-03-18T10:13:53Z)
• iComMa: Inverting 3D Gaussian Splatting for Camera Pose Estimation via Comparing and Matching [14.737266480464156]
  コンピュータビジョンにおける6次元カメラのポーズ推定問題に対処するため,iComMaという手法を提案する。 3次元ガウススプラッティング(3DGS)の反転による高精度カメラポーズ推定法を提案する。
  論文  参考訳（メタデータ） (2023-12-14T15:31:33Z)
• RNNPose: Recurrent 6-DoF Object Pose Refinement with Robust Correspondence Field Estimation and Pose Optimization [46.144194562841435]
  本稿では、オブジェクトポーズ改善のためのリカレントニューラルネットワーク(RNN)に基づくフレームワークを提案する。 この問題は、推定対応フィールドに基づいて非線形最小二乗問題として定式化される。 各イテレーションにおいて、対応フィールド推定とポーズ精錬を代替して行い、正確なオブジェクトポーズを復元する。
  論文  参考訳（メタデータ） (2022-03-24T06:24:55Z)
• PONet: Robust 3D Human Pose Estimation via Learning Orientations Only [116.1502793612437]
  本稿では,学習向きのみを用いて3次元ポーズを頑健に推定できる新しいPose Orientation Net(PONet)を提案する。 PONetは、局所的な画像証拠を利用して、これらの手足の3D方向を推定し、3Dポーズを復元する。 我々は,Human3.6M,MPII,MPI-INF-3DHP,3DPWを含む複数のデータセットについて評価を行った。
  論文  参考訳（メタデータ） (2021-12-21T12:48:48Z)
• Camera Distortion-aware 3D Human Pose Estimation in Video with Optimization-based Meta-Learning [23.200130129530653]
  歪みのないデータセットでトレーニングされた既存の3次元ポーズ推定アルゴリズムは、特定のカメラ歪みのある新しいシナリオに適用した場合、パフォーマンス低下を被る。 本研究では, 歪み環境に迅速に適応できる簡易かつ効果的な3次元ポーズ推定モデルを提案する。
  論文  参考訳（メタデータ） (2021-11-30T01:35:04Z)
• SO-Pose: Exploiting Self-Occlusion for Direct 6D Pose Estimation [98.83762558394345]
  SO-Poseは、オブジェクトの6自由度(6DoF)をすべて、単一のRGBイメージから散らばった環境でポーズさせるフレームワークである。 本稿では,3次元オブジェクトの2層表現を確立するために,自己閉塞に関する新たな推論を導入する。 対応性,自己閉塞性,6次元ポーズを整列する層間合成により,精度とロバスト性をさらに向上させることができる。
  論文  参考訳（メタデータ） (2021-08-18T19:49:29Z)
• Synthetic Training for Monocular Human Mesh Recovery [100.38109761268639]
  本稿では,RGB画像と大規模に異なる複数の身体部位の3次元メッシュを推定することを目的とする。 主な課題は、2D画像のすべての身体部分の3Dアノテーションを完備するトレーニングデータがないことである。 本稿では,D2S(Deep-to-scale)投影法を提案する。
  論文  参考訳（メタデータ） (2020-10-27T03:31:35Z)
• Reinforced Axial Refinement Network for Monocular 3D Object Detection [160.34246529816085]
  モノクロ3次元物体検出は、2次元入力画像から物体の位置と特性を抽出することを目的としている。 従来のアプローチでは、空間から3D境界ボックスをサンプリングし、対象オブジェクトと各オブジェクトの関係を推定するが、有効サンプルの確率は3D空間で比較的小さい。 我々は,まず最初の予測から始めて,各ステップで1つの3dパラメータだけを変えて,基礎的真理に向けて徐々に洗練することを提案する。 これは、いくつかのステップの後に報酬を得るポリシーを設計する必要があるため、最適化するために強化学習を採用します。
  論文  参考訳（メタデータ） (2020-08-31T17:10:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。