論文の概要: Correspondences of the Third Kind: Camera Pose Estimation from Object Reflection

• arxiv url: http://arxiv.org/abs/2312.04527v1
• Date: Thu, 7 Dec 2023 18:46:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-08 13:47:19.163439
• Title: Correspondences of the Third Kind: Camera Pose Estimation from Object Reflection
• Title（参考訳）: 第3種の対応:物体反射によるカメラポーズ推定
• Authors: Kohei Yamashita, Vincent Lepetit, Ko Nishino
• Abstract要約: 我々は、リフレクション対応と呼ぶ第3種類の対応を導入する。 反射対応は、反射世界の点対応、すなわち、物体表面によって反射されるシーンである。 これらの歪みから生じるあいまいさを反射対応で解消できることを示す。
• 参考スコア（独自算出の注目度）: 40.570041784618184
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Computer vision has long relied on two kinds of correspondences: pixel correspondences in images and 3D correspondences on object surfaces. Is there another kind, and if there is, what can they do for us? In this paper, we introduce correspondences of the third kind we call reflection correspondences and show that they can help estimate camera pose by just looking at objects without relying on the background. Reflection correspondences are point correspondences in the reflected world, i.e., the scene reflected by the object surface. The object geometry and reflectance alters the scene geometrically and radiometrically, respectively, causing incorrect pixel correspondences. Geometry recovered from each image is also hampered by distortions, namely generalized bas-relief ambiguity, leading to erroneous 3D correspondences. We show that reflection correspondences can resolve the ambiguities arising from these distortions. We introduce a neural correspondence estimator and a RANSAC algorithm that fully leverages all three kinds of correspondences for robust and accurate joint camera pose and object shape estimation just from the object appearance. The method expands the horizon of numerous downstream tasks, including camera pose estimation for appearance modeling (e.g., NeRF) and motion estimation of reflective objects (e.g., cars on the road), to name a few, as it relieves the requirement of overlapping background.
• Abstract（参考訳）: コンピュータビジョンは長い間、画像のピクセル対応とオブジェクト表面の3d対応という2種類の対応に依存してきた。 他にも何かありますか,もしあれば,私たちに何ができるでしょうか? 本稿では,反射対応と呼ばれる第3種類の対応について紹介し,背景に頼らずに被写体を見るだけでカメラのポーズを推定できることを示す。 反射対応は、反射世界の点対応、すなわち、物体表面によって反射されるシーンである。 対象の幾何学と反射率はそれぞれ幾何学的および放射学的に変化し、不正確なピクセル対応を引き起こす。 各画像から復元された幾何もまた歪み、すなわち一般化されたbas-reliefの曖昧さによって妨げられ、誤った3次元対応に繋がる。 これらの歪みから生じるあいまいさを反射対応で解消できることを示す。 本稿では,ロバストで高精度なジョイントカメラポーズと物体の形状推定のための3種類の対応をすべて活用したニューラル対応推定器とransacアルゴリズムを提案する。 この手法は、外見モデリングのためのカメラポーズ推定(例えば、NeRF)や反射物体(例えば、道路上の車)の運動推定など、多くの下流タスクの地平線を拡張し、重なり合う背景の要求を緩和する。

関連論文リスト

• DeepShaRM: Multi-View Shape and Reflectance Map Recovery Under Unknown Lighting [35.18426818323455]
  我々は,この課題に対して最先端の精度を実現する新しいマルチビュー手法であるDeepShaRMを導出する。 本稿では,カメラ・ビュー・リフレクタンス・マップを復元する新しいディープ・リフレクタンス・マップ推定ネットワークを提案する。 シェーディングネットワークは、符号付き距離関数で表される幾何推定を更新する。
  論文  参考訳（メタデータ） (2023-10-26T17:50:10Z)
• 3D-Aware Hypothesis & Verification for Generalizable Relative Object Pose Estimation [69.73691477825079]
  一般化可能なオブジェクトポーズ推定の問題に対処する新しい仮説検証フレームワークを提案する。 信頼性を計測するために,2つの入力画像から学習した3次元オブジェクト表現に3次元変換を明示的に適用する3D認識検証を導入する。
  論文  参考訳（メタデータ） (2023-10-05T13:34:07Z)
• RelPose++: Recovering 6D Poses from Sparse-view Observations [66.6922660401558]
  スパースビュー画像集合(2-8画像)から6次元カメラポーズを推定する作業に対処する。 我々は,画像対上の相対回転よりも分布を推定するネットワークを学習するRelPoseフレームワークを構築した。 最終システムは,先行技術よりも6次元ポーズ予測を大幅に改善する。
  論文  参考訳（メタデータ） (2023-05-08T17:59:58Z)
• ORCa: Glossy Objects as Radiance Field Cameras [23.75324754684283]
  我々は、未知の幾何学を持つ光沢のある物体を放射場カメラに変換し、物体の視点から世界像を撮影する。 本研究では,環境放射界の復元により,被写体から周囲への深度と放射率の推定が可能となることを示す。 本手法は物体の多視点画像に基づいてエンドツーエンドに学習し, 物体形状, 拡散放射率, および5次元環境放射率場を共同で推定する。
  論文  参考訳（メタデータ） (2022-12-08T19:32:08Z)
• Few-View Object Reconstruction with Unknown Categories and Camera Poses [80.0820650171476]
  この研究は、カメラのポーズやオブジェクトのカテゴリを知らない少数の画像から、一般的な現実世界のオブジェクトを再構築する。 私たちの研究の要点は、形状再構成とポーズ推定という、2つの基本的な3D視覚問題を解決することです。 提案手法は,各ビューから3次元特徴を予測し,それらを入力画像と組み合わせて活用し,クロスビュー対応を確立する。
  論文  参考訳（メタデータ） (2022-12-08T18:59:02Z)
• Level Set-Based Camera Pose Estimation From Multiple 2D/3D Ellipse-Ellipsoid Correspondences [2.016317500787292]
  2次元物体検出に対する3次元物体の投影を特徴付けるコスト関数の定義は簡単ではないことを示す。 レベルセットのサンプリングに基づいて楕円楕円コストを開発し、部分的な可視オブジェクトを扱うための優れた特性を実証し、その性能を他の一般的なメトリクスと比較する。
  論文  参考訳（メタデータ） (2022-07-16T14:09:54Z)
• Shadows Shed Light on 3D Objects [23.14510850163136]
  我々は、物体の3次元形状、ポーズ、光源の位置を推測できる微分可能な画像形成モデルを作成する。 我々のアプローチは、地上の暗黒マスクが未知の現実世界の画像に対して堅牢である。
  論文  参考訳（メタデータ） (2022-06-17T19:58:11Z)
• Multi-view 3D Reconstruction of a Texture-less Smooth Surface of Unknown Generic Reflectance [86.05191217004415]
  表面反射率の不明なテクスチャレス物体の多視点再構成は難しい課題である。 本稿では,コライトスキャナーをベースとした,この問題に対するシンプルで堅牢な解法を提案する。
  論文  参考訳（メタデータ） (2021-05-25T01:28:54Z)
• Continuous Surface Embeddings [76.86259029442624]
  我々は、変形可能な対象カテゴリーにおける密接な対応を学習し、表現するタスクに焦点をあてる。 本稿では,高密度対応の新たな学習可能な画像ベース表現を提案する。 提案手法は,人間の身近なポーズ推定のための最先端手法と同等以上の性能を示すことを示す。
  論文  参考訳（メタデータ） (2020-11-24T22:52:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。