論文の概要: Virtual Correspondence: Humans as a Cue for Extreme-View Geometry

• arxiv url: http://arxiv.org/abs/2206.08365v1
• Date: Thu, 16 Jun 2022 17:59:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-17 16:51:18.272404
• Title: Virtual Correspondence: Humans as a Cue for Extreme-View Geometry
• Title（参考訳）: 仮想対応: 極端な視点幾何学の手がかりとしての人間
• Authors: Wei-Chiu Ma, Anqi Joyce Yang, Shenlong Wang, Raquel Urtasun, Antonio Torralba
• Abstract要約: 仮想対応(VC)という新しい概念を提示する。 古典的な対応とは異なり、VCはビューをまたいでコビジュアライズする必要はない。 極端な視点でカメラのポーズを回復するために、VCが古典的なバンドル調整とシームレスに統合できることを示します。
• 参考スコア（独自算出の注目度）: 104.09449367670318
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recovering the spatial layout of the cameras and the geometry of the scene from extreme-view images is a longstanding challenge in computer vision. Prevailing 3D reconstruction algorithms often adopt the image matching paradigm and presume that a portion of the scene is co-visible across images, yielding poor performance when there is little overlap among inputs. In contrast, humans can associate visible parts in one image to the corresponding invisible components in another image via prior knowledge of the shapes. Inspired by this fact, we present a novel concept called virtual correspondences (VCs). VCs are a pair of pixels from two images whose camera rays intersect in 3D. Similar to classic correspondences, VCs conform with epipolar geometry; unlike classic correspondences, VCs do not need to be co-visible across views. Therefore VCs can be established and exploited even if images do not overlap. We introduce a method to find virtual correspondences based on humans in the scene. We showcase how VCs can be seamlessly integrated with classic bundle adjustment to recover camera poses across extreme views. Experiments show that our method significantly outperforms state-of-the-art camera pose estimation methods in challenging scenarios and is comparable in the traditional densely captured setup. Our approach also unleashes the potential of multiple downstream tasks such as scene reconstruction from multi-view stereo and novel view synthesis in extreme-view scenarios.
• Abstract（参考訳）: カメラの空間配置とシーンの形状をエクストリームビュー画像から復元することは、コンピュータビジョンにおける長年の課題である。 一般的な3d再構成アルゴリズムは、しばしば画像マッチングパラダイムを採用し、シーンの一部が画像間で共有可能であり、入力が重なり合っていない場合に性能が低下すると仮定する。 対照的に、人間がある画像の可視部分と別の画像の対応する可視部分とを、その形状の事前の知識を通して関連付けることができる。 この事実に触発されて、我々は仮想対応(VC)と呼ばれる新しい概念を提示する。 VCは、カメラが3Dで交差する2枚の画像の1対のピクセルである。 古典的対応と同様に、VCはエピポーラ幾何学に準拠するが、古典的対応とは異なり、VCはビュー間でコビジュアライズされる必要はない。 したがって、画像が重なり合っていない場合でも、VCを確立して利用することができる。 現場における人間に基づく仮想対応を見つける手法を提案する。 極端な視点でカメラのポーズを回復するために、VCが古典的なバンドル調整とシームレスに統合できる方法を紹介します。 実験により,本手法は難解なシナリオにおいて,最先端カメラのポーズ推定法を著しく上回り,従来の密集撮影方式に匹敵する性能を示した。 また,マルチビューステレオからのシーン復元や,エクストリームビューシナリオにおける新たなビュー合成など,複数の下流タスクの可能性を解き明かした。

関連論文リスト

• State of the Art in Dense Monocular Non-Rigid 3D Reconstruction [100.9586977875698]
  モノクル2D画像から変形可能なシーン(または非剛体)の3D再構成は、コンピュータビジョンとグラフィックスの長年、活発に研究されてきた領域である。 本研究は,モノクラー映像やモノクラービューの集合から,様々な変形可能な物体や複合シーンを高密度に非剛性で再現するための最先端の手法に焦点を当てる。
  論文  参考訳（メタデータ） (2022-10-27T17:59:53Z)
• EpipolarNVS: leveraging on Epipolar geometry for single-image Novel View Synthesis [6.103988053817792]
  新規ビュー合成(NVS)は、一般的な設定によって異なるアプローチで取り組むことができる。 最も難しいシナリオは、私たちがこの仕事で立っているもので、別の視点から新しいものを生成するためのユニークなソースイメージのみを考えます。 本稿では2次元特徴像として視点変換を符号化する革新的な手法を提案する。
  論文  参考訳（メタデータ） (2022-10-24T09:54:20Z)
• S$^3$-NeRF: Neural Reflectance Field from Shading and Shadow under a Single Viewpoint [22.42916940712357]
  本手法は,シーンの3次元形状とBRDFを表現するために,ニューラルリフレクタンス場を学習する。 本手法は,一視点画像からシーンの可視部分と可視部分の両方を含む3次元形状を復元することができる。 新規ビュー合成やリライトといったアプリケーションをサポートする。
  論文  参考訳（メタデータ） (2022-10-17T11:01:52Z)
• Neural Groundplans: Persistent Neural Scene Representations from a Single Image [90.04272671464238]
  本稿では,シーンの2次元画像観察を永続的な3次元シーン表現にマッピングする手法を提案する。 本稿では,永続的でメモリ効率のよいシーン表現として,条件付きニューラルグラウンドプランを提案する。
  論文  参考訳（メタデータ） (2022-07-22T17:41:24Z)
• Recognizing Scenes from Novel Viewpoints [99.90914180489456]
  人間は、少数の2Dビューから3Dのシーンを知覚することができる。AIエージェントは、少数の画像しか持たない任意の視点からシーンを認識することで、シーンとそのオブジェクトと効率的に対話することができる。 本稿では,新しいシーンのいくつかのRGB画像を入力として取り込んで,そのシーンを意味カテゴリーに分類することで,新たな視点から認識するモデルを提案する。
  論文  参考訳（メタデータ） (2021-12-02T18:59:40Z)
• IBRNet: Learning Multi-View Image-Based Rendering [67.15887251196894]
  本稿では,近接ビューの疎集合を補間することにより,複雑なシーンの新しいビューを合成する手法を提案する。 レンダリング時にソースビューを描画することで、画像ベースのレンダリングに関する古典的な作業に戻ります。
  論文  参考訳（メタデータ） (2021-02-25T18:56:21Z)
• Weakly Supervised Learning of Multi-Object 3D Scene Decompositions Using Deep Shape Priors [69.02332607843569]
  PriSMONetは、単一画像から多目的3Dシーンの分解と表現を学習するための新しいアプローチである。 リカレントエンコーダは、入力されたRGB画像から、各オブジェクトの3D形状、ポーズ、テクスチャの潜時表現を回帰する。 我々は,3次元シーンレイアウトの推測におけるモデルの精度を評価し,その生成能力を実証し,実画像への一般化を評価し,学習した表現の利点を指摘する。
  論文  参考訳（メタデータ） (2020-10-08T14:49:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。