論文の概要: Doppelgangers: Learning to Disambiguate Images of Similar Structures

• arxiv url: http://arxiv.org/abs/2309.02420v1
• Date: Tue, 5 Sep 2023 17:50:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-06 13:44:25.143224
• Title: Doppelgangers: Learning to Disambiguate Images of Similar Structures
• Title（参考訳）: Doppelgangers: 類似した構造のイメージを明確にする学習
• Authors: Ruojin Cai, Joseph Tung, Qianqian Wang, Hadar Averbuch-Elor, Bharath Hariharan, Noah Snavely
• Abstract要約: 幻像マッチングは、人間が区別することは困難であり、3D再構成アルゴリズムに誤った結果をもたらす可能性がある。 本稿では,視覚的曖昧化に対する学習に基づくアプローチを提案し,イメージペア上でのバイナリ分類タスクとして定式化する。 本手法は, 難易度の高い画像の一致を識別し, SfMパイプラインに統合することにより, 正確な3次元再構成を実現できることを示す。
• 参考スコア（独自算出の注目度）: 76.61267007774089
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider the visual disambiguation task of determining whether a pair of visually similar images depict the same or distinct 3D surfaces (e.g., the same or opposite sides of a symmetric building). Illusory image matches, where two images observe distinct but visually similar 3D surfaces, can be challenging for humans to differentiate, and can also lead 3D reconstruction algorithms to produce erroneous results. We propose a learning-based approach to visual disambiguation, formulating it as a binary classification task on image pairs. To that end, we introduce a new dataset for this problem, Doppelgangers, which includes image pairs of similar structures with ground truth labels. We also design a network architecture that takes the spatial distribution of local keypoints and matches as input, allowing for better reasoning about both local and global cues. Our evaluation shows that our method can distinguish illusory matches in difficult cases, and can be integrated into SfM pipelines to produce correct, disambiguated 3D reconstructions. See our project page for our code, datasets, and more results: http://doppelgangers-3d.github.io/.
• Abstract（参考訳）: 一対の視覚的に類似した画像が、同じまたは異なる3次元表面(例えば、対称な建物の同一または反対側)を描いているかどうかを判定する視覚的曖昧化タスクを考える。 2つの画像が異なるが視覚的に類似した3D表面を観察するIllusory画像マッチングは、人間が区別することは困難であり、3D再構成アルゴリズムを導いて誤った結果を生成することもできる。 本稿では,視覚的曖昧化に対する学習に基づくアプローチを提案し,イメージペア上でのバイナリ分類タスクとして定式化する。 そこで我々は,この問題に対する新たなデータセットであるDoppelgangersを紹介した。 また、ローカルキーポイントの空間分布とマッチを入力とするネットワークアーキテクチャも設計し、ローカルキーポイントとグローバルキーの両方についてよりよい推論を可能にします。 提案手法は,難易度を識別し,sfmパイプラインに統合することで,正しく,曖昧な3次元再構成を実現することができることを示す。 コードやデータセット、その他の結果については、プロジェクトのページをご覧ください。

関連論文リスト

• 3DMiner: Discovering Shapes from Large-Scale Unannotated Image Datasets [34.610546020800236]
  3DMinerは、挑戦的なデータセットから3D形状をマイニングするためのパイプラインである。 本手法は最先端の教師なし3次元再構成技術よりもはるかに優れた結果が得られる。 LAION-5Bデータセットから得られる画像の形状を再構成することにより,3DMinerを組込みデータに適用する方法を示す。
  論文  参考訳（メタデータ） (2023-10-29T23:08:19Z)
• Occ$^2$Net: Robust Image Matching Based on 3D Occupancy Estimation for Occluded Regions [14.217367037250296]
  Occ$2$Netは、3D占有率を用いて閉塞関係をモデル化し、閉塞領域の一致点を推測する画像マッチング手法である。 本手法は実世界とシミュレーションデータセットの両方で評価し,いくつかの指標における最先端手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-14T13:09:41Z)
• Self-Supervised Image Representation Learning with Geometric Set Consistency [50.12720780102395]
  本稿では,3次元幾何整合性に基づく自己教師付き画像表現学習法を提案する。 具体的には、画像ビュー内の特徴整合性を強化するために、コントラスト学習フレームワークに3次元幾何学的整合性を導入する。
  論文  参考訳（メタデータ） (2022-03-29T08:57:33Z)
• Zero in on Shape: A Generic 2D-3D Instance Similarity Metric learned from Synthetic Data [3.71630298053787]
  本稿では,RGB画像と非テクスチャ型3Dモデルとを表現形状の類似性で比較するネットワークアーキテクチャを提案する。 我々のシステムはゼロショット検索に最適化されており、訓練で示されることのない形状を認識することができる。
  論文  参考訳（メタデータ） (2021-08-09T14:44:08Z)
• Joint Deep Multi-Graph Matching and 3D Geometry Learning from Inhomogeneous 2D Image Collections [57.60094385551773]
  非均質な画像コレクションから変形可能な3Dジオメトリモデルを学ぶためのトレーニング可能なフレームワークを提案する。 さらに,2次元画像で表現された物体の3次元形状も取得する。
  論文  参考訳（メタデータ） (2021-03-31T17:25:36Z)
• Bidirectional Projection Network for Cross Dimension Scene Understanding [69.29443390126805]
  本稿では,2次元および3次元の連立推論のための縦方向投影網(BPNet)をエンドツーエンドに提示する。 emphBPM、補完的な2D、および3D情報は、複数のアーキテクチャレベルで相互に相互作用することができる。 我々のemphBPNetは2次元および3次元セマンティックセマンティックセグメンテーションのためのScanNetV2ベンチマークで最高性能を達成した。
  論文  参考訳（メタデータ） (2021-03-26T08:31:39Z)
• Canonical 3D Deformer Maps: Unifying parametric and non-parametric methods for dense weakly-supervised category reconstruction [79.98689027127855]
  独立オブジェクトの2次元画像の集合から学習できる共通オブジェクトカテゴリの3次元形状の表現を提案する。 提案手法は, パラメトリック変形モデル, 非パラメトリック3次元再構成, 標準埋め込みの概念に基づく新しい手法で構築する。 顔、車、鳥の野生のデータセットを3Dで再現することで、最先端の成果が得られます。
  論文  参考訳（メタデータ） (2020-08-28T15:44:05Z)
• Predicting Visual Overlap of Images Through Interpretable Non-Metric Box Embeddings [29.412748394892105]
  本稿では,大規模空間における探索を本質的に検索に削減する,解釈可能な画像埋め込みを提案する。 この埋め込みによって、よりシンプルで、高速で、人間によって解釈可能な画像マッチング結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-08-13T10:01:07Z)
• Self-Supervised 2D Image to 3D Shape Translation with Disentangled Representations [92.89846887298852]
  本稿では,2次元画像ビューと3次元オブジェクト形状を翻訳するフレームワークを提案する。 形状変換のための自己教師型画像変換フレームワークであるSISTを提案する。
  論文  参考訳（メタデータ） (2020-03-22T22:44:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。