論文の概要: PlaneMVS: 3D Plane Reconstruction from Multi-View Stereo
- arxiv url: http://arxiv.org/abs/2203.12082v1
- Date: Tue, 22 Mar 2022 22:35:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-25 12:37:13.757005
- Title: PlaneMVS: 3D Plane Reconstruction from Multi-View Stereo
- Title(参考訳): planemvs: 多視点ステレオからの3次元平面再構成
- Authors: Jiachen Liu, Pan Ji, Nitin Bansal, Changjiang Cai, Qingan Yan, Xiaolei
Huang, Yi Xu
- Abstract要約: カメラのポーズによる複数入力ビューからの3次元平面再構成のための新しいフレームワークPlainMVSを提案する。
対照的に、マルチビュー幾何学を利用するマルチビューステレオ(MVS)パイプラインで3次元平面を再構成する。
本手法は,学習面の先行性により,SOTA学習に基づくMVS手法よりも優れる。
- 参考スコア(独自算出の注目度): 28.60063087665526
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a novel framework named PlaneMVS for 3D plane reconstruction from
multiple input views with known camera poses. Most previous learning-based
plane reconstruction methods reconstruct 3D planes from single images, which
highly rely on single-view regression and suffer from depth scale ambiguity. In
contrast, we reconstruct 3D planes with a multi-view-stereo (MVS) pipeline that
takes advantage of multi-view geometry. We decouple plane reconstruction into a
semantic plane detection branch and a plane MVS branch. The semantic plane
detection branch is based on a single-view plane detection framework but with
differences. The plane MVS branch adopts a set of slanted plane hypotheses to
replace conventional depth hypotheses to perform plane sweeping strategy and
finally learns pixel-level plane parameters and its planar depth map. We
present how the two branches are learned in a balanced way, and propose a
soft-pooling loss to associate the outputs of the two branches and make them
benefit from each other. Extensive experiments on various indoor datasets show
that PlaneMVS significantly outperforms state-of-the-art (SOTA) single-view
plane reconstruction methods on both plane detection and 3D geometry metrics.
Our method even outperforms a set of SOTA learning-based MVS methods thanks to
the learned plane priors. To the best of our knowledge, this is the first work
on 3D plane reconstruction within an end-to-end MVS framework.
- Abstract(参考訳): カメラのポーズによる複数入力ビューからの3次元平面再構成のための新しいフレームワークPlainMVSを提案する。
従来の学習ベース平面再構成手法では, 単一画像から3次元平面を再構成する手法が多かった。
対照的に、マルチビュー幾何学を利用するマルチビューステレオ(MVS)パイプラインで3次元平面を再構成する。
平面再構成を意味的平面検出分岐と平面MVS分岐に分離する。
セマンティックプレーン検出ブランチは、シングルビュープレーン検出フレームワークに基づいているが、違いがある。
平面MVSブランチは、従来の深度仮説を置き換えるために斜め平面仮説を採用し、最終的にピクセルレベルの平面パラメータとその平面深度マップを学習する。
そこで本研究では,両枝をバランスよく学習する方法を示し,両枝の出力を関連付け,相互に利益を与えるソフトプール損失を提案する。
様々な屋内データセットに対する大規模な実験により、PlaneMVSは、平面検出と3次元幾何計測の両方において、最先端(SOTA)単一ビュー平面再構成法よりも著しく優れていることが示された。
本手法は,soma学習に基づくmvs手法を学習平面優先法で上回る性能を持つ。
私たちの知る限りでは、これはエンドツーエンドのMVSフレームワーク内での3次元平面再構成に関する最初の作業です。
関連論文リスト
- Multi-task Planar Reconstruction with Feature Warping Guidance [3.95944314850151]
ピースワイドな平面3D再構成は、同時に平面インスタンスを分割し、画像からそれらの平面パラメータを復元する。
本稿では,修正インスタンスセグメンテーションアーキテクチャに基づくリアルタイム平面再構成モデルであるSOLOPlanesを紹介する。
本モデルでは,43FPSでリアルタイムな予測を行いながら,単一画像の推測時にセマンティクスを同時に予測する。
論文 参考訳(メタデータ) (2023-11-25T09:53:42Z) - Tri-Perspective View for Vision-Based 3D Semantic Occupancy Prediction [84.94140661523956]
本稿では,2つの垂直面を追加してBEVに付随するトリ・パースペクティブ・ビュー(TPV)表現を提案する。
3次元空間の各点を3次元平面上の投影された特徴をまとめてモデル化する。
実験結果から,本モデルは全ボクセルのセマンティック占有率を効果的に予測できることが示唆された。
論文 参考訳(メタデータ) (2023-02-15T17:58:10Z) - PlaneFormers: From Sparse View Planes to 3D Reconstruction [14.45228936875838]
本稿では,画像の重なりが限定された平面面再構成手法を提案する。
より単純なアプローチであるPlaneFormerを導入し、3次元推論を行うために3D対応平面トークンに変換器を適用する。
論文 参考訳(メタデータ) (2022-08-08T17:58:13Z) - Single-view 3D Mesh Reconstruction for Seen and Unseen Categories [69.29406107513621]
シングルビュー3Dメッシュ再構成は、シングルビューRGB画像から3D形状を復元することを目的とした、基本的なコンピュータビジョンタスクである。
本稿では,一視点3Dメッシュ再構成に取り組み,未知のカテゴリのモデル一般化について検討する。
我々は、再構築におけるカテゴリ境界を断ち切るために、エンドツーエンドの2段階ネットワークであるGenMeshを提案する。
論文 参考訳(メタデータ) (2022-08-04T14:13:35Z) - PlanarRecon: Real-time 3D Plane Detection and Reconstruction from Posed
Monocular Videos [32.286637700503995]
PlanarReconは、提示されたモノクロビデオから3次元平面のグローバルなコヒーレントな検出と再構築のためのフレームワークである。
学習ベースのトラッキングと融合モジュールは、以前のフラグメントから平面をマージして、コヒーレントなグローバルな平面再構成を形成するように設計されている。
実験の結果,提案手法はリアルタイムでありながら,ScanNetデータセット上での最先端のパフォーマンスを実現することがわかった。
論文 参考訳(メタデータ) (2022-06-15T17:59:16Z) - Neural 3D Scene Reconstruction with the Manhattan-world Assumption [58.90559966227361]
本稿では,多視点画像から3次元屋内シーンを再構築する課題について述べる。
平面的制約は、最近の暗黙の神経表現に基づく再構成手法に便利に組み込むことができる。
提案手法は, 従来の手法よりも3次元再構成品質に優れていた。
論文 参考訳(メタデータ) (2022-05-05T17:59:55Z) - Monocular Road Planar Parallax Estimation [25.36368935789501]
乾燥可能な表面および周囲環境の3次元構造を推定することは、補助的かつ自律的な運転にとって重要な課題である。
単眼画像からの3Dセンシングのための新しいディープニューラルネットワークであるRoad Planar Parallax Attention Network (RPANet)を提案する。
RPANetは、路面のホモグラフィに整列した一対の画像を入力として取り、3D再構成のための$gamma$mapを出力する。
論文 参考訳(メタデータ) (2021-11-22T10:03:41Z) - PlaneTR: Structure-Guided Transformers for 3D Plane Recovery [56.23402171871664]
平面TRは1つの画像から同時に平面を検出し、再構成する。
PlaneTRはScanNetとNYUv2データセット上で最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2021-07-27T23:55:40Z) - Indoor Panorama Planar 3D Reconstruction via Divide and Conquer [36.466149592254965]
室内パノラマは典型的には人造構造で、重力に平行または垂直である。
我々はこの現象を利用して、(H)水平面と(V)慣性面を持つ360度画像のシーンを近似する。
我々は、既存の360度深度データセットを地平線H&V平面で拡張することにより、屋内パノラマ平面再構成のためのベンチマークを作成する。
論文 参考訳(メタデータ) (2021-06-27T07:58:29Z) - Multi-View Multi-Person 3D Pose Estimation with Plane Sweep Stereo [71.59494156155309]
既存のマルチビュー3Dポーズ推定手法は、複数のカメラビューからグループ2Dポーズ検出に対するクロスビュー対応を明確に確立する。
平面スイープステレオに基づくマルチビュー3Dポーズ推定手法を提案し、クロスビュー融合と3Dポーズ再構築を1ショットで共同で解決します。
論文 参考訳(メタデータ) (2021-04-06T03:49:35Z) - From Planes to Corners: Multi-Purpose Primitive Detection in Unorganized
3D Point Clouds [59.98665358527686]
直交平面の分割自由結合推定法を提案する。
このような統合されたシーン探索は、セマンティックプレーンの検出や局所的およびグローバルなスキャンアライメントといった、多目的のアプリケーションを可能にする。
本実験は,壁面検出から6次元トラッキングに至るまで,様々なシナリオにおいて,我々のアプローチの有効性を実証するものである。
論文 参考訳(メタデータ) (2020-01-21T06:51:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。