Fugu-MT 論文翻訳(概要): PlaneMVS: 3D Plane Reconstruction from Multi-View Stereo

論文の概要: PlaneMVS: 3D Plane Reconstruction from Multi-View Stereo

arxiv url: http://arxiv.org/abs/2203.12082v3
Date: Thu, 6 Jun 2024 02:07:04 GMT
ステータス: 処理完了
システム内更新日: 2024-06-08 01:27:18.071561
Title: PlaneMVS: 3D Plane Reconstruction from Multi-View Stereo
Title（参考訳）: 平面MVS:多視点ステレオによる3次元平面再構成
Authors: Jiachen Liu, Pan Ji, Nitin Bansal, Changjiang Cai, Qingan Yan, Xiaolei Huang, Yi Xu,
Abstract要約: カメラのポーズによる複数入力ビューからの3次元平面再構成のための新しいフレームワークPlainMVSを提案する。対照的に、マルチビュー幾何学を利用するマルチビューステレオ(MVS)パイプラインで3次元平面を再構成する。本手法は,学習面の先行性により,SOTA学習に基づくMVS手法よりも優れる。
参考スコア（独自算出の注目度）: 32.81496429134453
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We present a novel framework named PlaneMVS for 3D plane reconstruction from multiple input views with known camera poses. Most previous learning-based plane reconstruction methods reconstruct 3D planes from single images, which highly rely on single-view regression and suffer from depth scale ambiguity. In contrast, we reconstruct 3D planes with a multi-view-stereo (MVS) pipeline that takes advantage of multi-view geometry. We decouple plane reconstruction into a semantic plane detection branch and a plane MVS branch. The semantic plane detection branch is based on a single-view plane detection framework but with differences. The plane MVS branch adopts a set of slanted plane hypotheses to replace conventional depth hypotheses to perform plane sweeping strategy and finally learns pixel-level plane parameters and its planar depth map. We present how the two branches are learned in a balanced way, and propose a soft-pooling loss to associate the outputs of the two branches and make them benefit from each other. Extensive experiments on various indoor datasets show that PlaneMVS significantly outperforms state-of-the-art (SOTA) single-view plane reconstruction methods on both plane detection and 3D geometry metrics. Our method even outperforms a set of SOTA learning-based MVS methods thanks to the learned plane priors. To the best of our knowledge, this is the first work on 3D plane reconstruction within an end-to-end MVS framework. Source code: https://github.com/oppo-us-research/PlaneMVS.
Abstract（参考訳）: カメラのポーズによる複数入力ビューからの3次元平面再構成のための新しいフレームワークPlainMVSを提案する。従来の学習ベース平面再構成手法は, 単一画像から3次元平面を再構成するが, 単視点回帰に強く依存し, 深度スケールの曖昧さに悩まされている。対照的に、マルチビュー幾何学を利用するマルチビューステレオ(MVS)パイプラインで3次元平面を再構成する。平面再構成を意味的平面検出分岐と平面MVS分岐に分離する。セマンティックプレーン検出ブランチは、単一のビュープレーン検出フレームワークに基づいているが、違いはある。平面MVSブランチは、従来の深度仮説を置き換えるために斜め平面仮説を採用し、最終的にピクセルレベルの平面パラメータとその平面深度マップを学習する。両枝のバランスの取れた学習方法を示し,両枝の出力を関連づけ,相互に利益を与えるソフトプール損失を提案する。様々な屋内データセットに対する大規模な実験により、PlaneMVSは、平面検出と3次元幾何計測の両方において、最先端(SOTA)の単視点平面再構成法を著しく上回っていることが示された。本手法は,学習面の先行性により,SOTA学習に基づくMVS手法よりも優れる。私たちの知る限りでは、これはエンドツーエンドのMVSフレームワーク内での3次元平面再構成に関する最初の作業です。ソースコード:https://github.com/oppo-us-research/PlaneMVS。

関連論文リスト

UniPlane: Unified Plane Detection and Reconstruction from Posed Monocular Videos [12.328095228008893]
単眼ビデオから平面検出と再構成を統一する新しい手法であるUniPlaneを提案する。我々はトランスフォーマーベースのディープニューラルネットワークを構築し、環境のための3D機能ボリュームを共同で構築する。実世界のデータセットの実験では、UniPlaneは平面検出と再構成の両方において最先端の手法より優れていることが示されている。
論文参考訳（メタデータ） (2024-07-04T03:02:27Z)
AirPlanes: Accurate Plane Estimation via 3D-Consistent Embeddings [26.845588648999417]
本研究では,3次元画像から平面面を推定する問題に対処する。本稿では,平面へのクラスタリングにおける幾何を補完する多視点一貫した平面埋め込みを予測する手法を提案する。我々は、ScanNetV2データセットの広範な評価を通じて、我々の新しい手法が既存のアプローチより優れていることを示す。
論文参考訳（メタデータ） (2024-06-13T09:49:31Z)
Multi-task Planar Reconstruction with Feature Warping Guidance [3.95944314850151]
ピースワイドな平面3D再構成は、同時に平面インスタンスを分割し、画像からそれらの平面パラメータを復元する。本稿では,修正インスタンスセグメンテーションアーキテクチャに基づくリアルタイム平面再構成モデルであるSOLOPlanesを紹介する。本モデルでは,43FPSでリアルタイムな予測を行いながら,単一画像の推測時にセマンティクスを同時に予測する。
論文参考訳（メタデータ） (2023-11-25T09:53:42Z)
Tri-Perspective View for Vision-Based 3D Semantic Occupancy Prediction [84.94140661523956]
本稿では,2つの垂直面を追加してBEVに付随するトリ・パースペクティブ・ビュー(TPV)表現を提案する。 3次元空間の各点を3次元平面上の投影された特徴をまとめてモデル化する。実験結果から,本モデルは全ボクセルのセマンティック占有率を効果的に予測できることが示唆された。
論文参考訳（メタデータ） (2023-02-15T17:58:10Z)
Single-view 3D Mesh Reconstruction for Seen and Unseen Categories [69.29406107513621]
シングルビュー3Dメッシュ再構成は、シングルビューRGB画像から3D形状を復元することを目的とした、基本的なコンピュータビジョンタスクである。本稿では,一視点3Dメッシュ再構成に取り組み,未知のカテゴリのモデル一般化について検討する。我々は、再構築におけるカテゴリ境界を断ち切るために、エンドツーエンドの2段階ネットワークであるGenMeshを提案する。
論文参考訳（メタデータ） (2022-08-04T14:13:35Z)
PlanarRecon: Real-time 3D Plane Detection and Reconstruction from Posed Monocular Videos [32.286637700503995]
PlanarReconは、提示されたモノクロビデオから3次元平面のグローバルなコヒーレントな検出と再構築のためのフレームワークである。学習ベースのトラッキングと融合モジュールは、以前のフラグメントから平面をマージして、コヒーレントなグローバルな平面再構成を形成するように設計されている。実験の結果,提案手法はリアルタイムでありながら,ScanNetデータセット上での最先端のパフォーマンスを実現することがわかった。
論文参考訳（メタデータ） (2022-06-15T17:59:16Z)
Neural 3D Scene Reconstruction with the Manhattan-world Assumption [58.90559966227361]
本稿では,多視点画像から3次元屋内シーンを再構築する課題について述べる。平面的制約は、最近の暗黙の神経表現に基づく再構成手法に便利に組み込むことができる。提案手法は, 従来の手法よりも3次元再構成品質に優れていた。
論文参考訳（メタデータ） (2022-05-05T17:59:55Z)
PlaneTR: Structure-Guided Transformers for 3D Plane Recovery [56.23402171871664]
平面TRは1つの画像から同時に平面を検出し、再構成する。 PlaneTRはScanNetとNYUv2データセット上で最先端のパフォーマンスを実現する。
論文参考訳（メタデータ） (2021-07-27T23:55:40Z)
Indoor Panorama Planar 3D Reconstruction via Divide and Conquer [36.466149592254965]
室内パノラマは典型的には人造構造で、重力に平行または垂直である。我々はこの現象を利用して、(H)水平面と(V)慣性面を持つ360度画像のシーンを近似する。我々は、既存の360度深度データセットを地平線H&V平面で拡張することにより、屋内パノラマ平面再構成のためのベンチマークを作成する。
論文参考訳（メタデータ） (2021-06-27T07:58:29Z)
Multi-View Multi-Person 3D Pose Estimation with Plane Sweep Stereo [71.59494156155309]
既存のマルチビュー3Dポーズ推定手法は、複数のカメラビューからグループ2Dポーズ検出に対するクロスビュー対応を明確に確立する。平面スイープステレオに基づくマルチビュー3Dポーズ推定手法を提案し、クロスビュー融合と3Dポーズ再構築を1ショットで共同で解決します。
論文参考訳（メタデータ） (2021-04-06T03:49:35Z)
From Planes to Corners: Multi-Purpose Primitive Detection in Unorganized 3D Point Clouds [59.98665358527686]
直交平面の分割自由結合推定法を提案する。このような統合されたシーン探索は、セマンティックプレーンの検出や局所的およびグローバルなスキャンアライメントといった、多目的のアプリケーションを可能にする。本実験は,壁面検出から6次元トラッキングに至るまで,様々なシナリオにおいて,我々のアプローチの有効性を実証するものである。
論文参考訳（メタデータ） (2020-01-21T06:51:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。