論文の概要: MVLayoutNet:3D layout reconstruction with multi-view panoramas

• arxiv url: http://arxiv.org/abs/2112.06133v1
• Date: Sun, 12 Dec 2021 03:04:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-14 17:12:29.439556
• Title: MVLayoutNet:3D layout reconstruction with multi-view panoramas
• Title（参考訳）: mvlayoutnet:マルチビューパノラマによる3次元レイアウト再構成
• Authors: Zhihua Hu, Bo Duan, Yanfeng Zhang, Mingwei Sun, Jingwei Huang
• Abstract要約: MVNetは、マルチビューパノラマから総合的な3D再構成のためのエンドツーエンドネットワークである。 我々はレイアウトモジュールを共同でトレーニングし、初期レイアウトと新しいMVSモジュールを作成し、正確なレイアウト形状を得る。 本手法は,シーン全体の再構築を可能にする整合的なレイアウト形状を導出する。
• 参考スコア（独自算出の注目度）: 12.981269280023469
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present MVLayoutNet, an end-to-end network for holistic 3D reconstruction from multi-view panoramas. Our core contribution is to seamlessly combine learned monocular layout estimation and multi-view stereo (MVS) for accurate layout reconstruction in both 3D and image space. We jointly train a layout module to produce an initial layout and a novel MVS module to obtain accurate layout geometry. Unlike standard MVSNet [33], our MVS module takes a newly-proposed layout cost volume, which aggregates multi-view costs at the same depth layer into corresponding layout elements. We additionally provide an attention-based scheme that guides the MVS module to focus on structural regions. Such a design considers both local pixel-level costs and global holistic information for better reconstruction. Experiments show that our method outperforms state-of-the-arts in terms of depth rmse by 21.7% and 20.6% on the 2D-3D-S [1] and ZInD [5] datasets. Finally, our method leads to coherent layout geometry that enables the reconstruction of an entire scene.
• Abstract（参考訳）: MVLayoutNetは,多視点パノラマから総合的な3次元再構成を行うネットワークである。 我々のコアコントリビューションは、学習した単分子配置推定とマルチビューステレオ(MVS)をシームレスに組み合わせて、3次元および画像空間の正確なレイアウト再構築を行うことである。 我々はレイアウトモジュールを共同でトレーニングし、初期レイアウトと新しいMVSモジュールを作成し、正確なレイアウト形状を得る。 標準のMVSNet[33]とは異なり、我々のMVSモジュールは新しく提案されたレイアウトコストのボリュームを取り、同じ深さ層におけるマルチビューコストを対応するレイアウト要素に集約します。 さらに,mvsモジュールを構造領域に集中させるための注意に基づくスキームも提供する。 このような設計は、局所的なピクセルレベルのコストとグローバルな全体的情報の両方を考慮して、より良い再構築を行う。 実験の結果, 2D-3D-S [1] および ZInD [5] データセットでは, 奥行きが21.7%, 20.6%向上した。 最後に,この手法はシーン全体の再構成を可能にするコヒーレントなレイアウト形状をもたらす。

関連論文リスト

• 3DFIRES: Few Image 3D REconstruction for Scenes with Hidden Surface [8.824340350342512]
  3DFIRESは、ポーズ画像からシーンレベルの3D再構成を行う新しいシステムである。 単一視点再構成法の有効性を1つの入力で示す。
  論文  参考訳（メタデータ） (2024-03-13T17:59:50Z)
• 360 Layout Estimation via Orthogonal Planes Disentanglement and Multi-view Geometric Consistency Perception [56.84921040837699]
  既存のパノラマ配置推定ソリューションは、垂直圧縮されたシーケンスから部屋の境界を復元し、不正確な結果をもたらす傾向にある。 そこで本稿では,直交平面不整合ネットワーク(DOPNet)を提案し,あいまいな意味論を識別する。 また,水平深度と比表現に適した教師なし適応手法を提案する。 本手法は,単分子配置推定と多視点レイアウト推定の両タスクにおいて,他のSoTAモデルよりも優れる。
  論文  参考訳（メタデータ） (2023-12-26T12:16:03Z)
• GPR-Net: Multi-view Layout Estimation via a Geometry-aware Panorama Registration Network [44.06968418800436]
  一対のパノラマからパノラマ登録とレイアウト推定を共同で学習する完全パノラマレイアウト推定フレームワークを提案する。 PSMNetに対する大きな改善は、新しいGeometry-aware Panorama Registration Network(GPR-Net)によるものである。 実験結果から,大規模な屋内パノラマデータセットZInDにおけるパノラマ登録とレイアウト推定の両面での最先端性能が得られた。
  論文  参考訳（メタデータ） (2022-10-20T17:10:41Z)
• Neural 3D Scene Reconstruction with the Manhattan-world Assumption [58.90559966227361]
  本稿では,多視点画像から3次元屋内シーンを再構築する課題について述べる。 平面的制約は、最近の暗黙の神経表現に基づく再構成手法に便利に組み込むことができる。 提案手法は, 従来の手法よりも3次元再構成品質に優れていた。
  論文  参考訳（メタデータ） (2022-05-05T17:59:55Z)
• VPFusion: Joint 3D Volume and Pixel-Aligned Feature Fusion for Single and Multi-view 3D Reconstruction [23.21446438011893]
  VPFusionは、3D特徴量の両方を使って高品質な再構築を実現し、3D構造対応コンテキストをキャプチャする。 既存のアプローチでは、RNN、フィーチャープーリング、および多視点融合のために各ビューで独立に計算された注意を使用する。 変換器を用いたペアワイズ・ビュー・アソシエーションの確立により,マルチビュー・フィーチャー・フュージョンが改善された。
  論文  参考訳（メタデータ） (2022-03-14T23:30:58Z)
• VoRTX: Volumetric 3D Reconstruction With Transformers for Voxelwise View Selection and Fusion [68.68537312256144]
  VoRTXは、多視点機能融合のためのトランスフォーマーを用いた、エンドツーエンドのボリューム3D再構成ネットワークである。 我々は、ScanNet上でモデルをトレーニングし、最先端の手法よりも優れた再構築を実現することを示す。
  論文  参考訳（メタデータ） (2021-12-01T02:18:11Z)
• 3DVNet: Multi-View Depth Prediction and Volumetric Refinement [68.68537312256144]
  3DVNetは、新しいマルチビューステレオ(MVS)深度予測法である。 私たちのキーとなるアイデアは、粗い深度予測を反復的に更新する3Dシーンモデリングネットワークを使用することです。 本手法は, 深度予測と3次元再構成の両指標において, 最先端の精度を超えることを示す。
  論文  参考訳（メタデータ） (2021-12-01T00:52:42Z)
• TANDEM: Tracking and Dense Mapping in Real-time using Deep Multi-view Stereo [55.30992853477754]
  本稿では,リアルタイムな単分子追跡と高密度フレームワークであるTANDEMを紹介する。 ポーズ推定のために、TANDEMはアライメントのスライディングウィンドウに基づいて光度バンドル調整を行う。 TANDEMは最先端のリアルタイム3D再構成性能を示す。
  論文  参考訳（メタデータ） (2021-11-14T19:01:02Z)
• LED2-Net: Monocular 360 Layout Estimation via Differentiable Depth Rendering [59.63979143021241]
  パノラマの地平線上での深度予測問題として360度レイアウト推定のタスクを定式化する。 レイアウトから深度予測への変換を区別できるように、差分可能な深度レンダリング手順を提案します。 提案手法は,360 レイアウトのベンチマークデータセットで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-04-01T15:48:41Z)
• General 3D Room Layout from a Single View by Render-and-Compare [36.94817376590415]
  一つの視点から部屋の3次元レイアウトを再構築する新しい手法を提案する。 データセットはScanNetの293の画像で構成されており、正確な3Dレイアウトで注釈を付けました。
  論文  参考訳（メタデータ） (2020-01-07T16:14:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。