論文の概要: MGFs: Masked Gaussian Fields for Meshing Building based on Multi-View Images
- arxiv url: http://arxiv.org/abs/2408.03060v1
- Date: Tue, 6 Aug 2024 09:23:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-07 14:37:26.489986
- Title: MGFs: Masked Gaussian Fields for Meshing Building based on Multi-View Images
- Title（参考訳）: MGF:マルチビュー画像に基づくメッシュ化のためのマスケードガウス場
- Authors: Tengfei Wang, Zongqian Zhan, Rui Xia, Linxia Ji, Xin Wang,
- Abstract要約: 本稿では,建物表面の正確な再構築を時間効率で実現する新しいフレームワーク,Masked Gaussian Fields (MGFs)を提案する。
フレームワークはまずEfficientSAMとCOLMAPを使用して、ビルディングのマルチレベルマスクとそれに対応するマスクされた点雲を生成する。
UAV画像の総合的な実験により, 従来の手法と数種類のNeRF法, ガウス法によるSOTA法と比較して, 建物表面再構成の精度と効率を著しく向上することが示された。
- 参考スコア（独自算出の注目度）: 25.34182106938233
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Over the last few decades, image-based building surface reconstruction has garnered substantial research interest and has been applied across various fields, such as heritage preservation, architectural planning, etc. Compared to the traditional photogrammetric and NeRF-based solutions, recently, Gaussian fields-based methods have exhibited significant potential in generating surface meshes due to their time-efficient training and detailed 3D information preservation. However, most gaussian fields-based methods are trained with all image pixels, encompassing building and nonbuilding areas, which results in a significant noise for building meshes and degeneration in time efficiency. This paper proposes a novel framework, Masked Gaussian Fields (MGFs), designed to generate accurate surface reconstruction for building in a time-efficient way. The framework first applies EfficientSAM and COLMAP to generate multi-level masks of building and the corresponding masked point clouds. Subsequently, the masked gaussian fields are trained by integrating two innovative losses: a multi-level perceptual masked loss focused on constructing building regions and a boundary loss aimed at enhancing the details of the boundaries between different masks. Finally, we improve the tetrahedral surface mesh extraction method based on the masked gaussian spheres. Comprehensive experiments on UAV images demonstrate that, compared to the traditional method and several NeRF-based and Gaussian-based SOTA solutions, our approach significantly improves both the accuracy and efficiency of building surface reconstruction. Notably, as a byproduct, there is an additional gain in the novel view synthesis of building.
- Abstract（参考訳）: 過去数十年間、画像による建物表面の再構築は研究の関心を集め、遺産保存や建築計画など様々な分野に応用されてきた。
従来のフォトグラム法やNeRF法と比較して、近年、ガウス場に基づく手法は、時間効率のトレーニングと詳細な3D情報保存のために表面メッシュを生成する大きな可能性を示している。
しかし、ガウス場に基づくほとんどの手法は、建物や非建設エリアを含む全ての画像画素で訓練されており、メッシュの構築や時間効率の劣化に大きなノイズをもたらす。
本稿では,建物表面の正確な再構築を時間効率で実現する新しいフレームワーク,Masked Gaussian Fields (MGFs)を提案する。
フレームワークはまずEfficientSAMとCOLMAPを使用して、ビルディングのマルチレベルマスクとそれに対応するマスクされた点雲を生成する。
その後、マスク付きガウス場は、建築領域の構築に焦点をあてた多層知覚マスク損失と、異なるマスク間の境界の詳細な詳細化を目的とした境界損失の2つの革新的な損失を統合することで訓練される。
最後に,マスク付きガウス球を用いた四面体表面メッシュ抽出法の改良を行った。
UAV画像の総合的な実験により, 従来の手法と数種類のNeRF法, ガウス法によるSOTA法と比較して, 建物表面再構成の精度と効率を著しく向上することが示された。
特筆すべきは、副産物として、建築の新規なビュー合成にさらなる利益があることである。
関連論文リスト
- $R^2$-Mesh: Reinforcement Learning Powered Mesh Reconstruction via Geometry and Appearance Refinement [5.810659946867557]
Neural Radiance Fields (NeRF)に基づくメッシュ再構成は、コンピュータグラフィックス、仮想現実、医療画像などの様々なアプリケーションで人気がある。
マルチビュー画像からメッシュを段階的に生成し,最適化する新しいアルゴリズムを提案する。
本手法は,メッシュレンダリングの品質と幾何学的品質の両方において,高い競争力とロバストな性能を提供する。
論文 参考訳（メタデータ） (2024-08-19T16:33:17Z) - Fine-Grained Multi-View Hand Reconstruction Using Inverse Rendering [11.228453237603834]
本稿では,逆レンダリングを利用して手ポーズを復元し,詳細を複雑化する多視点ハンドメッシュ再構成手法を提案する。
また、ハンドメッシュとテクスチャの両方を洗練させるために、新しいハンドアルベドとメッシュ(HAM)最適化モジュールも導入した。
提案手法は,再現精度とレンダリング品質の両面において,最先端の手法よりも優れている。
論文 参考訳（メタデータ） (2024-07-08T07:28:24Z) - GTR: Improving Large 3D Reconstruction Models through Geometry and Texture Refinement [51.97726804507328]
マルチビュー画像から3次元メッシュを再構成する手法を提案する。
提案手法は, 変圧器を用いたトリプレーンジェネレータとニューラルレージアンスフィールド(NeRF)モデルを用いた大規模再構成モデルから着想を得たものである。
論文 参考訳（メタデータ） (2024-06-09T05:19:24Z) - Learning Topology Uniformed Face Mesh by Volume Rendering for Multi-view Reconstruction [40.45683488053611]
一貫性のあるトポロジにおける顔メッシュは、多くの顔関連アプリケーションの基盤となる。
トポロジを保存しながらメッシュ形状を直接最適化するメッシュボリュームレンダリング手法を提案する。
主要なイノベーションは、ボリュームレンダリングに必要な放射界をシミュレートするために、スパースメッシュ機能を周辺空間に広めることである。
論文 参考訳（メタデータ） (2024-04-08T15:25:50Z) - UGMAE: A Unified Framework for Graph Masked Autoencoders [67.75493040186859]
グラフマスク付きオートエンコーダのための統一フレームワークであるUGMAEを提案する。
まず,ノードの特異性を考慮した適応型特徴マスク生成器を開発した。
次に,階層型構造再構成と特徴再構成を併用し,総合的なグラフ情報を取得する。
論文 参考訳（メタデータ） (2024-02-12T19:39:26Z) - DiAD: A Diffusion-based Framework for Multi-class Anomaly Detection [55.48770333927732]
本稿では,拡散型異常検出(Difusion-based Anomaly Detection, DAD)フレームワークを提案する。
画素空間オートエンコーダ、安定拡散の復調ネットワークに接続する潜在空間セマンティックガイド(SG)ネットワーク、特徴空間事前学習機能抽出器から構成される。
MVTec-ADとVisAデータセットの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2023-12-11T18:38:28Z) - Indoor Scene Reconstruction with Fine-Grained Details Using Hybrid Representation and Normal Prior Enhancement [50.56517624931987]
多視点RGB画像からの室内シーンの再構成は、平坦領域とテクスチャレス領域の共存により困難である。
近年の手法では、予測された表面正規化によって支援されたニューラルラジアンス場を利用してシーン形状を復元している。
本研究は, 上記の制限に対処して, 高忠実度表面を細かな詳細で再構築することを目的とする。
論文 参考訳（メタデータ） (2023-09-14T12:05:29Z) - MM-3DScene: 3D Scene Understanding by Customizing Masked Modeling with
Informative-Preserved Reconstruction and Self-Distilled Consistency [120.9499803967496]
本稿では,地域統計を探索し,代表的構造化点の発見と保存を行う新しい情報保存型再構築法を提案する。
本手法は, 地域形状のモデル化に集中し, マスク復元のあいまいさを軽減できる。
マスク付き領域における情報保存型再構築と未加工領域からの連続自己蒸留を組み合わせることにより,MM-3DSceneと呼ばれる統合フレームワークが提供される。
論文 参考訳（メタデータ） (2022-12-20T01:53:40Z) - Accurate Polygonal Mapping of Buildings in Satellite Imagery [30.262871819346213]
本稿では,マスク可逆性の問題に対処して,建物の多角写像問題について検討する。
本稿では,異なるレベルの監視信号から得られる特徴埋め込みの新たな相互作用機構を提案し,可逆なビルディングマスクを得る。
学習した可逆的なビルディングマスクは、ビルの高機能多角形マッピングのための深層畳み込みニューラルネットワークの進歩の恩恵を享受できることを示す。
論文 参考訳（メタデータ） (2022-08-01T04:54:55Z) - PC-GANs: Progressive Compensation Generative Adversarial Networks for
Pan-sharpening [50.943080184828524]
空間情報とスペクトル情報の漸進的補償によりMS画像のシャープ化を行うパンシャーピングの新しい2段階モデルを提案する。
モデル全体が三重GANで構成されており、特定のアーキテクチャに基づいて、三重GANを同時に訓練できるように、共同補償損失関数が設計されている。
論文 参考訳（メタデータ） (2022-07-29T03:09:21Z) - Learning Signed Distance Field for Multi-view Surface Reconstruction [24.090786783370195]
ステレオマッチングと特徴整合性の知識を生かした新しいニューラルネットワーク表面再構成フレームワークを提案する。
サインされた距離場(SDF)と表面光場(SDF)をそれぞれ、シーン形状と外観を表すために適用する。
本手法は,地形推定のロバスト性を向上し,複雑なシーントポロジの再構築を支援する。
論文 参考訳（メタデータ） (2021-08-23T06:23:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。