論文の概要: FacaDiffy: Inpainting Unseen Facade Parts Using Diffusion Models
- arxiv url: http://arxiv.org/abs/2502.14940v1
- Date: Thu, 20 Feb 2025 17:32:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-24 16:10:54.909169
- Title: FacaDiffy: Inpainting Unseen Facade Parts Using Diffusion Models
- Title（参考訳）: FacaDiffy:拡散モデルを用いた未知のファサード部品の塗布
- Authors: Thomas Froech, Olaf Wysocki, Yan Xia, Junyu Xie, Benedikt Schwab, Daniel Cremers, Thomas H. Kolbe,
- Abstract要約: 本稿では,パーソナライズされた安定拡散モデルを用いてコンフリクトマップを完成させることにより,未知のファサード部品を塗布する新しい手法であるFacaDiffyを紹介する。
具体的には,既存の3次元ビルディングモデルとそれに対応するレーザー走査点雲から2次元コンフリクトマップを導出する決定論的光線解析手法を提案する。
実世界のトレーニングデータの不足を補うため,ランダムな都市モデルジェネレータとアノテートされたファサード画像を用いた合成コンフリクトマップを作成するためのスケーラブルなパイプラインも開発した。
- 参考スコア（独自算出の注目度）: 33.30545717892921
- License:
- Abstract: High-detail semantic 3D building models are frequently utilized in robotics, geoinformatics, and computer vision. One key aspect of creating such models is employing 2D conflict maps that detect openings' locations in building facades. Yet, in reality, these maps are often incomplete due to obstacles encountered during laser scanning. To address this challenge, we introduce FacaDiffy, a novel method for inpainting unseen facade parts by completing conflict maps with a personalized Stable Diffusion model. Specifically, we first propose a deterministic ray analysis approach to derive 2D conflict maps from existing 3D building models and corresponding laser scanning point clouds. Furthermore, we facilitate the inpainting of unseen facade objects into these 2D conflict maps by leveraging the potential of personalizing a Stable Diffusion model. To complement the scarcity of real-world training data, we also develop a scalable pipeline to produce synthetic conflict maps using random city model generators and annotated facade images. Extensive experiments demonstrate that FacaDiffy achieves state-of-the-art performance in conflict map completion compared to various inpainting baselines and increases the detection rate by $22\%$ when applying the completed conflict maps for high-definition 3D semantic building reconstruction. The code is be publicly available in the corresponding GitHub repository: https://github.com/ThomasFroech/InpaintingofUnseenFacadeObjects
- Abstract（参考訳）: 高精度なセマンティック3Dビルディングモデルは、ロボット工学、ジオインフォマティクス、コンピュータビジョンで頻繁に利用されている。
このようなモデルを作成する上で重要な側面の1つは、2Dコンフリクトマップを使用して、建築ファサード内の開口位置を検出することである。
しかし、実際には、これらの地図はレーザースキャン中に発生する障害物のために不完全であることが多い。
この課題に対処するために、我々は、パーソナライズされた安定拡散モデルを用いてコンフリクトマップを完成させることにより、目に見えないファサード部品にペンキを塗る新しい方法であるFacaDiffyを紹介した。
具体的には,既存の3次元ビルディングモデルとそれに対応するレーザー走査点雲から2次元コンフリクトマップを導出する決定論的光線解析手法を提案する。
さらに、安定拡散モデルをパーソナライズする可能性を利用して、これらの2次元コンフリクトマップへの未確認ファサードオブジェクトの塗布を容易にする。
実世界のトレーニングデータの不足を補うため,ランダムな都市モデルジェネレータとアノテートされたファサード画像を用いた合成コンフリクトマップを作成するためのスケーラブルなパイプラインも開発した。
高精細度3Dセマンティックビルディング再構築のために完成したコンフリクトマップを適用した場合,FacaDiffyは様々な塗装ベースラインと比較してコンフリクトマップ完成時の最先端性能を実現し,検出率を22\%向上することを示した。
コードはGitHubリポジトリで公開されている。 https://github.com/ThomasFroech/InpaintingofUnseenFacadeObjects。
関連論文リスト
- SPAR3D: Stable Point-Aware Reconstruction of 3D Objects from Single Images [49.7344030427291]
単一画像の3Dオブジェクト再構成の問題点について検討する。
最近の研究は回帰モデルと生成モデルという2つの方向に分かれている。
両方向を最大限に活用するための新しい2段階アプローチであるSPAR3Dを提案する。
論文 参考訳（メタデータ） (2025-01-08T18:52:03Z) - Dust to Tower: Coarse-to-Fine Photo-Realistic Scene Reconstruction from Sparse Uncalibrated Images [11.1039786318131]
Dust to Tower (D2T)は、3DGSと画像をスパース画像とアンキャリブレーション画像から同時にポーズする効率的なフレームワークである。
我々のキーとなる考え方は、まずまず効率よく粗いモデルを構築し、その後、新しい視点で歪んだり塗られたりすることでそれを洗練することである。
実験およびアブレーション実験は、D2Tとその設計選択の有効性を示す。
論文 参考訳（メタデータ） (2024-12-27T08:19:34Z) - DualPM: Dual Posed-Canonical Point Maps for 3D Shape and Pose Reconstruction [67.13370009386635]
そこで,Dual Point Maps (DualPM) では,同じ画像から一対の点マップを抽出し,一対の点マップをオブジェクト上の3D位置と関連付け,一対の点マップを静止時の標準バージョンに関連付ける。
3次元再構成と3次元ポーズ推定がDualPMの予測に比例することを示した。
論文 参考訳（メタデータ） (2024-12-05T18:59:48Z) - Sat2Scene: 3D Urban Scene Generation from Satellite Images with Diffusion [77.34078223594686]
本稿では,3次元スパース表現に拡散モデルを導入し,それらをニューラルレンダリング技術と組み合わせることで,直接3次元シーン生成のための新しいアーキテクチャを提案する。
具体的には、まず3次元拡散モデルを用いて、所定の幾何学の点レベルのテクスチャ色を生成し、次にフィードフォワード方式でシーン表現に変換する。
2つの都市規模データセットを用いた実験により,衛星画像から写真リアルなストリートビュー画像シーケンスとクロスビュー都市シーンを生成する能力を示した。
論文 参考訳（メタデータ） (2024-01-19T16:15:37Z) - NeRFiller: Completing Scenes via Generative 3D Inpainting [113.18181179986172]
生成3Dインパインティングによる3Dキャプチャの欠落部分を解消する手法であるNeRFillerを提案する。
関連する作品とは対照的に、前景のオブジェクトを削除するのではなく、シーンの完成に重点を置いている。
論文 参考訳（メタデータ） (2023-12-07T18:59:41Z) - Iterative Superquadric Recomposition of 3D Objects from Multiple Views [77.53142165205283]
2次元ビューから直接3次元スーパークワッドリックを意味部品として用いたオブジェクトを再構成するフレームワークISCOを提案する。
我々のフレームワークは、再構成エラーが高い場合に、反復的に新しいスーパークワッドリックを追加します。
これは、野生の画像からでも、より正確な3D再構成を提供する。
論文 参考訳（メタデータ） (2023-09-05T10:21:37Z) - O$^2$-Recon: Completing 3D Reconstruction of Occluded Objects in the Scene with a Pre-trained 2D Diffusion Model [28.372289119872764]
咬合は、RGB-Dビデオからの3D再構成において一般的な問題であり、しばしばオブジェクトの完全な再構成をブロックする。
本研究では,物体の隠れた部分の完全な表面を再構築する2次元拡散に基づくインペインティングモデルを用いて,新しい枠組みを提案する。
論文 参考訳（メタデータ） (2023-08-18T14:38:31Z) - Scan2LoD3: Reconstructing semantic 3D building models at LoD3 using ray
casting and Bayesian networks [40.7734793392562]
詳細レベル(LoD)3でセマンティックな3Dビルディングモデルを再構築することは、長年にわたる課題である。
セマンティックなLoD3構築モデルを正確に再構築する新しい手法であるScan2LoD3を提案する。
提案手法は,LoD3における確率駆動型セマンティック3次元再構成の開発を促進できると考えている。
論文 参考訳（メタデータ） (2023-05-10T17:01:18Z) - Combining visibility analysis and deep learning for refinement of
semantic 3D building models by conflict classification [3.2662392450935416]
本稿では,3次元モデルと窓とドアの特徴を統合化するための可視性解析とニューラルネットワークを組み合わせる手法を提案する。
この方法では、占有するボクセルは分類された点雲で融合され、ボクセルに意味を与える。
セマンティックボクセルとコンフリクトはベイズネットワークに組み合わされ、3Dモデルライブラリを用いて再構成されたファサード開口の分類と記述を行う。
論文 参考訳（メタデータ） (2023-03-10T16:01:30Z) - DensePose 3D: Lifting Canonical Surface Maps of Articulated Objects to
the Third Dimension [71.71234436165255]
DensePose 3Dは2次元画像アノテーションのみから弱い教師付きで再構築を学習できる手法である。
3Dスキャンを必要としないため、DensePose 3Dは異なる動物種などの幅広いカテゴリーの学習に利用できる。
我々は,人間と動物のカテゴリーの合成データと実データの両方をベースラインとして,最先端の非剛体構造と比較し,顕著な改善を示した。
論文 参考訳（メタデータ） (2021-08-31T18:33:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。