論文の概要: OMEGAS: Object Mesh Extraction from Large Scenes Guided by Gaussian Segmentation

• arxiv url: http://arxiv.org/abs/2404.15891v3
• Date: Fri, 23 Aug 2024 08:29:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-26 19:37:13.517087
• Title: OMEGAS: Object Mesh Extraction from Large Scenes Guided by Gaussian Segmentation
• Title（参考訳）: OMEGAS:ガウスセグメンテーションでガイドされた大規模シーンからのオブジェクトメッシュ抽出
• Authors: Lizhi Wang, Feng Zhou, Bo yu, Pu Cao, Jianqin Yin,
• Abstract要約: 大きな場面から特定の物体を正確に再構築することは困難である。 現在のシーン再構築技術は、しばしばオブジェクトの詳細テクスチャが失われる。 本稿では,ガウシアンがガイドした大規模シーンからオブジェクト抽出を行う OMEGAS というフレームワークを提案する。 本研究では,大規模シーンから,定量的かつ定性的に,特定のターゲットを正確に再構築できることを実証する。
• 参考スコア（独自算出の注目度）: 15.833273340802311
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advancements in 3D reconstruction technologies have paved the way for high-quality and real-time rendering of complex 3D scenes. Despite these achievements, a notable challenge persists: it is difficult to precisely reconstruct specific objects from large scenes. Current scene reconstruction techniques frequently result in the loss of object detail textures and are unable to reconstruct object portions that are occluded or unseen in views. To address this challenge, we delve into the meticulous 3D reconstruction of specific objects within large scenes and propose a framework termed OMEGAS: Object Mesh Extraction from Large Scenes Guided by Gaussian Segmentation. Specifically, we proposed a novel 3D target segmentation technique based on 2D Gaussian Splatting, which segments 3D consistent target masks in multi-view scene images and generates a preliminary target model. Moreover, to reconstruct the unseen portions of the target, we propose a novel target replenishment technique driven by large-scale generative diffusion priors. We demonstrate that our method can accurately reconstruct specific targets from large scenes, both quantitatively and qualitatively. Our experiments show that OMEGAS significantly outperforms existing reconstruction methods across various scenarios. Our project page is at: https://github.com/CrystalWlz/OMEGAS
• Abstract（参考訳）: 近年の3D再構成技術は,複雑な3Dシーンの高品質かつリアルタイムレンダリングの道を開いた。 これらの成果にもかかわらず、注目すべき課題は、大きなシーンから特定のオブジェクトを正確に再構築することは困難である。 現在のシーン再構築技術は、しばしばオブジェクト詳細テクスチャが失われ、ビューに隠されたり、見えないオブジェクト部分の再構築ができない。 この課題に対処するために,我々は,ガウスセグメンテーションでガイドされた大規模シーンからのオブジェクトメッシュ抽出という,大規模シーン内の特定のオブジェクトの精密な3次元再構成を探索し,OMEGASというフレームワークを提案する。 具体的には,多視点シーン画像中の3次元一貫したターゲットマスクを分割し,予備的ターゲットモデルを生成する,2次元ガウス分割に基づく新しい3次元ターゲットセグメンテーション手法を提案する。 さらに, ターゲットの未確認部分を再構築するために, 大規模生成拡散により誘導される新たな目標補充手法を提案する。 本研究では,大規模シーンから,定量的かつ定性的に,特定のターゲットを正確に再構築できることを実証する。 本実験により, OMEGASは, 様々なシナリオにおいて, 既存の再建方法よりも有意に優れていることがわかった。 私たちのプロジェクトページは以下の通りです。

関連論文リスト

• REPARO: Compositional 3D Assets Generation with Differentiable 3D Layout Alignment [23.733856513456]
  単一画像からの合成3Dアセット生成のための新しいアプローチであるREPAROを提案する。 まず、シーンから個々のオブジェクトを抽出し、オフザシェルフ画像から3Dモデルを使用して、それらの3Dメッシュを再構築する。 次に、異なるレンダリング技術によってこれらのメッシュのレイアウトを最適化し、コヒーレントなシーン構成を保証する。
  論文  参考訳（メタデータ） (2024-05-28T18:45:10Z)
• Part123: Part-aware 3D Reconstruction from a Single-view Image [54.589723979757515]
  Part123は、一視点画像から部分認識された3D再構成のための新しいフレームワークである。 ニューラルレンダリングフレームワークにコントラスト学習を導入し、部分認識機能空間を学習する。 クラスタリングに基づくアルゴリズムも開発され、再構成されたモデルから3次元部分分割結果を自動的に導出する。
  論文  参考訳（メタデータ） (2024-05-27T07:10:21Z)
• Zero-Shot Multi-Object Scene Completion [59.325611678171974]
  1枚のRGB-D画像から複雑なシーンにおける複数の見えない物体の完全な形状を復元する3Dシーン補完法を提案する。 提案手法は, 合成および実世界の両方のデータセットにおいて, 現在の最先端技術よりも優れている。
  論文  参考訳（メタデータ） (2024-03-21T17:59:59Z)
• SceneWiz3D: Towards Text-guided 3D Scene Composition [134.71933134180782]
  既存のアプローチでは、大規模なテキスト・ツー・イメージモデルを使用して3D表現を最適化するか、オブジェクト中心のデータセット上で3Dジェネレータをトレーニングする。 テキストから高忠実度3Dシーンを合成する新しい手法であるSceneWiz3Dを紹介する。
  論文  参考訳（メタデータ） (2023-12-13T18:59:30Z)
• Iterative Superquadric Recomposition of 3D Objects from Multiple Views [77.53142165205283]
  2次元ビューから直接3次元スーパークワッドリックを意味部品として用いたオブジェクトを再構成するフレームワークISCOを提案する。 我々のフレームワークは、再構成エラーが高い場合に、反復的に新しいスーパークワッドリックを追加します。 これは、野生の画像からでも、より正確な3D再構成を提供する。
  論文  参考訳（メタデータ） (2023-09-05T10:21:37Z)
• Single-view 3D Mesh Reconstruction for Seen and Unseen Categories [69.29406107513621]
  シングルビュー3Dメッシュ再構成は、シングルビューRGB画像から3D形状を復元することを目的とした、基本的なコンピュータビジョンタスクである。 本稿では,一視点3Dメッシュ再構成に取り組み,未知のカテゴリのモデル一般化について検討する。 我々は、再構築におけるカテゴリ境界を断ち切るために、エンドツーエンドの2段階ネットワークであるGenMeshを提案する。
  論文  参考訳（メタデータ） (2022-08-04T14:13:35Z)
• Unsupervised Learning of 3D Object Categories from Videos in the Wild [75.09720013151247]
  オブジェクトインスタンスの大規模なコレクションの複数のビューからモデルを学ぶことに重点を置いています。 再構成を大幅に改善するワープコンディショニングレイ埋め込み(WCR)と呼ばれる新しいニューラルネットワーク設計を提案する。 本評価は,既存のベンチマークを用いた複数の深部単眼再構成ベースラインに対する性能改善を示す。
  論文  参考訳（メタデータ） (2021-03-30T17:57:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。