論文の概要: Part123: Part-aware 3D Reconstruction from a Single-view Image

• arxiv url: http://arxiv.org/abs/2405.16888v1
• Date: Mon, 27 May 2024 07:10:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-28 16:41:02.718331
• Title: Part123: Part-aware 3D Reconstruction from a Single-view Image
• Title（参考訳）: Part123:シングルビュー画像からの部品認識3D再構成
• Authors: Anran Liu, Cheng Lin, Yuan Liu, Xiaoxiao Long, Zhiyang Dou, Hao-Xiang Guo, Ping Luo, Wenping Wang,
• Abstract要約: Part123は、一視点画像から部分認識された3D再構成のための新しいフレームワークである。 ニューラルレンダリングフレームワークにコントラスト学習を導入し、部分認識機能空間を学習する。 クラスタリングに基づくアルゴリズムも開発され、再構成されたモデルから3次元部分分割結果を自動的に導出する。
• 参考スコア（独自算出の注目度）: 54.589723979757515
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, the emergence of diffusion models has opened up new opportunities for single-view reconstruction. However, all the existing methods represent the target object as a closed mesh devoid of any structural information, thus neglecting the part-based structure, which is crucial for many downstream applications, of the reconstructed shape. Moreover, the generated meshes usually suffer from large noises, unsmooth surfaces, and blurry textures, making it challenging to obtain satisfactory part segments using 3D segmentation techniques. In this paper, we present Part123, a novel framework for part-aware 3D reconstruction from a single-view image. We first use diffusion models to generate multiview-consistent images from a given image, and then leverage Segment Anything Model (SAM), which demonstrates powerful generalization ability on arbitrary objects, to generate multiview segmentation masks. To effectively incorporate 2D part-based information into 3D reconstruction and handle inconsistency, we introduce contrastive learning into a neural rendering framework to learn a part-aware feature space based on the multiview segmentation masks. A clustering-based algorithm is also developed to automatically derive 3D part segmentation results from the reconstructed models. Experiments show that our method can generate 3D models with high-quality segmented parts on various objects. Compared to existing unstructured reconstruction methods, the part-aware 3D models from our method benefit some important applications, including feature-preserving reconstruction, primitive fitting, and 3D shape editing.
• Abstract（参考訳）: 近年,拡散モデルが出現し,一視点再構築の新たな機会が開けている。 しかし,既存の手法はすべて,任意の構造情報を持たないクローズドメッシュとして対象対象を表現しているため,多くの下流アプリケーションにとって重要な部分ベース構造は無視される。 さらに、生成されたメッシュは通常、大きなノイズ、不滑らかな表面、ぼやけたテクスチャに悩まされており、3Dセグメンテーション技術を用いて良好な部分セグメントを得るのは難しい。 本稿では,一視点画像からのパート認識3D再構成のための新しいフレームワークであるPart123を提案する。 まず、拡散モデルを用いて、与えられた画像から多視点一貫性の画像を生成し、次に任意のオブジェクトに対して強力な一般化能力を示すセグメンション・エキシング・モデル(SAM)を用いて、多視点セグメンテーションマスクを生成する。 2次元のパートベース情報を3次元再構成に効果的に組み込んで不整合を処理するために,ニューラルレンダリングフレームワークにコントラスト学習を導入し,マルチビューセグメンテーションマスクに基づく部分認識特徴空間を学習する。 クラスタリングに基づくアルゴリズムも開発され、再構成されたモデルから3次元部分分割結果を自動的に導出する。 実験の結果,本手法は様々な物体に高品質な分割部を有する3次元モデルを生成することができることがわかった。 既存の非構造復元法と比較して,本手法の3Dモデルは,特徴保存再構築,プリミティブフィッティング,3次元形状編集などの重要な応用に有用である。

関連論文リスト

• PartGen: Part-level 3D Generation and Reconstruction with Multi-View Diffusion Models [63.1432721793683]
  テキスト,画像,構造化されていない3Dオブジェクトから意味のある部分からなる3Dオブジェクトを生成する新しいアプローチであるPartGenを紹介する。 提案手法は, 生成された実物および実物の3次元資産に対して評価し, セグメンテーションおよび部分抽出ベースラインを大きなマージンで上回っていることを示す。
  論文  参考訳（メタデータ） (2024-12-24T18:59:43Z)
• Single-view 3D Scene Reconstruction with High-fidelity Shape and Texture [47.44029968307207]
  本研究では,物体の形状とテクスチャを同時に高忠実度に再現する新しい枠組みを提案する。 提案手法は,SSR(Single-view Neural implicit Shape and Radiance Field)表現を用いて,明示的な3次元形状制御とボリュームレンダリングの両方を活用する。 我々のフレームワークの特徴は、単一のビュー3D再構成モデルにレンダリング機能をシームレスに統合しながら、きめ細かいテクスチャメッシュを生成する能力である。
  論文  参考訳（メタデータ） (2023-11-01T11:46:15Z)
• Anything-3D: Towards Single-view Anything Reconstruction in the Wild [61.090129285205805]
  本稿では,一連の視覚言語モデルとSegment-Anythingオブジェクトセグメンテーションモデルを組み合わせた方法論的フレームワークであるAnything-3Dを紹介する。 提案手法では、BLIPモデルを用いてテキスト記述を生成し、Segment-Anythingモデルを用いて関心対象を効果的に抽出し、テキスト・画像拡散モデルを用いて物体を神経放射場へ持ち上げる。
  論文  参考訳（メタデータ） (2023-04-19T16:39:51Z)
• ONeRF: Unsupervised 3D Object Segmentation from Multiple Views [59.445957699136564]
  OneRFは、追加のマニュアルアノテーションなしで、マルチビューのRGBイメージから3Dのオブジェクトインスタンスを自動的に分割し、再構成する手法である。 セグメント化された3Dオブジェクトは、様々な3Dシーンの編集と新しいビューレンダリングを可能にする別個のNeRF(Neural Radiance Fields)を使用して表現される。
  論文  参考訳（メタデータ） (2022-11-22T06:19:37Z)
• Single-view 3D Mesh Reconstruction for Seen and Unseen Categories [69.29406107513621]
  シングルビュー3Dメッシュ再構成は、シングルビューRGB画像から3D形状を復元することを目的とした、基本的なコンピュータビジョンタスクである。 本稿では,一視点3Dメッシュ再構成に取り組み,未知のカテゴリのモデル一般化について検討する。 我々は、再構築におけるカテゴリ境界を断ち切るために、エンドツーエンドの2段階ネットワークであるGenMeshを提案する。
  論文  参考訳（メタデータ） (2022-08-04T14:13:35Z)
• AutoSweep: Recovering 3D Editable Objectsfrom a Single Photograph [54.701098964773756]
  セマンティックな部分で3Dオブジェクトを復元し、直接編集することを目的としている。 我々の研究は、一般化された立方体と一般化されたシリンダーという、2種類の原始的な形状の物体を回収する試みである。 提案アルゴリズムは,高品質な3Dモデルを復元し,既存手法のインスタンスセグメンテーションと3D再構成の両方で性能を向上する。
  論文  参考訳（メタデータ） (2020-05-27T12:16:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。