論文の概要: MaterialSeg3D: Segmenting Dense Materials from 2D Priors for 3D Assets

• arxiv url: http://arxiv.org/abs/2404.13923v3
• Date: Thu, 16 May 2024 14:09:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-17 18:25:33.536650
• Title: MaterialSeg3D: Segmenting Dense Materials from 2D Priors for 3D Assets
• Title（参考訳）: MaterialSeg3D:Dense Materials from 2D Priors for 3D Assets (特集 バイオサイバネティックスとバイオサイバネティックス)
• Authors: Zeyu Li, Ruitong Gan, Chuanchen Luo, Yuxi Wang, Jiaheng Liu, Ziwei Zhu Man Zhang, Qing Li, Xucheng Yin, Zhaoxiang Zhang, Junran Peng,
• Abstract要約: 本稿では,2次元のセマンティクスから基礎となる物質を推定する3次元アセット素材生成フレームワークを提案する。 このような先行モデルに基づいて,材料を三次元空間で解析する機構を考案する。
• 参考スコア（独自算出の注目度）: 63.284244910964475
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Driven by powerful image diffusion models, recent research has achieved the automatic creation of 3D objects from textual or visual guidance. By performing score distillation sampling (SDS) iteratively across different views, these methods succeed in lifting 2D generative prior to the 3D space. However, such a 2D generative image prior bakes the effect of illumination and shadow into the texture. As a result, material maps optimized by SDS inevitably involve spurious correlated components. The absence of precise material definition makes it infeasible to relight the generated assets reasonably in novel scenes, which limits their application in downstream scenarios. In contrast, humans can effortlessly circumvent this ambiguity by deducing the material of the object from its appearance and semantics. Motivated by this insight, we propose MaterialSeg3D, a 3D asset material generation framework to infer underlying material from the 2D semantic prior. Based on such a prior model, we devise a mechanism to parse material in 3D space. We maintain a UV stack, each map of which is unprojected from a specific viewpoint. After traversing all viewpoints, we fuse the stack through a weighted voting scheme and then employ region unification to ensure the coherence of the object parts. To fuel the learning of semantics prior, we collect a material dataset, named Materialized Individual Objects (MIO), which features abundant images, diverse categories, and accurate annotations. Extensive quantitative and qualitative experiments demonstrate the effectiveness of our method.
• Abstract（参考訳）: 強力な画像拡散モデルによって駆動される最近の研究は、テキストや視覚的ガイダンスから3Dオブジェクトを自動生成することに成功した。 スコア蒸留サンプリング(SDS)を様々な視点で反復的に行うことにより、これらの手法は3次元空間に先立って2次元生成物を持ち上げることに成功している。 しかし、そのような2次元生成画像は、照明効果と影をテクスチャに焼き込む。 結果として、SDSによって最適化された材料マップは必然的に、相互に相関する成分を伴っている。 正確な物質定義がないため、新しいシーンで生成された資産を合理的にリライトすることは不可能であり、下流のシナリオでの応用を制限する。 対照的に、人間はこの曖昧さを、その外見や意味から物体の物質を引き出すことによって、力ずくで回避することができる。 そこで本研究では,2次元セマンティックから基礎となる物質を推定する3次元アセット・マテリアル生成フレームワークであるMaterialSeg3Dを提案する。 このような先行モデルに基づいて,材料を三次元空間で解析する機構を考案する。 われわれはUVスタックを維持しており、それぞれのマップは特定の視点から投影されていない。 すべての視点をトラバースした後、重み付けされた投票方式でスタックを融合し、領域統一を用いて対象部品のコヒーレンスを確保する。 セマンティクスの学習に先立って,多彩な画像,多様なカテゴリ,正確なアノテーションを特徴とするMIO(Materialized Individual Objects)という資料データセットを収集した。 定量的および定性的実験により,本手法の有効性を実証した。

関連論文リスト

• IntrinsicAnything: Learning Diffusion Priors for Inverse Rendering Under Unknown Illumination [37.96484120807323]
  本稿では,未知の静止照明条件下で撮影されたポーズ画像から対象物質を回収することを目的とする。 我々は、最適化プロセスの正規化のための生成モデルを用いて、その材料を事前に学習する。 実世界および合成データセットを用いた実験により,本手法が材料回収における最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-04-17T17:45:08Z)
• X-Dreamer: Creating High-quality 3D Content by Bridging the Domain Gap Between Text-to-2D and Text-to-3D Generation [64.12848271290119]
  X-Dreamerは高品質なテキストから3Dコンテンツを作成するための新しいアプローチである。 テキスト対2D合成とテキスト対3D合成のギャップを埋める。
  論文  参考訳（メタデータ） (2023-11-30T07:23:00Z)
• CMR3D: Contextualized Multi-Stage Refinement for 3D Object Detection [57.44434974289945]
  本稿では,3次元オブジェクト検出(CMR3D)フレームワークのためのコンテキスト型マルチステージリファインメントを提案する。 我々のフレームワークは3Dシーンを入力として取り、シーンの有用なコンテキスト情報を明示的に統合しようと試みている。 3Dオブジェクトの検出に加えて,3Dオブジェクトカウント問題に対するフレームワークの有効性について検討する。
  論文  参考訳（メタデータ） (2022-09-13T05:26:09Z)
• GAN2X: Non-Lambertian Inverse Rendering of Image GANs [85.76426471872855]
  GAN2Xは、教師なし画像のみをトレーニングに使用する、教師なし逆レンダリングの新しい手法である。 3次元形状を主眼とする従来のShape-from-GANアプローチとは異なり、GANが生成した擬似ペアデータを利用して、非ランベルト材料特性を復元する試みは初めてである。 実験により, GAN2Xは2次元画像を3次元形状, アルベド, 特異な特性に正確に分解し, 教師なしの単視3次元顔再構成の最先端性能を実現することができた。
  論文  参考訳（メタデータ） (2022-06-18T16:58:49Z)
• RandomRooms: Unsupervised Pre-training from Synthetic Shapes and Randomized Layouts for 3D Object Detection [138.2892824662943]
  有望な解決策は、CADオブジェクトモデルで構成される合成データセットをよりよく利用して、実際のデータセットでの学習を促進することである。 最近の3次元事前学習の研究は、合成物体から他の実世界の応用へ学習した伝達特性が失敗することを示している。 本研究では,この目的を達成するためにRandomRoomsという新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-08-17T17:56:12Z)
• Object Wake-up: 3-D Object Reconstruction, Animation, and in-situ Rendering from a Single Image [58.69732754597448]
  椅子の写真があれば、椅子の3次元形状を抽出し、その可愛らしい調音や動きをアニメーション化し、元の画像空間でその場でレンダリングできるだろうか? 単一画像中の調音対象を抽出・操作するための自動アプローチを考案する。
  論文  参考訳（メタデータ） (2021-08-05T16:20:12Z)
• Leveraging 2D Data to Learn Textured 3D Mesh Generation [33.32377849866736]
  テクスチャ化された3Dメッシュの最初の生成モデルを示す。 我々は、各画像を3Dフォアグラウンドオブジェクトとしてモデル化することで、画像の分布を説明するためにモデルを訓練する。 レンダリングされたメッシュを生成して、トレーニングセットと同じようなイメージを生成する。
  論文  参考訳（メタデータ） (2020-04-08T18:00:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。