論文の概要: REPARO: Compositional 3D Assets Generation with Differentiable 3D Layout Alignment

• arxiv url: http://arxiv.org/abs/2405.18525v1
• Date: Tue, 28 May 2024 18:45:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-30 22:03:07.109824
• Title: REPARO: Compositional 3D Assets Generation with Differentiable 3D Layout Alignment
• Title（参考訳）: REPARO: 微分可能な3次元レイアウトアライメントによる合成3Dアセット生成
• Authors: Haonan Han, Rui Yang, Huan Liao, Jiankai Xing, Zunnan Xu, Xiaoming Yu, Junwei Zha, Xiu Li, Wanhua Li,
• Abstract要約: 単一画像からの合成3Dアセット生成のための新しいアプローチであるREPAROを提案する。 まず、シーンから個々のオブジェクトを抽出し、オフザシェルフ画像から3Dモデルを使用して、それらの3Dメッシュを再構築する。 次に、異なるレンダリング技術によってこれらのメッシュのレイアウトを最適化し、コヒーレントなシーン構成を保証する。
• 参考スコア（独自算出の注目度）: 23.733856513456
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Traditional image-to-3D models often struggle with scenes containing multiple objects due to biases and occlusion complexities. To address this challenge, we present REPARO, a novel approach for compositional 3D asset generation from single images. REPARO employs a two-step process: first, it extracts individual objects from the scene and reconstructs their 3D meshes using off-the-shelf image-to-3D models; then, it optimizes the layout of these meshes through differentiable rendering techniques, ensuring coherent scene composition. By integrating optimal transport-based long-range appearance loss term and high-level semantic loss term in the differentiable rendering, REPARO can effectively recover the layout of 3D assets. The proposed method can significantly enhance object independence, detail accuracy, and overall scene coherence. Extensive evaluation of multi-object scenes demonstrates that our REPARO offers a comprehensive approach to address the complexities of multi-object 3D scene generation from single images.
• Abstract（参考訳）: 従来の画像から3Dモデルでは、バイアスや閉塞の複雑さのため、複数のオブジェクトを含むシーンで苦労することが多い。 この課題に対処するために,単一画像からの合成3Dアセット生成のための新しいアプローチであるREPAROを提案する。 まず、シーンから個々のオブジェクトを抽出し、オフザシェルフ画像から3Dモデルを使用してそれらの3Dメッシュを再構築し、異なるレンダリング技術によってこれらのメッシュのレイアウトを最適化し、コヒーレントなシーン構成を保証する。 最適なトランスポートベース長範囲の外観損失項と高レベルの意味損失項を微分可能レンダリングに統合することにより、REPAROは3Dアセットのレイアウトを効果的に復元することができる。 提案手法は,オブジェクト独立性,細部精度,全体のシーンコヒーレンスを著しく向上させることができる。 マルチオブジェクトシーンの広汎な評価は、REPAROが単一画像からの多オブジェクト3Dシーン生成の複雑さに対処するための包括的アプローチを提供することを示している。

関連論文リスト

• Part123: Part-aware 3D Reconstruction from a Single-view Image [54.589723979757515]
  Part123は、一視点画像から部分認識された3D再構成のための新しいフレームワークである。 ニューラルレンダリングフレームワークにコントラスト学習を導入し、部分認識機能空間を学習する。 クラスタリングに基づくアルゴリズムも開発され、再構成されたモデルから3次元部分分割結果を自動的に導出する。
  論文  参考訳（メタデータ） (2024-05-27T07:10:21Z)
• Zero-Shot Multi-Object Shape Completion [59.325611678171974]
  1枚のRGB-D画像から複雑なシーンにおける複数の物体の完全な形状を復元する3次元形状補完法を提案する。 提案手法は, 合成および実世界の両方のデータセットにおいて, 現在の最先端技術よりも優れている。
  論文  参考訳（メタデータ） (2024-03-21T17:59:59Z)
• ComboVerse: Compositional 3D Assets Creation Using Spatially-Aware Diffusion Guidance [76.7746870349809]
  複雑な構成で高品質な3Dアセットを生成する3D生成フレームワークであるComboVerseについて,複数のモデルを組み合わせることを学習して紹介する。 提案手法は,標準スコア蒸留法と比較して,物体の空間的アライメントを重視している。
  論文  参考訳（メタデータ） (2024-03-19T03:39:43Z)
• 3DFIRES: Few Image 3D REconstruction for Scenes with Hidden Surface [8.824340350342512]
  3DFIRESは、ポーズ画像からシーンレベルの3D再構成を行う新しいシステムである。 単一視点再構成法の有効性を1つの入力で示す。
  論文  参考訳（メタデータ） (2024-03-13T17:59:50Z)
• SceneWiz3D: Towards Text-guided 3D Scene Composition [134.71933134180782]
  既存のアプローチでは、大規模なテキスト・ツー・イメージモデルを使用して3D表現を最適化するか、オブジェクト中心のデータセット上で3Dジェネレータをトレーニングする。 テキストから高忠実度3Dシーンを合成する新しい手法であるSceneWiz3Dを紹介する。
  論文  参考訳（メタデータ） (2023-12-13T18:59:30Z)
• Single-view 3D Scene Reconstruction with High-fidelity Shape and Texture [47.44029968307207]
  本研究では,物体の形状とテクスチャを同時に高忠実度に再現する新しい枠組みを提案する。 提案手法は,SSR(Single-view Neural implicit Shape and Radiance Field)表現を用いて,明示的な3次元形状制御とボリュームレンダリングの両方を活用する。 我々のフレームワークの特徴は、単一のビュー3D再構成モデルにレンダリング機能をシームレスに統合しながら、きめ細かいテクスチャメッシュを生成する能力である。
  論文  参考訳（メタデータ） (2023-11-01T11:46:15Z)
• ONeRF: Unsupervised 3D Object Segmentation from Multiple Views [59.445957699136564]
  OneRFは、追加のマニュアルアノテーションなしで、マルチビューのRGBイメージから3Dのオブジェクトインスタンスを自動的に分割し、再構成する手法である。 セグメント化された3Dオブジェクトは、様々な3Dシーンの編集と新しいビューレンダリングを可能にする別個のNeRF(Neural Radiance Fields)を使用して表現される。
  論文  参考訳（メタデータ） (2022-11-22T06:19:37Z)
• Shape from Blur: Recovering Textured 3D Shape and Motion of Fast Moving Objects [115.71874459429381]
  本研究では, 物体の3次元形状, テクスチャ, 動きを単一動画像から共同で再構成する新しい課題について述べる。 従来の手法では2次元画像領域でのみ遅延問題に対処するが、3次元領域における全ての物体特性の厳密なモデリングは任意の物体の動きの正確な記述を可能にする。
  論文  参考訳（メタデータ） (2021-06-16T13:18:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。