論文の概要: Learning Effective NeRFs and SDFs Representations with 3D Generative Adversarial Networks for 3D Object Generation: Technical Report for ICCV 2023 OmniObject3D Challenge

• arxiv url: http://arxiv.org/abs/2309.16110v1
• Date: Thu, 28 Sep 2023 02:23:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-29 18:17:49.537964
• Title: Learning Effective NeRFs and SDFs Representations with 3D Generative Adversarial Networks for 3D Object Generation: Technical Report for ICCV 2023 OmniObject3D Challenge
• Title（参考訳）: 3次元オブジェクト生成のための3次元生成対向ネットワークを用いた効果的なNeRFとSDF表現の学習:ICCV 2023 OmniObject3Dチャレンジの技術報告
• Authors: Zheyuan Yang, Yibo Liu, Guile Wu, Tongtong Cao, Yuan Ren, Yang Liu, Bingbing Liu
• Abstract要約: ICCV 2023 OmniObject3D Challengeの3次元オブジェクト生成ソリューションを提案する。 本研究では,3次元オブジェクト生成のための3次元生成支援ネットワーク(GAN)を用いた学習効率の高いNeRFとSDFの表現について検討する。
• 参考スコア（独自算出の注目度）: 28.425698777641482
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this technical report, we present a solution for 3D object generation of ICCV 2023 OmniObject3D Challenge. In recent years, 3D object generation has made great process and achieved promising results, but it remains a challenging task due to the difficulty of generating complex, textured and high-fidelity results. To resolve this problem, we study learning effective NeRFs and SDFs representations with 3D Generative Adversarial Networks (GANs) for 3D object generation. Specifically, inspired by recent works, we use the efficient geometry-aware 3D GANs as the backbone incorporating with label embedding and color mapping, which enables to train the model on different taxonomies simultaneously. Then, through a decoder, we aggregate the resulting features to generate Neural Radiance Fields (NeRFs) based representations for rendering high-fidelity synthetic images. Meanwhile, we optimize Signed Distance Functions (SDFs) to effectively represent objects with 3D meshes. Besides, we observe that this model can be effectively trained with only a few images of each object from a variety of classes, instead of using a great number of images per object or training one model per class. With this pipeline, we can optimize an effective model for 3D object generation. This solution is one of the final top-3-place solutions in the ICCV 2023 OmniObject3D Challenge.
• Abstract（参考訳）: 本稿では,iccv 2023 omniobject3dチャレンジの3次元オブジェクト生成のためのソリューションを提案する。 近年, 3次元オブジェクト生成はプロセスが良く, 有望な結果が得られたが, 複雑でテクスチャ化された高忠実度な結果の生成が難しいため, 依然として困難な課題である。 本研究では,3次元オブジェクト生成のための3次元生成支援ネットワーク(GAN)を用いて,効果的なNeRFおよびSDF表現の学習について検討する。 具体的には、最近の研究に触発されて、ラベル埋め込みとカラーマッピングを取り入れたバックボーンとして、効率的な幾何学的3D GANを使用し、異なる分類体系でモデルを同時に訓練することができる。 そして、デコーダを通して得られた特徴を集約し、高忠実度合成画像をレンダリングするためのneural radiance field(nerfs)ベースの表現を生成する。 一方、3Dメッシュでオブジェクトを効果的に表現するために、Signed Distance Function(SDF)を最適化する。 さらに、このモデルでは、オブジェクト毎に大量の画像を使用するか、クラス毎に1つのモデルをトレーニングする代わりに、さまざまなクラスから、各オブジェクトの少数のイメージで効果的にトレーニングすることができる。 このパイプラインにより、3Dオブジェクト生成に有効なモデルを最適化できる。 このソリューションはICCV 2023 OmniObject3D Challengeにおける最後のトップ3のソリューションの1つである。

関連論文リスト

• DIRECT-3D: Learning Direct Text-to-3D Generation on Massive Noisy 3D Data [50.164670363633704]
  テキストプロンプトから高品質な3Dアセットを作成するための拡散型3D生成モデルであるDIRECT-3Dを提案する。 我々のモデルは、広範に騒々しく不整合な3D資産で直接訓練されている。 単一クラス生成とテキスト・ツー・3D生成の両方で最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-06-06T17:58:15Z)
• ComboVerse: Compositional 3D Assets Creation Using Spatially-Aware Diffusion Guidance [76.7746870349809]
  複雑な構成で高品質な3Dアセットを生成する3D生成フレームワークであるComboVerseについて,複数のモデルを組み合わせることを学習して紹介する。 提案手法は,標準スコア蒸留法と比較して,物体の空間的アライメントを重視している。
  論文  参考訳（メタデータ） (2024-03-19T03:39:43Z)
• Pushing the Limits of 3D Shape Generation at Scale [65.24420181727615]
  我々は、前例のない次元に拡大することで、3次元形状生成において画期的なブレークスルーを示す。 現在までに最大の3次元形状生成モデルとしてArgus-3Dが確立されている。
  論文  参考訳（メタデータ） (2023-06-20T13:01:19Z)
• NeRF-GAN Distillation for Efficient 3D-Aware Generation with Convolutions [97.27105725738016]
  GAN(Generative Adversarial Networks)のようなニューラルラジアンスフィールド(NeRF)と生成モデルの統合は、単一ビュー画像から3D認識生成を変換した。 提案手法は,ポーズ条件付き畳み込みネットワークにおいて,事前学習したNeRF-GANの有界遅延空間を再利用し,基礎となる3次元表現に対応する3D一貫性画像を直接生成する手法である。
  論文  参考訳（メタデータ） (2023-03-22T18:59:48Z)
• 3D Neural Field Generation using Triplane Diffusion [37.46688195622667]
  ニューラルネットワークの3次元認識のための効率的な拡散ベースモデルを提案する。 当社のアプローチでは,ShapeNetメッシュなどのトレーニングデータを,連続的占有フィールドに変換することによって前処理する。 本論文では,ShapeNetのオブジェクトクラスにおける3D生成の現状について述べる。
  論文  参考訳（メタデータ） (2022-11-30T01:55:52Z)
• Deep Generative Models on 3D Representations: A Survey [81.73385191402419]
  生成モデルは、新しいインスタンスを生成することによって観測データの分布を学習することを目的としている。 最近、研究者は焦点を2Dから3Dにシフトし始めた。 3Dデータの表現は、非常に大きな課題をもたらします。
  論文  参考訳（メタデータ） (2022-10-27T17:59:50Z)
• Efficient Geometry-aware 3D Generative Adversarial Networks [50.68436093869381]
  既存の3D GANは計算集約的であるか、3D一貫性のない近似を行う。 本研究では、3D GANの計算効率と画質をこれらの近似に頼らずに改善する。 本稿では,高解像度のマルチビュー一貫性画像だけでなく,高品質な3次元形状をリアルタイムに合成する,表現型ハイブリッド・明示型ネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-12-15T08:01:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。