論文の概要: Deep Generative Models on 3D Representations: A Survey

• arxiv url: http://arxiv.org/abs/2210.15663v1
• Date: Thu, 27 Oct 2022 17:59:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-28 14:37:49.345518
• Title: Deep Generative Models on 3D Representations: A Survey
• Title（参考訳）: 3次元表現の深部生成モデルに関する研究
• Authors: Zifan Shi, Sida Peng, Yinghao Xu, Yiyi Liao, and Yujun Shen
• Abstract要約: 生成モデルは、新しいインスタンスを生成することによって観測されたデータ分布を学習する。 可変オートエンコーダ (VAE) やGAN (Generative Adversarial Network) のような深層生成モデルは、2次元画像合成において著しく進歩している。 最近、研究者らは3Dデータが私たちの物理的世界とよりよく一致していることを考えると、注意を2D空間から3D空間に切り替えている。
• 参考スコア（独自算出の注目度）: 31.77761668630577
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative models, as an important family of statistical modeling, target learning the observed data distribution via generating new instances. Along with the rise of neural networks, deep generative models, such as variational autoencoders (VAEs) and generative adversarial network (GANs), have made tremendous progress in 2D image synthesis. Recently, researchers switch their attentions from the 2D space to the 3D space considering that 3D data better aligns with our physical world and hence enjoys great potential in practice. However, unlike a 2D image, which owns an efficient representation (i.e., pixel grid) by nature, representing 3D data could face far more challenges. Concretely, we would expect an ideal 3D representation to be capable enough to model shapes and appearances in details, and to be highly efficient so as to model high-resolution data with fast speed and low memory cost. However, existing 3D representations, such as point clouds, meshes, and recent neural fields, usually fail to meet the above requirements simultaneously. In this survey, we make a thorough review of the development of 3D generation, including 3D shape generation and 3D-aware image synthesis, from the perspectives of both algorithms and more importantly representations. We hope that our discussion could help the community track the evolution of this field and further spark some innovative ideas to advance this challenging task.
• Abstract（参考訳）: 統計モデルの重要なファミリーである生成モデルは、新しいインスタンスを生成することによって観測されたデータ分布を学習する。 ニューラルネットワークの台頭とともに、可変オートエンコーダ(VAE)やGAN(Generative Adversarial Network)といった深層生成モデルも、2D画像合成において大きな進歩を遂げている。 最近、研究者は3Dデータが私たちの物理的世界とよりよく一致していることを考えると、注意を2D空間から3D空間に切り替えている。 しかし、自然に効率的な表現(ピクセルグリッド)を持つ2d画像とは異なり、3dデータを表現することは、はるかに困難に直面する可能性がある。 具体的には、形状や外観を詳細にモデル化できる理想的な3D表現が期待でき、高速でメモリコストの低い高解像度データをモデル化できるような高効率を期待する。 しかし、ポイントクラウド、メッシュ、最近のニューラルフィールドといった既存の3d表現は、通常、上記の要件を同時に満たさない。 本研究では,3次元形状生成と3次元認識画像合成を含む3次元生成の開発を,アルゴリズムとより重要な表現の両方の観点から徹底的にレビューする。 我々は、この領域の進化をコミュニティが追跡し、この挑戦的な課題を進めるための革新的なアイデアをさらに引き起こすことを願っている。

関連論文リスト

• Diffusion Models in 3D Vision: A Survey [11.116658321394755]
  本稿では,3次元視覚タスクの拡散モデルを利用する最先端のアプローチについて概説する。 これらのアプローチには、3Dオブジェクト生成、形状補完、点雲再構成、シーン理解が含まれる。 本稿では,計算効率の向上,マルチモーダル融合の強化,大規模事前学習の活用などの可能性について論じる。
  論文  参考訳（メタデータ） (2024-10-07T04:12:23Z)
• Implicit-Zoo: A Large-Scale Dataset of Neural Implicit Functions for 2D Images and 3D Scenes [65.22070581594426]
  Implicit-Zoo"は、この分野の研究と開発を容易にするために、数千のGPUトレーニング日を必要とする大規模なデータセットである。 1)トランスモデルのトークン位置を学習すること、(2)NeRFモデルに関して直接3Dカメラが2D画像のポーズを取ること、である。 これにより、画像分類、セマンティックセグメンテーション、および3次元ポーズ回帰の3つのタスクすべてのパフォーマンスが向上し、研究のための新たな道が開けることになる。
  論文  参考訳（メタデータ） (2024-06-25T10:20:44Z)
• DIRECT-3D: Learning Direct Text-to-3D Generation on Massive Noisy 3D Data [50.164670363633704]
  テキストプロンプトから高品質な3Dアセットを作成するための拡散型3D生成モデルであるDIRECT-3Dを提案する。 我々のモデルは、広範に騒々しく不整合な3D資産で直接訓練されている。 単一クラス生成とテキスト・ツー・3D生成の両方で最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-06-06T17:58:15Z)
• Sculpt3D: Multi-View Consistent Text-to-3D Generation with Sparse 3D Prior [57.986512832738704]
  本稿では,2次元拡散モデルを再学習することなく,抽出した参照オブジェクトから3次元先行を明示的に注入する,電流パイプラインを備えた新しいフレームワークSculpt3Dを提案する。 具体的には、スパース線サンプリングによるキーポイントの監督により、高品質で多様な3次元形状を保証できることを実証する。 これら2つの分離された設計は、参照オブジェクトからの3D情報を利用して、2D拡散モデルの生成品質を保ちながら、3Dオブジェクトを生成する。
  論文  参考訳（メタデータ） (2024-03-14T07:39:59Z)
• Retrieval-Augmented Score Distillation for Text-to-3D Generation [30.57225047257049]
  テキストから3D生成における検索に基づく品質向上のための新しいフレームワークを提案する。 我々はReDreamが幾何整合性を高めて優れた品質を示すことを示すために広範な実験を行った。
  論文  参考訳（メタデータ） (2024-02-05T12:50:30Z)
• Progress and Prospects in 3D Generative AI: A Technical Overview including 3D human [51.58094069317723]
  本稿は,2023年後半に主に刊行された関連論文の概要と概要を概説することを目的とする。 最初は、AIが生成したオブジェクトモデルを3Dで議論し、続いて生成された3Dの人間モデル、そして最後に生成された3Dの人間の動きを、決定的な要約と未来へのビジョンで結論付ける。
  論文  参考訳（メタデータ） (2024-01-05T03:41:38Z)
• 3D GANs and Latent Space: A comprehensive survey [0.0]
  3D GANは、3D再構成、ポイントクラウド再構成、および3Dセマンティックシーン補完に使用される新しいタイプの生成モデルである。 雑音の分布の選択は、遅延空間を表すため重要である。 本研究は,潜伏空間と3D GANを探索し,複数のGAN変種と訓練方法を調べ,3D GAN訓練の改善に関する洞察を得るとともに,今後の研究の方向性を示唆するものである。
  論文  参考訳（メタデータ） (2023-04-08T06:36:07Z)
• HoloDiffusion: Training a 3D Diffusion Model using 2D Images [71.1144397510333]
  我々は,2次元画像のみを監督のために配置した,エンドツーエンドでトレーニング可能な新しい拡散装置を導入する。 我々の拡散モデルはスケーラブルで、頑健に訓練されており、既存の3次元生成モデルへのアプローチに対して、サンプルの品質と忠実さの点で競争力があることを示す。
  論文  参考訳（メタデータ） (2023-03-29T07:35:56Z)
• 3D Neural Field Generation using Triplane Diffusion [37.46688195622667]
  ニューラルネットワークの3次元認識のための効率的な拡散ベースモデルを提案する。 当社のアプローチでは,ShapeNetメッシュなどのトレーニングデータを,連続的占有フィールドに変換することによって前処理する。 本論文では,ShapeNetのオブジェクトクラスにおける3D生成の現状について述べる。
  論文  参考訳（メタデータ） (2022-11-30T01:55:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。