論文の概要: Deep Generative Models on 3D Representations: A Survey
- arxiv url: http://arxiv.org/abs/2210.15663v1
- Date: Thu, 27 Oct 2022 17:59:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-28 14:37:49.345518
- Title: Deep Generative Models on 3D Representations: A Survey
- Title(参考訳): 3次元表現の深部生成モデルに関する研究
- Authors: Zifan Shi, Sida Peng, Yinghao Xu, Yiyi Liao, and Yujun Shen
- Abstract要約: 生成モデルは、新しいインスタンスを生成することによって観測されたデータ分布を学習する。
可変オートエンコーダ (VAE) やGAN (Generative Adversarial Network) のような深層生成モデルは、2次元画像合成において著しく進歩している。
最近、研究者らは3Dデータが私たちの物理的世界とよりよく一致していることを考えると、注意を2D空間から3D空間に切り替えている。
- 参考スコア(独自算出の注目度): 31.77761668630577
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generative models, as an important family of statistical modeling, target
learning the observed data distribution via generating new instances. Along
with the rise of neural networks, deep generative models, such as variational
autoencoders (VAEs) and generative adversarial network (GANs), have made
tremendous progress in 2D image synthesis. Recently, researchers switch their
attentions from the 2D space to the 3D space considering that 3D data better
aligns with our physical world and hence enjoys great potential in practice.
However, unlike a 2D image, which owns an efficient representation (i.e., pixel
grid) by nature, representing 3D data could face far more challenges.
Concretely, we would expect an ideal 3D representation to be capable enough to
model shapes and appearances in details, and to be highly efficient so as to
model high-resolution data with fast speed and low memory cost. However,
existing 3D representations, such as point clouds, meshes, and recent neural
fields, usually fail to meet the above requirements simultaneously. In this
survey, we make a thorough review of the development of 3D generation,
including 3D shape generation and 3D-aware image synthesis, from the
perspectives of both algorithms and more importantly representations. We hope
that our discussion could help the community track the evolution of this field
and further spark some innovative ideas to advance this challenging task.
- Abstract(参考訳): 統計モデルの重要なファミリーである生成モデルは、新しいインスタンスを生成することによって観測されたデータ分布を学習する。
ニューラルネットワークの台頭とともに、可変オートエンコーダ(VAE)やGAN(Generative Adversarial Network)といった深層生成モデルも、2D画像合成において大きな進歩を遂げている。
最近、研究者は3Dデータが私たちの物理的世界とよりよく一致していることを考えると、注意を2D空間から3D空間に切り替えている。
しかし、自然に効率的な表現(ピクセルグリッド)を持つ2d画像とは異なり、3dデータを表現することは、はるかに困難に直面する可能性がある。
具体的には、形状や外観を詳細にモデル化できる理想的な3D表現が期待でき、高速でメモリコストの低い高解像度データをモデル化できるような高効率を期待する。
しかし、ポイントクラウド、メッシュ、最近のニューラルフィールドといった既存の3d表現は、通常、上記の要件を同時に満たさない。
本研究では,3次元形状生成と3次元認識画像合成を含む3次元生成の開発を,アルゴリズムとより重要な表現の両方の観点から徹底的にレビューする。
我々は、この領域の進化をコミュニティが追跡し、この挑戦的な課題を進めるための革新的なアイデアをさらに引き起こすことを願っている。
関連論文リスト
- Sculpt3D: Multi-View Consistent Text-to-3D Generation with Sparse 3D Prior [57.986512832738704]
本稿では,2次元拡散モデルを再学習することなく,抽出した参照オブジェクトから3次元先行を明示的に注入する,電流パイプラインを備えた新しいフレームワークSculpt3Dを提案する。
具体的には、スパース線サンプリングによるキーポイントの監督により、高品質で多様な3次元形状を保証できることを実証する。
これら2つの分離された設計は、参照オブジェクトからの3D情報を利用して、2D拡散モデルの生成品質を保ちながら、3Dオブジェクトを生成する。
論文 参考訳(メタデータ) (2024-03-14T07:39:59Z) - Retrieval-Augmented Score Distillation for Text-to-3D Generation [32.105318004273]
テキストから3D生成における検索に基づく品質向上のための新しいフレームワークを提案する。
我々はRetDreamが幾何整合性を高めて優れた品質を示すことを示すために広範な実験を行った。
論文 参考訳(メタデータ) (2024-02-05T12:50:30Z) - Progress and Prospects in 3D Generative AI: A Technical Overview
including 3D human [51.58094069317723]
本稿は,2023年後半に主に刊行された関連論文の概要と概要を概説することを目的とする。
最初は、AIが生成したオブジェクトモデルを3Dで議論し、続いて生成された3Dの人間モデル、そして最後に生成された3Dの人間の動きを、決定的な要約と未来へのビジョンで結論付ける。
論文 参考訳(メタデータ) (2024-01-05T03:41:38Z) - Breathing New Life into 3D Assets with Generative Repainting [74.80184575267106]
拡散ベースのテキスト・ツー・イメージ・モデルは、ビジョン・コミュニティ、アーティスト、コンテンツ・クリエーターから大きな注目を集めた。
近年の研究では、拡散モデルとニューラルネットワークの絡み合いを利用した様々なパイプラインが提案されている。
予備訓練された2次元拡散モデルと標準3次元ニューラルラジアンスフィールドのパワーを独立したスタンドアロンツールとして検討する。
我々のパイプラインはテクスチャ化されたメッシュや無テクスチャのメッシュのような、レガシなレンダリング可能な幾何学を受け入れ、2D生成の洗練と3D整合性強化ツール間の相互作用をオーケストレーションします。
論文 参考訳(メタデータ) (2023-09-15T16:34:51Z) - Interpretable 2D Vision Models for 3D Medical Images [47.75089895500738]
本研究では,3次元画像処理における中間特徴表現を用いた2次元ネットワークの適応手法を提案する。
我々は、ベンチマークとして3D MedMNISTデータセットと、既存の手法に匹敵する数百の高分解能CTまたはMRIスキャンからなる2つの実世界のデータセットを示す。
論文 参考訳(メタデータ) (2023-07-13T08:27:09Z) - 3D GANs and Latent Space: A comprehensive survey [0.0]
3D GANは、3D再構成、ポイントクラウド再構成、および3Dセマンティックシーン補完に使用される新しいタイプの生成モデルである。
雑音の分布の選択は、遅延空間を表すため重要である。
本研究は,潜伏空間と3D GANを探索し,複数のGAN変種と訓練方法を調べ,3D GAN訓練の改善に関する洞察を得るとともに,今後の研究の方向性を示唆するものである。
論文 参考訳(メタデータ) (2023-04-08T06:36:07Z) - GINA-3D: Learning to Generate Implicit Neural Assets in the Wild [38.51391650845503]
GINA-3Dは、カメラとLiDARセンサーの実際の運転データを使用して、多様な車や歩行者の3D暗黙的な神経資産を作成する生成モデルである。
車両と歩行者の1.2万枚以上の画像を含む大規模オブジェクト中心データセットを構築した。
生成した画像とジオメトリの両面において、品質と多様性の最先端性能を実現することを実証した。
論文 参考訳(メタデータ) (2023-04-04T23:41:20Z) - HoloDiffusion: Training a 3D Diffusion Model using 2D Images [71.1144397510333]
我々は,2次元画像のみを監督のために配置した,エンドツーエンドでトレーニング可能な新しい拡散装置を導入する。
我々の拡散モデルはスケーラブルで、頑健に訓練されており、既存の3次元生成モデルへのアプローチに対して、サンプルの品質と忠実さの点で競争力があることを示す。
論文 参考訳(メタデータ) (2023-03-29T07:35:56Z) - NeRF-GAN Distillation for Efficient 3D-Aware Generation with
Convolutions [97.27105725738016]
GAN(Generative Adversarial Networks)のようなニューラルラジアンスフィールド(NeRF)と生成モデルの統合は、単一ビュー画像から3D認識生成を変換した。
提案手法は,ポーズ条件付き畳み込みネットワークにおいて,事前学習したNeRF-GANの有界遅延空間を再利用し,基礎となる3次元表現に対応する3D一貫性画像を直接生成する手法である。
論文 参考訳(メタデータ) (2023-03-22T18:59:48Z) - 3D Neural Field Generation using Triplane Diffusion [37.46688195622667]
ニューラルネットワークの3次元認識のための効率的な拡散ベースモデルを提案する。
当社のアプローチでは,ShapeNetメッシュなどのトレーニングデータを,連続的占有フィールドに変換することによって前処理する。
本論文では,ShapeNetのオブジェクトクラスにおける3D生成の現状について述べる。
論文 参考訳(メタデータ) (2022-11-30T01:55:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。