論文の概要: LatentSwap3D: Semantic Edits on 3D Image GANs

• arxiv url: http://arxiv.org/abs/2212.01381v2
• Date: Mon, 4 Sep 2023 19:12:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-07 07:04:23.438596
• Title: LatentSwap3D: Semantic Edits on 3D Image GANs
• Title（参考訳）: LatentSwap3D: 3D画像のセマンティック編集
• Authors: Enis Simsar and Alessio Tonioni and Evin P{\i}nar \"Ornek and Federico Tombari
• Abstract要約: 3D GANは2D画像だけでなく、全3Dボリュームの遅延コードを生成することができる。 LatentSwap3Dは、潜在空間発見に基づくセマンティックな編集手法である。 7つの3D GANと5つのデータセットで結果を示す。
• 参考スコア（独自算出の注目度）: 48.1271011449138
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: 3D GANs have the ability to generate latent codes for entire 3D volumes rather than only 2D images. These models offer desirable features like high-quality geometry and multi-view consistency, but, unlike their 2D counterparts, complex semantic image editing tasks for 3D GANs have only been partially explored. To address this problem, we propose LatentSwap3D, a semantic edit approach based on latent space discovery that can be used with any off-the-shelf 3D or 2D GAN model and on any dataset. LatentSwap3D relies on identifying the latent code dimensions corresponding to specific attributes by feature ranking using a random forest classifier. It then performs the edit by swapping the selected dimensions of the image being edited with the ones from an automatically selected reference image. Compared to other latent space control-based edit methods, which were mainly designed for 2D GANs, our method on 3D GANs provides remarkably consistent semantic edits in a disentangled manner and outperforms others both qualitatively and quantitatively. We show results on seven 3D GANs (pi-GAN, GIRAFFE, StyleSDF, MVCGAN, EG3D, StyleNeRF, and VolumeGAN) and on five datasets (FFHQ, AFHQ, Cats, MetFaces, and CompCars).
• Abstract（参考訳）: 3D GANは2D画像だけでなく、全3Dボリュームの潜在コードを生成することができる。 これらのモデルは、高品質な幾何学やマルチビュー整合性などの望ましい特徴を提供するが、2Dモデルとは異なり、3D GANのための複雑なセマンティック画像編集タスクは部分的には検討されていない。 そこで,本研究では,市販の3dおよび2d ganモデルおよびデータセットで使用可能な潜在空間発見に基づく意味的編集手法である latentswap3d を提案する。 LatentSwap3Dは、ランダムフォレスト分類器を用いた特徴ランク付けによって、特定の属性に対応する潜在コード次元を特定することに依存する。 次に、自動選択された基準画像から編集対象の画像の寸法を編集対象の画像と入れ替えて編集を行う。 主に2次元gan用に設計された他の潜在空間制御ベースの編集方法と比較して,3次元ganの手法は,不連続な方法で極めて一貫した意味的編集を提供し,質的かつ定量的に他の方法よりも優れる。 7つの3D GAN(pi-GAN, GIRAFFE, StyleSDF, MVCGAN, EG3D, StyleNeRF, VolumeGAN)と5つのデータセット(FFHQ, AFHQ, Cats, MetFaces, CompCars)について結果を示す。

関連論文リスト

• 3DStyle-Diffusion: Pursuing Fine-grained Text-driven 3D Stylization with 2D Diffusion Models [102.75875255071246]
  テキスト駆動型スタイリングによる3Dコンテンツ作成は、マルチメディアとグラフィックコミュニティにとって根本的な課題となっている。 2次元拡散モデルから制御可能な外観と幾何学的ガイダンスを付加した3次元メッシュのきめ細かいスタイリングをトリガーする新しい3DStyle-Diffusionモデルを提案する。
  論文  参考訳（メタデータ） (2023-11-09T15:51:27Z)
• HyperStyle3D: Text-Guided 3D Portrait Stylization via Hypernetworks [101.36230756743106]
  本論文は,2次元画像の中間表現として,2次元領域と3次元領域を3次元フィールドで橋渡しする3次元GANの成功に着想を得たものである。 本稿では,3次元ポートレートスタイリングのための3次元認識型GANをベースとしたHyperStyle3Dという新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-04-19T07:22:05Z)
• CC3D: Layout-Conditioned Generation of Compositional 3D Scenes [49.281006972028194]
  本稿では,複雑な3次元シーンを2次元セマンティックなシーンレイアウトで合成する条件生成モデルであるCC3Dを紹介する。 合成3D-FRONTと実世界のKITTI-360データセットに対する評価は、我々のモデルが視覚的および幾何学的品質を改善したシーンを生成することを示す。
  論文  参考訳（メタデータ） (2023-03-21T17:59:02Z)
• Designing a 3D-Aware StyleNeRF Encoder for Face Editing [15.303426697795143]
  本稿では,強力なStyleNeRFモデルに基づくGANインバージョンと顔編集のための3D対応エンコーダを提案する。 提案する3Daエンコーダは、パラメトリックな3次元顔モデルと学習可能な詳細表現モデルを組み合わせて、幾何学、テクスチャ、ビュー方向コードを生成する。
  論文  参考訳（メタデータ） (2023-02-19T03:32:28Z)
• SSR-2D: Semantic 3D Scene Reconstruction from 2D Images [54.46126685716471]
  本研究では,3Dアノテーションを使わずにセマンティックなシーン再構成を行う中心的な3Dシーンモデリングタスクについて検討する。 提案手法の鍵となる考え方は,不完全な3次元再構成と対応するRGB-D画像の両方を用いたトレーニング可能なモデルの設計である。 本研究では,2つの大規模ベンチマークデータセットであるMatterPort3DとScanNetに対して,セマンティックシーン補完の最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-02-07T17:47:52Z)
• 3D GAN Inversion with Pose Optimization [26.140281977885376]
  本稿では,カメラ視点と潜時符号を同時に推論し,マルチビューで一貫したセマンティック画像編集を可能にする一般化可能な3D GANインバージョン手法を提案する。 画像の再構成と編集を定量的かつ質的に行い、さらに2D GANベースの編集と比較した。
  論文  参考訳（メタデータ） (2022-10-13T19:06:58Z)
• FENeRF: Face Editing in Neural Radiance Fields [34.332520597067074]
  FENeRFは、ビュー一貫性と局所編集可能なポートレート画像を生成することができる3D対応ジェネレータである。 本手法では,2つの非結合型潜時符号を用いて,空間配向3次元ボリュームにおける顔のセマンティクスとテクスチャを共通形状で生成する。 実験の結果、FENeRFは様々な顔編集タスクにおいて最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-11-30T15:23:08Z)
• Lifting 2D StyleGAN for 3D-Aware Face Generation [52.8152883980813]
  我々は,3次元顔生成のための事前学習済みのStyleGAN2を切断し,持ち上げるLiftedGANというフレームワークを提案する。 本モデルは,(1)StyleGAN2の潜伏空間をテクスチャ,形状,視点,照明に分解し,(2)合成画像のための3D成分を生成することができるという意味で「3D認識」である。
  論文  参考訳（メタデータ） (2020-11-26T05:02:09Z)
• Convolutional Generation of Textured 3D Meshes [34.20939983046376]
  単視点自然画像からの2次元監視のみを用いて,三角形メッシュとそれに伴う高分解能テクスチャマップを生成できるフレームワークを提案する。 我々の研究の重要な貢献は、メッシュとテクスチャを2D表現として符号化することであり、意味的に整合し、2D畳み込みGANで容易にモデル化できる。 本研究では,Pascal3D+カーとCUBにおいて,モデルがクラスラベル,属性,テキストに条件付けされている場合とで,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2020-06-13T15:23:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。