論文の概要: DeformToon3D: Deformable 3D Toonification from Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2309.04410v1
• Date: Fri, 8 Sep 2023 16:17:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-11 13:06:07.117291
• Title: DeformToon3D: Deformable 3D Toonification from Neural Radiance Fields
• Title（参考訳）: DeformToon3D:ニューラルラジアンス場からの変形可能な3Dトーン化
• Authors: Junzhe Zhang, Yushi Lan, Shuai Yang, Fangzhou Hong, Quan Wang, Chai Kiat Yeo, Ziwei Liu, Chen Change Loy
• Abstract要約: 3Dトーン化には、テクスチャ化された幾何学とテクスチャで、アートドメインのスタイルをターゲットの3D顔に転送することが含まれる。 階層型3D GANに適した効果的なトーン化フレームワークであるDeformToon3Dを提案する。 提案手法は3次元トーン化を幾何学とテクスチャスタイリングのサブプロブレムに分解し,元の潜伏空間をよりよく保存する。
• 参考スコア（独自算出の注目度）: 96.0858117473902
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we address the challenging problem of 3D toonification, which involves transferring the style of an artistic domain onto a target 3D face with stylized geometry and texture. Although fine-tuning a pre-trained 3D GAN on the artistic domain can produce reasonable performance, this strategy has limitations in the 3D domain. In particular, fine-tuning can deteriorate the original GAN latent space, which affects subsequent semantic editing, and requires independent optimization and storage for each new style, limiting flexibility and efficient deployment. To overcome these challenges, we propose DeformToon3D, an effective toonification framework tailored for hierarchical 3D GAN. Our approach decomposes 3D toonification into subproblems of geometry and texture stylization to better preserve the original latent space. Specifically, we devise a novel StyleField that predicts conditional 3D deformation to align a real-space NeRF to the style space for geometry stylization. Thanks to the StyleField formulation, which already handles geometry stylization well, texture stylization can be achieved conveniently via adaptive style mixing that injects information of the artistic domain into the decoder of the pre-trained 3D GAN. Due to the unique design, our method enables flexible style degree control and shape-texture-specific style swap. Furthermore, we achieve efficient training without any real-world 2D-3D training pairs but proxy samples synthesized from off-the-shelf 2D toonification models.
• Abstract（参考訳）: 本稿では,3次元トーン化の難解な課題について述べる。スタイリッシュな形状とテクスチャで,芸術的領域のスタイルを対象の3次元顔に移す。 芸術領域で事前訓練された3D GANを微調整すると、合理的なパフォーマンスが得られるが、この戦略は3D領域に制限がある。 特に微調整は、後続のセマンティック編集に影響を与えるオリジナルのGAN潜伏空間を悪化させ、新しいスタイルごとに独立した最適化とストレージを必要とし、柔軟性と効率的なデプロイメントを制限する。 これらの課題を克服するために,階層型3D GANに適した効果的なトーン化フレームワークであるDeformToon3Dを提案する。 本手法は3次元トーン化を幾何学とテクスチャスタイライゼーションのサブプロブレムに分解し,元の潜在空間をよりよく保存する。 具体的には、条件付き3次元変形を予測し、実空間のnerfを幾何学的スタイライゼーションのスタイル空間に整列する新しいスタイルフィールドを考案する。 すでに幾何学的スタイリゼーションをうまく処理しているStyleFieldの定式化のおかげで、3D GANのデコーダに芸術領域の情報を注入する適応型スタイルミキシングにより、テクスチャのスタイリゼーションを便利に実現できる。 このユニークな設計により、フレキシブルなスタイル度制御と形状・テクスチャ固有のスタイルスワップが可能となる。 さらに,実世界の2D-3Dトレーニングペアを使わずに,市販の2Dトーン化モデルから合成したプロキシサンプルを効率よく学習する。

関連論文リスト

• 3DTextureTransformer: Geometry Aware Texture Generation for Arbitrary Mesh Topology [1.4349415652822481]
  3Dメッシュと実世界の2D画像の集合が与えられた新しい3Dメッシュのテクスチャを生成することを学ぶことは、3Dシミュレーション、拡張現実、仮想現実、ゲーム、アーキテクチャ、デザインなど、さまざまな領域のアプリケーションにとって重要な問題である。 既存のソリューションは、高品質なテクスチャを生成したり、元の高解像度の入力メッシュトポロジを正規のグリッドに変形させたりすることで、この生成を容易にするが、元のメッシュトポロジを失う。 本稿では,3DTextureTransformerという新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-07T05:01:07Z)
• HyperStyle3D: Text-Guided 3D Portrait Stylization via Hypernetworks [101.36230756743106]
  本論文は,2次元画像の中間表現として,2次元領域と3次元領域を3次元フィールドで橋渡しする3次元GANの成功に着想を得たものである。 本稿では,3次元ポートレートスタイリングのための3次元認識型GANをベースとしたHyperStyle3Dという新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-04-19T07:22:05Z)
• StyleRF: Zero-shot 3D Style Transfer of Neural Radiance Fields [52.19291190355375]
  StyleRF(Style Radiance Fields)は、革新的な3Dスタイル転送技術である。 3Dシーンを表現するために、高精細な特徴の明確なグリッドを使用し、ボリュームレンダリングによって高精細な幾何学を確実に復元することができる。 グリッド機能は参照スタイルに従って変換され、それが直接的に高品質のゼロショットスタイルの転送につながる。
  論文  参考訳（メタデータ） (2023-03-19T08:26:06Z)
• 3DAvatarGAN: Bridging Domains for Personalized Editable Avatars [75.31960120109106]
  3D-GANは、一貫した構造を持つ大規模データセットのトレーニングにより、幾何学とテクスチャを合成する。 本稿では,ソースドメインが事前訓練された3D-GANであり,ターゲットドメインが2D-GANである適応フレームワークを提案する。 本稿では,芸術領域の誇張された幾何学をモデル化するための変形に基づく手法について述べる。
  論文  参考訳（メタデータ） (2023-01-06T19:58:47Z)
• Self-Supervised Geometry-Aware Encoder for Style-Based 3D GAN Inversion [115.82306502822412]
  StyleGANは、画像インバージョンと潜時編集による2次元顔再構成とセマンティック編集において大きな進歩を遂げている。 対応する汎用的な3D GANインバージョンフレームワークがまだ欠けており、3D顔再構成とセマンティック編集の応用が制限されている。 本研究では,その3次元形状と詳細なテクスチャを忠実に復元するために,単一の顔画像から潜伏コードを予測する3D GAN逆変換の課題について検討する。
  論文  参考訳（メタデータ） (2022-12-14T18:49:50Z)
• 3DStyleNet: Creating 3D Shapes with Geometric and Texture Style Variations [81.45521258652734]
  本稿では,3次元オブジェクトの幾何学的・テクスチャ的バリエーションを多用する手法を提案する。 提案手法は,多くの新しいスタイルの形状を作成でき,その結果,無駄な3Dコンテンツ作成とスタイルウェアデータ拡張を実現している。
  論文  参考訳（メタデータ） (2021-08-30T02:28:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。