論文の概要: ArtNeRF: A Stylized Neural Field for 3D-Aware Cartoonized Face Synthesis

• arxiv url: http://arxiv.org/abs/2404.13711v2
• Date: Fri, 26 Apr 2024 02:53:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-29 15:13:44.237486
• Title: ArtNeRF: A Stylized Neural Field for 3D-Aware Cartoonized Face Synthesis
• Title（参考訳）: ArtNeRF: 3次元認識型顔合成のためのスティル化ニューラルネットワーク
• Authors: Zichen Tang, Hongyu Yang,
• Abstract要約: ArtNeRFは、3D対応のGANから派生した新しい顔スタイリングフレームワークである。 スタイル整合性を改善するために,スタイリングされた顔と三分岐判別器モジュールを合成する表現的ジェネレータを提案する。 実験により、ArtNeRFは任意のスタイルで高品質な3D対応マンガの顔を生成するのに多用途であることが示された。
• 参考スコア（独自算出の注目度）: 11.463969116010183
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in generative visual models and neural radiance fields have greatly boosted 3D-aware image synthesis and stylization tasks. However, previous NeRF-based work is limited to single scene stylization, training a model to generate 3D-aware cartoon faces with arbitrary styles remains unsolved. We propose ArtNeRF, a novel face stylization framework derived from 3D-aware GAN to tackle this problem. In this framework, we utilize an expressive generator to synthesize stylized faces and a triple-branch discriminator module to improve the visual quality and style consistency of the generated faces. Specifically, a style encoder based on contrastive learning is leveraged to extract robust low-dimensional embeddings of style images, empowering the generator with the knowledge of various styles. To smooth the training process of cross-domain transfer learning, we propose an adaptive style blending module which helps inject style information and allows users to freely tune the level of stylization. We further introduce a neural rendering module to achieve efficient real-time rendering of images with higher resolutions. Extensive experiments demonstrate that ArtNeRF is versatile in generating high-quality 3D-aware cartoon faces with arbitrary styles.
• Abstract（参考訳）: 生成的視覚モデルとニューラルラディアンスフィールドの最近の進歩は、3D認識画像合成とスタイリングタスクを大幅に向上させた。 しかし、これまでのNeRFベースの作品は単一シーンのスタイリングに限られており、任意のスタイルで3D対応のマンガ顔を生成するためのモデルを訓練することは未解決のままである。 この問題に対処するために, 3D 対応 GAN から派生した新しい顔スタイリングフレームワーク ArtNeRF を提案する。 本研究では,表現型ジェネレータを用いてスタイリングされた顔とトリプルブランチ識別器モジュールを合成し,生成した顔の視覚的品質とスタイルの整合性を改善する。 具体的には、コントラスト学習に基づくスタイルエンコーダを利用して、様々なスタイルの知識を生かして、スタイル画像のロバストな低次元埋め込みを抽出する。 ドメイン間移動学習の学習プロセスを円滑にするために,スタイル情報を注入し,ユーザが自由にスタイリングのレベルを調整できる適応型スタイルブレンディングモジュールを提案する。 さらに、高解像度の画像の効率的なリアルタイムレンダリングを実現するためのニューラルネットワークレンダリングモジュールを導入する。 大規模な実験により、ArtNeRFは任意のスタイルで高品質な3D対応マンガの顔を生成するのに汎用的であることが示された。

関連論文リスト

• G3DST: Generalizing 3D Style Transfer with Neural Radiance Fields across Scenes and Styles [45.92812062685523]
  既存の3Dスタイル転送の方法は、シングルまたは複数スタイルのシーンごとの広範な最適化が必要である。 本研究では, シーンごとの最適化やスタイルごとの最適化を必要とせずに, NeRF からスタイリングされた新しいビューをレンダリングすることで, 既存の手法の限界を克服する。 以上の結果から,本手法はシーンごとの手法に匹敵する視覚的品質を達成できることが示唆された。
  論文  参考訳（メタデータ） (2024-08-24T08:04:19Z)
• Style-NeRF2NeRF: 3D Style Transfer From Style-Aligned Multi-View Images [54.56070204172398]
  本稿では,3次元シーンをスタイリングするための簡易かつ効果的なパイプラインを提案する。 我々は、スタイル整列画像-画像拡散モデルにより生成されたスタイリング画像を用いて、ソースNeRFモデルを精細化し、3Dスタイルの転送を行う。 本手法は,現実の3Dシーンに多彩な芸術的スタイルを,競争力のある品質で伝達できることを実証する。
  論文  参考訳（メタデータ） (2024-06-19T09:36:18Z)
• Gaussian Splatting in Style [32.41970914897462]
  3Dシーン化は、ニューラルスタイルの3Dへの移行作業を拡張する。 この問題における重要な課題は、複数の視点でスタイリングされた外観の均一性を維持することである。 本稿では,実時間で高品質なスタイリングされた新しいビューを生成できる,スタイル画像のコレクションを訓練した新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-03-13T13:06:31Z)
• Neural 3D Strokes: Creating Stylized 3D Scenes with Vectorized 3D Strokes [20.340259111585873]
  ニューラル3Dストロークス(Neural 3D Strokes)は、多視点2D画像から任意の新しいビューで3Dシーンのスタイリング画像を生成する新しい技術である。 提案手法は,ベクトルストロークによる人間のアートワークのプログレッシブ・ペインティングの過程をシミュレートし,イメージ・ツー・ペインティング法からインスピレーションを得ている。
  論文  参考訳（メタデータ） (2023-11-27T09:02:21Z)
• DeformToon3D: Deformable 3D Toonification from Neural Radiance Fields [96.0858117473902]
  3Dトーン化には、テクスチャ化された幾何学とテクスチャで、アートドメインのスタイルをターゲットの3D顔に転送することが含まれる。 階層型3D GANに適した効果的なトーン化フレームワークであるDeformToon3Dを提案する。 提案手法は3次元トーン化を幾何学とテクスチャスタイリングのサブプロブレムに分解し,元の潜伏空間をよりよく保存する。
  論文  参考訳（メタデータ） (2023-09-08T16:17:45Z)
• HyperStyle3D: Text-Guided 3D Portrait Stylization via Hypernetworks [101.36230756743106]
  本論文は,2次元画像の中間表現として,2次元領域と3次元領域を3次元フィールドで橋渡しする3次元GANの成功に着想を得たものである。 本稿では,3次元ポートレートスタイリングのための3次元認識型GANをベースとしたHyperStyle3Dという新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-04-19T07:22:05Z)
• StyleRF: Zero-shot 3D Style Transfer of Neural Radiance Fields [52.19291190355375]
  StyleRF(Style Radiance Fields)は、革新的な3Dスタイル転送技術である。 3Dシーンを表現するために、高精細な特徴の明確なグリッドを使用し、ボリュームレンダリングによって高精細な幾何学を確実に復元することができる。 グリッド機能は参照スタイルに従って変換され、それが直接的に高品質のゼロショットスタイルの転送につながる。
  論文  参考訳（メタデータ） (2023-03-19T08:26:06Z)
• NeRF-Art: Text-Driven Neural Radiance Fields Stylization [38.3724634394761]
  簡単なテキストプロンプトで事前学習したNeRFモデルのスタイルを操作するテキスト誘導型NeRFスタイリング手法であるNeRF-Artを提案する。 本手法は, シングルビューのスタイリゼーション品質とクロスビューの整合性の両方に関して, 有効かつ堅牢であることを示す。
  論文  参考訳（メタデータ） (2022-12-15T18:59:58Z)
• NeRFInvertor: High Fidelity NeRF-GAN Inversion for Single-shot Real Image Animation [66.0838349951456]
  Nerfベースの生成モデルは、一貫した3次元幾何で高品質な画像を生成する能力を示している。 本研究では,このNeRF-GANモデルを外科的に微調整し,実物体の高忠実度アニメーションを単一画像のみで実現するための普遍的手法を提案する。
  論文  参考訳（メタデータ） (2022-11-30T18:36:45Z)
• StyleNeRF: A Style-based 3D-Aware Generator for High-resolution Image Synthesis [92.25145204543904]
  StyleNeRFは高解像度画像合成のための3次元認識型生成モデルである。 ニューラル放射場(NeRF)をスタイルベースジェネレータに統合する。 高品質な3D一貫性を維持しながら、対話的な速度で高解像度画像を合成することができる。
  論文  参考訳（メタデータ） (2021-10-18T02:37:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。