論文の概要: HyperStyle3D: Text-Guided 3D Portrait Stylization via Hypernetworks

• arxiv url: http://arxiv.org/abs/2304.09463v1
• Date: Wed, 19 Apr 2023 07:22:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-20 15:19:53.520628
• Title: HyperStyle3D: Text-Guided 3D Portrait Stylization via Hypernetworks
• Title（参考訳）: hyperstyle3d:ハイパーネットワークによるテキストガイド付き3dポートレートスタイライゼーション
• Authors: Zhuo Chen, Xudong Xu, Yichao Yan, Ye Pan, Wenhan Zhu, Wayne Wu, Bo Dai and Xiaokang Yang
• Abstract要約: 本論文は,2次元画像の中間表現として,2次元領域と3次元領域を3次元フィールドで橋渡しする3次元GANの成功に着想を得たものである。 本稿では,3次元ポートレートスタイリングのための3次元認識型GANをベースとしたHyperStyle3Dという新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 101.36230756743106
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Portrait stylization is a long-standing task enabling extensive applications. Although 2D-based methods have made great progress in recent years, real-world applications such as metaverse and games often demand 3D content. On the other hand, the requirement of 3D data, which is costly to acquire, significantly impedes the development of 3D portrait stylization methods. In this paper, inspired by the success of 3D-aware GANs that bridge 2D and 3D domains with 3D fields as the intermediate representation for rendering 2D images, we propose a novel method, dubbed HyperStyle3D, based on 3D-aware GANs for 3D portrait stylization. At the core of our method is a hyper-network learned to manipulate the parameters of the generator in a single forward pass. It not only offers a strong capacity to handle multiple styles with a single model, but also enables flexible fine-grained stylization that affects only texture, shape, or local part of the portrait. While the use of 3D-aware GANs bypasses the requirement of 3D data, we further alleviate the necessity of style images with the CLIP model being the stylization guidance. We conduct an extensive set of experiments across the style, attribute, and shape, and meanwhile, measure the 3D consistency. These experiments demonstrate the superior capability of our HyperStyle3D model in rendering 3D-consistent images in diverse styles, deforming the face shape, and editing various attributes.
• Abstract（参考訳）: ポートレートのスタイリゼーションは、幅広いアプリケーションを可能にする長期にわたるタスクである。 2Dベースの手法は近年大きな進歩を遂げているが、メタバースやゲームのような現実世界の応用では3Dコンテンツが要求されることが多い。 一方,取得にコストがかかる3次元データの要求は,3次元ポートレートスタイリング手法の開発を著しく阻害する。 本稿では,3d画像の中間表現として,3dフィールドと3dドメインを橋渡しする3d認識gansの成功に触発されて,3d認識gansを用いた3dポートレートスタイライゼーション手法であるhyperstyle3dを提案する。 提案手法の核心は,1回のフォワードパスで生成器のパラメータを操作することを学ぶハイパーネットワークである。 単一のモデルで複数のスタイルを扱うための強力な能力を提供するだけでなく、彫刻のテクスチャ、形状、ローカル部分だけに影響を及ぼす柔軟なきめ細かなスタイリングを可能にする。 3D 対応 GAN の使用は 3D データの要求を回避しているが,CLIP モデルによるスタイル画像の必要性をさらに緩和する。 我々は,スタイル,属性,形状の広範な実験を行い,その一方で3次元の一貫性を計測した。 これらの実験は、3D一貫性のある画像を様々なスタイルでレンダリングし、顔の形を変形させ、様々な属性を編集するHyperStyle3Dモデルの優れた能力を実証している。

関連論文リスト

• Diff3DS: Generating View-Consistent 3D Sketch via Differentiable Curve Rendering [17.918603435615335]
  3Dスケッチは、オブジェクトやシーンの3D形状と構造を視覚的に表現するために広く使用されている。 Diff3DSは、ビュー一貫性のある3Dスケッチを生成するための、新しい差別化可能なフレームワークである。 我々のフレームワークは3Dスケッチとカスタマイズされた画像のドメインをブリッジし、3Dスケッチのエンドツーエンド最適化を実現する。
  論文  参考訳（メタデータ） (2024-05-24T07:48:14Z)
• Sherpa3D: Boosting High-Fidelity Text-to-3D Generation via Coarse 3D Prior [52.44678180286886]
  2次元拡散モデルでは、3次元データなしで優れた一般化と豊富な詳細を実現する蒸留手法が見つかる。 提案するSherpa3Dは,高忠実度,一般化性,幾何整合性を同時に実現する新しいテキスト・ツー・3Dフレームワークである。
  論文  参考訳（メタデータ） (2023-12-11T18:59:18Z)
• 3DStyle-Diffusion: Pursuing Fine-grained Text-driven 3D Stylization with 2D Diffusion Models [102.75875255071246]
  テキスト駆動型スタイリングによる3Dコンテンツ作成は、マルチメディアとグラフィックコミュニティにとって根本的な課題となっている。 2次元拡散モデルから制御可能な外観と幾何学的ガイダンスを付加した3次元メッシュのきめ細かいスタイリングをトリガーする新しい3DStyle-Diffusionモデルを提案する。
  論文  参考訳（メタデータ） (2023-11-09T15:51:27Z)
• Freestyle 3D-Aware Portrait Synthesis Based on Compositional Generative Priors [12.663585627797863]
  テキスト駆動型3D画像合成フレームワークを提案する。 具体的には、ポートレートスタイルのプロンプトに対して、3D対応のGANジェネレータとテキストガイド画像エディタを合成する。 そして、このセットの特殊スタイル領域を提案した3D潜在特徴生成器にマッピングし、与えられたスタイル情報を含む3D表現を得る。
  論文  参考訳（メタデータ） (2023-06-27T12:23:04Z)
• AG3D: Learning to Generate 3D Avatars from 2D Image Collections [96.28021214088746]
  本稿では,2次元画像から現実的な3次元人物の新たな逆生成モデルを提案する。 本手法は, 全身型3Dジェネレータを用いて, 体の形状と変形を捉える。 提案手法は, 従来の3次元・調音認識手法よりも幾何的, 外観的に優れていた。
  論文  参考訳（メタデータ） (2023-05-03T17:56:24Z)
• AgileGAN3D: Few-Shot 3D Portrait Stylization by Augmented Transfer Learning [80.67196184480754]
  本稿では,3次元芸術的に魅力的な肖像画を詳細な幾何学で作成できる新しいフレームワークであるemphAgileGAN3Dを提案する。 新しいスタイリゼーションは、わずか (約20) の未完成の2D例で得られる。 われわれのパイプラインは、ユーザの写真を多様な3Dアートのポートレートに変える強力な能力を示している。
  論文  参考訳（メタデータ） (2023-03-24T23:04:20Z)
• XDGAN: Multi-Modal 3D Shape Generation in 2D Space [60.46777591995821]
  本稿では,3次元形状をコンパクトな1チャネル幾何画像に変換し,StyleGAN3と画像間翻訳ネットワークを利用して2次元空間で3次元オブジェクトを生成する手法を提案する。 生成された幾何学画像は素早く3Dメッシュに変換し、リアルタイムな3Dオブジェクト合成、可視化、インタラクティブな編集を可能にする。 近年の3次元生成モデルと比較して,より高速かつ柔軟な3次元形状生成,単一ビュー再構成,形状操作などの様々なタスクにおいて,本手法が有効であることを示す。
  論文  参考訳（メタデータ） (2022-10-06T15:54:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。