論文の概要: Identity Preserving 3D Head Stylization with Multiview Score Distillation

• arxiv url: http://arxiv.org/abs/2411.13536v1
• Date: Wed, 20 Nov 2024 18:37:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-21 16:13:31.299072
• Title: Identity Preserving 3D Head Stylization with Multiview Score Distillation
• Title（参考訳）: マルチビュースコア蒸留による3次元頭部スティル化の保存
• Authors: Bahri Batuhan Bilecen, Ahmet Berke Gokmen, Furkan Guzelant, Aysegul Dundar,
• Abstract要約: 3Dヘッドスタイリングは、リアルな顔の特徴を芸術的な表現に変換し、ゲームやバーチャルリアリティーアプリケーションにおけるユーザーのエンゲージメントを高める。 本稿では,PanoHeadモデルを活用することで,360度の総合的な視点から画像を合成することで,これらの課題に対処する。 本稿では, 否定対数類似蒸留(LD)を利用した新しい枠組みを提案し, アイデンティティの保存とスタイリゼーション品質の向上を図る。
• 参考スコア（独自算出の注目度）: 7.8340104876025105
• License:
• Abstract: 3D head stylization transforms realistic facial features into artistic representations, enhancing user engagement across gaming and virtual reality applications. While 3D-aware generators have made significant advancements, many 3D stylization methods primarily provide near-frontal views and struggle to preserve the unique identities of original subjects, often resulting in outputs that lack diversity and individuality. This paper addresses these challenges by leveraging the PanoHead model, synthesizing images from a comprehensive 360-degree perspective. We propose a novel framework that employs negative log-likelihood distillation (LD) to enhance identity preservation and improve stylization quality. By integrating multi-view grid score and mirror gradients within the 3D GAN architecture and introducing a score rank weighing technique, our approach achieves substantial qualitative and quantitative improvements. Our findings not only advance the state of 3D head stylization but also provide valuable insights into effective distillation processes between diffusion models and GANs, focusing on the critical issue of identity preservation. Please visit the https://three-bee.github.io/head_stylization for more visuals.
• Abstract（参考訳）: 3Dヘッドスタイリングは、リアルな顔の特徴を芸術的な表現に変換し、ゲームやバーチャルリアリティーアプリケーションにおけるユーザーのエンゲージメントを高める。 3D対応ジェネレータは大きな進歩を遂げてきたが、多くの3Dスタイリング手法は、主に正面に近い視点を提供し、元の被験者のユニークなアイデンティティを維持するのに苦労し、しばしば多様性と個性に欠ける出力をもたらす。 本稿では,PanoHeadモデルを利用して,360度画像の総合的な合成を行うことにより,これらの課題に対処する。 本稿では, 否定対数類似蒸留(LD)を利用した新しい枠組みを提案し, アイデンティティの保存とスタイリゼーション品質の向上を図る。 マルチビューグリッドスコアとミラー勾配を3D GANアーキテクチャに統合し,スコアランク測定手法を導入することにより,本手法は質的かつ定量的な改善を実現する。 本研究は, 3次元頭部スタイリゼーションの進展だけでなく, 拡散モデルとGAN間の有効蒸留プロセスの解明にも寄与し, アイデンティティ保存の重要課題に焦点をあてた。 詳しくはhttps://three-bee.github.io/head_stylizationを参照してください。

関連論文リスト

• Zero-to-Hero: Enhancing Zero-Shot Novel View Synthesis via Attention Map Filtering [16.382098950820822]
  我々は、注目マップを操作することでビュー合成を強化する新しいテストタイムアプローチであるZero-to-Heroを提案する。 我々は、ソースビューからの情報を統合するために自己認識機構を変更し、形状歪みを低減する。 結果は、分散オブジェクトの多様なセットで検証された、忠実性と一貫性の大幅な改善を示す。
  論文  参考訳（メタデータ） (2024-05-29T00:58:22Z)
• ID-to-3D: Expressive ID-guided 3D Heads via Score Distillation Sampling [96.87575334960258]
  ID-to-3D(ID-to-3D)は、不整合表現を用いたIDとテキスト誘導型3次元頭部を生成する方法である。 前例のないアイデンティティ一貫性と高品質なテクスチャと幾何生成を実現する。
  論文  参考訳（メタデータ） (2024-05-26T13:36:45Z)
• Make-Your-3D: Fast and Consistent Subject-Driven 3D Content Generation [12.693847842218604]
  5分以内に高忠実で一貫した3Dコンテンツをパーソナライズできる新しい3Dカスタマイズ手法「Make-Your-3D」を導入する。 我々の重要な洞察は、多視点拡散モデルとアイデンティティ特異的な2次元生成モデルの分布を調和させ、所望の3次元対象の分布と整合させることである。 提案手法は,高画質で一貫した,かつ主観的な3Dコンテンツを生成することができる。
  論文  参考訳（メタデータ） (2024-03-14T17:57:04Z)
• CharNeRF: 3D Character Generation from Concept Art [3.8061090528695543]
  本稿では,一貫したターンアラウンドコンセプトアートから3次元文字の体積表現を作成する新しい手法を提案する。 学習可能なビュー指向のマルチヘッド自己アテンション層を通じて,これらの3Dポイントの事前情報を利用するようにネットワークをトレーニングする。 我々のモデルは、高品質な360度キャラクタビューを生成することができる。
  論文  参考訳（メタデータ） (2024-02-27T01:22:08Z)
• UltrAvatar: A Realistic Animatable 3D Avatar Diffusion Model with Authenticity Guided Textures [80.047065473698]
  幾何学の忠実度を高めたUltrAvatarと呼ばれる新しい3次元アバター生成手法を提案し,光を必要とせずに物理ベースレンダリング(PBR)テクスチャの質を向上する。 提案手法の有効性とロバスト性を実証し,実験において最先端の手法よりも高い性能を示した。
  論文  参考訳（メタデータ） (2024-01-20T01:55:17Z)
• GPAvatar: Generalizable and Precise Head Avatar from Image(s) [71.555405205039]
  GPAvatarは、1つの前方パスで1つまたは複数の画像から3Dヘッドアバターを再構築するフレームワークである。 提案手法は,忠実なアイデンティティ再構築,正確な表現制御,多視点一貫性を実現する。
  論文  参考訳（メタデータ） (2024-01-18T18:56:34Z)
• IT3D: Improved Text-to-3D Generation with Explicit View Synthesis [71.68595192524843]
  本研究では、これらの問題に対処するために、明示的に合成されたマルチビュー画像を活用する新しい戦略を提案する。 我々のアプローチは、高画質画像を生成するために、LCDによって強化されたイメージ・ツー・イメージ・パイプラインを活用することである。 組込み判別器では、合成したマルチビュー画像は実データと見なされ、最適化された3Dモデルのレンダリングは偽データとして機能する。
  論文  参考訳（メタデータ） (2023-08-22T14:39:17Z)
• Generalizable One-shot Neural Head Avatar [90.50492165284724]
  本研究では,1枚の画像から3次元頭部アバターを再構成し,アニメイトする手法を提案する。 本研究では,一視点画像に基づく識別不能な人物を一般化するだけでなく,顔領域内外における特徴的詳細を捉えるフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-14T22:33:09Z)
• High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
  フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。 提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
  論文  参考訳（メタデータ） (2022-11-28T18:59:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。