論文の概要: ToonifyGB: StyleGAN-based Gaussian Blendshapes for 3D Stylized Head Avatars

• arxiv url: http://arxiv.org/abs/2505.10072v1
• Date: Thu, 15 May 2025 08:16:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-16 22:29:06.239766
• Title: ToonifyGB: StyleGAN-based Gaussian Blendshapes for 3D Stylized Head Avatars
• Title（参考訳）: ToonifyGB:StyleGANベースの3Dスタイリングヘッドアバター用ガウスレンズ
• Authors: Rui-Yang Ju, Sheng-Yen Huang, Yi-Ping Hung,
• Abstract要約: StyleGANベースのフレームワークであるToonifyは、顔画像のスタイリングに広く使われている。 そこで我々は,Toonifyを多種多様な3Dヘッドアバターに拡張するための効率的な2段階フレームワークToonifyGBを提案する。
• 参考スコア（独自算出の注目度）: 0.916825397273032
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The introduction of 3D Gaussian blendshapes has enabled the real-time reconstruction of animatable head avatars from monocular video. Toonify, a StyleGAN-based framework, has become widely used for facial image stylization. To extend Toonify for synthesizing diverse stylized 3D head avatars using Gaussian blendshapes, we propose an efficient two-stage framework, ToonifyGB. In Stage 1 (stylized video generation), we employ an improved StyleGAN to generate the stylized video from the input video frames, which addresses the limitation of cropping aligned faces at a fixed resolution as preprocessing for normal StyleGAN. This process provides a more stable video, which enables Gaussian blendshapes to better capture the high-frequency details of the video frames, and efficiently generate high-quality animation in the next stage. In Stage 2 (Gaussian blendshapes synthesis), we learn a stylized neutral head model and a set of expression blendshapes from the generated video. By combining the neutral head model with expression blendshapes, ToonifyGB can efficiently render stylized avatars with arbitrary expressions. We validate the effectiveness of ToonifyGB on the benchmark dataset using two styles: Arcane and Pixar.
• Abstract（参考訳）: 3D Gaussian blendshapesの導入により、モノクロビデオからアニマタブルヘッドアバターのリアルタイム再構成が可能になった。 StyleGANベースのフレームワークであるToonifyは、顔画像のスタイリングに広く使われている。 Toonifyを多種多様な3次元頭部アバターをガウスアンブレンドサップで合成するために,ToonifyGBという効率的な2段階フレームワークを提案する。 ステージ1では、改良されたStyleGANを使用して、入力されたビデオフレームからスタイリングされたビデオを生成し、通常のStyleGANのプリプロセッシングとして、一定の解像度で整列顔のトリミングの制限に対処する。 このプロセスにより、より安定したビデオが提供され、ガウスのブレンドサップがビデオフレームの高周波の詳細をよりよく捉え、次の段階で高品質のアニメーションを効率よく生成できる。 ステージ2(ガウシアンブレンドサップス合成)では,生成したビデオから,スタイル化された中性頭部モデルと一連の表現ブレンドサップを学習する。 ニュートラルヘッドモデルと表現ブレンドサップを組み合わせることで、ToonifyGBは任意の表現でスタイリングされたアバターを効率的にレンダリングすることができる。 ベンチマークデータセット上でのToonifyGBの有効性を、ArcaneとPixarの2つのスタイルを用いて検証する。

関連論文リスト

• Arc2Avatar: Generating Expressive 3D Avatars from a Single Image via ID Guidance [69.9745497000557]
  本稿では,人間の顔の基盤モデルを用いた最初のSDSベースの手法であるArc2Avatarについて述べる。 我々のアバターは人間の顔メッシュテンプレートとの密接な対応を維持しており、ブレンドシェープによる表現生成を可能にしている。
  論文  参考訳（メタデータ） (2025-01-09T17:04:33Z)
• Generating Editable Head Avatars with 3D Gaussian GANs [57.51487984425395]
  従来の3D-Aware Generative Adversarial Network (GAN) は、フォトリアリスティックでビューに一貫性のある3Dヘッド合成を実現する。 本稿では,3次元ガウススプラッティング(3DGS)を明示的な3次元表現として取り入れることで,3次元ヘッドアバターの編集性とアニメーション制御を向上する手法を提案する。 提案手法は,最先端の制御性を備えた高品質な3D認識合成を実現する。
  論文  参考訳（メタデータ） (2024-12-26T10:10:03Z)
• 3D Gaussian Blendshapes for Head Avatar Animation [31.488663463060416]
  フォトリアリスティックヘッドアバターをモデル化するための3次元ガウス混合モデルを提案する。 任意の表現のアバターモデルは、中立モデルと表現が混在することで効果的に生成することができる。 高忠実度頭部アバターアニメーションはガウススプラッティングを用いてリアルタイムで合成できる。
  論文  参考訳（メタデータ） (2024-04-30T09:45:41Z)
• Hybrid Explicit Representation for Ultra-Realistic Head Avatars [55.829497543262214]
  我々は,超現実的な頭部アバターを作成し,それをリアルタイムにレンダリングする新しい手法を提案する。 UVマップされた3Dメッシュは滑らかな表面のシャープでリッチなテクスチャを捉えるのに使われ、3Dガウス格子は複雑な幾何学構造を表現するために用いられる。 モデル化された結果が最先端のアプローチを上回る実験を行ないました。
  論文  参考訳（メタデータ） (2024-03-18T04:01:26Z)
• StyleGaussian: Instant 3D Style Transfer with Gaussian Splatting [141.05924680451804]
  StyleGaussianは、新しい3Dスタイル転送技術である。 任意の画像のスタイルを毎秒10フレームの3Dシーンに即時転送できる(fps)。
  論文  参考訳（メタデータ） (2024-03-12T16:44:52Z)
• SplattingAvatar: Realistic Real-Time Human Avatars with Mesh-Embedded Gaussian Splatting [26.849406891462557]
  トライアングルメッシュ上に埋め込まれたガウススプラッティングと人間のアバターのハイブリッド3次元表現であるSplattingAvatarについて述べる。 SplattingAvatarは、最新のGPUで300FPS以上、モバイルデバイスで30FPS以上をレンダリングする。
  論文  参考訳（メタデータ） (2024-03-08T06:28:09Z)
• Learning Naturally Aggregated Appearance for Efficient 3D Editing [90.57414218888536]
  カラーフィールドは、標準画像(canonical image)とも呼ばれる、明示的な2次元の外観アグリゲーションとして学習する。 テクスチャクエリのために3Dポイントを2Dピクセルにマッピングする投影場を標準画像に補完する。 提案手法は,既存のNeRFベースの編集手法に比べて,編集1回あたり20倍高速であることを示す。
  論文  参考訳（メタデータ） (2023-12-11T18:59:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。