論文の概要: SketchFaceGS: Real-Time Sketch-Driven Face Editing and Generation with Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2604.19202v1
• Date: Tue, 21 Apr 2026 08:09:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-22 22:41:49.680073
• Title: SketchFaceGS: Real-Time Sketch-Driven Face Editing and Generation with Gaussian Splatting
• Title（参考訳）: SketchFaceGS: ガウススプレイティングによるリアルタイムのスケッチ駆動顔編集と生成
• Authors: Bo Li, Jiahao Kang, Yubo Ma, Feng-Lin Liu, Bin Liu, Fang-Lue Zhang, Lin Gao,
• Abstract要約: SketchFaceGSは、2Dスケッチから3Dガウスヘッドモデルのリアルタイム生成と編集を行うスケッチ駆動フレームワークである。 UV Mask Fusion技術とレイヤ・バイ・レイヤ・フィーチャー・フュージョン・ストラテジーを組み合わせることで、正確なリアルタイム・自由視点修正が可能となる。 実験によると、SketchFaceGSは、生成の忠実さと編集の柔軟性の両方において、既存のメソッドよりも優れています。
• 参考スコア（独自算出の注目度）: 39.956883930526416
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: 3D Gaussian representations have emerged as a powerful paradigm for digital head modeling, achieving photorealistic quality with real-time rendering. However, intuitive and interactive creation or editing of 3D Gaussian head models remains challenging. Although 2D sketches provide an ideal interaction modality for fast, intuitive conceptual design, they are sparse, depth-ambiguous, and lack high-frequency appearance cues, making it difficult to infer dense, geometrically consistent 3D Gaussian structures from strokes - especially under real-time constraints. To address these challenges, we propose SketchFaceGS, the first sketch-driven framework for real-time generation and editing of photorealistic 3D Gaussian head models from 2D sketches. Our method uses a feed-forward, coarse-to-fine architecture. A Transformer-based UV feature-prediction module first reconstructs a coarse but geometrically consistent UV feature map from the input sketch, and then a 3D UV feature enhancement module refines it with high-frequency, photorealistic detail to produce a high-fidelity 3D head. For editing, we introduce a UV Mask Fusion technique combined with a layer-by-layer feature-fusion strategy, enabling precise, real-time, free-viewpoint modifications. Extensive experiments show that SketchFaceGS outperforms existing methods in both generation fidelity and editing flexibility, producing high-quality, editable 3D heads from sketches in a single forward pass.
• Abstract（参考訳）: 3Dガウス表現はデジタルヘッドモデリングの強力なパラダイムとして登場し、リアルタイムレンダリングによるフォトリアリスティックな品質を実現している。 しかし、3Dガウスヘッドモデルの直感的でインタラクティブな作成や編集は依然として困難である。 2Dスケッチは、高速で直感的な概念設計のための理想的な相互作用のモダリティを提供するが、それらは疎く、深さがあいまいで、高周波な外観の手がかりがないため、特にリアルタイムな制約の下で、ストロークから密度が高く幾何学的に整合した3Dガウス構造を推測することは困難である。 これらの課題に対処するため、SketchFaceGSは、2Dスケッチからフォトリアリスティックな3Dガウスヘッドモデルのリアルタイム生成と編集を行う最初のスケッチ駆動フレームワークである。 提案手法では, フィードフォワード, 粗大なアーキテクチャを用いる。 トランスフォーマーベースのUV特徴予測モジュールは、まず入力スケッチから粗いが幾何的に整合なUV特徴マップを再構成し、次いで、3DUV特徴拡張モジュールは、高周波で光写実的なディテールでそれを洗練し、高忠実度3Dヘッドを生成する。 編集にあたっては,UV Mask Fusion技術と層間機能融合戦略を組み合わせることで,正確なリアルタイム・自由視点修正を実現する。 大規模な実験により、SketchFaceGSは、生成の忠実さと編集の柔軟性の両方において既存の方法よりも優れており、単一の前方パスでスケッチから高品質で編集可能な3Dヘッドを生成する。

関連論文リスト

• PercHead: Perceptual Head Model for Single-Image 3D Head Reconstruction & Editing [51.56943889042673]
  PercHeadは、シングルイメージの3Dヘッド再構成とセマンティック3D編集のための方法である。 単一の入力画像からビュー一貫性を持つ3Dヘッドを再構成するための統一ベースモデルを開発する。 軽量でインタラクティブなGUIを通して、直感的で強力な3D編集機能を強調します。
  論文  参考訳（メタデータ） (2025-11-04T17:59:15Z)
• SVG-Head: Hybrid Surface-Volumetric Gaussians for High-Fidelity Head Reconstruction and Real-Time Editing [26.400512371742096]
  Surface-Volumetric Gaussian Head Avatar (SVG-Head) は、FLAMEメッシュ上に有界な3Dガウスの幾何学を明示的にモデル化する新しいハイブリッド表現である。 3次元世界とテクスチャ空間の対応性をモデル化するため,メッシュ対応ガウスUVマッピング法を提案する。 NeRSembleデータセットの実験では、SVG-Headは高忠実なレンダリング結果を生成するだけでなく、ガウスの頭アバターの明示的なテクスチャ画像を得るための最初の方法でもある。
  論文  参考訳（メタデータ） (2025-08-13T08:27:55Z)
• From Gallery to Wrist: Realistic 3D Bracelet Insertion in Videos [8.444819892052958]
  2次元拡散モデルは、フォトリアリスティックな編集を作成することを約束している。 従来の3Dレンダリング手法は空間的・時間的整合性が優れているが、フォトリアリスティック照明を実現するには不十分である。 これは、ビデオオブジェクト挿入のための3次元レンダリングと2次元拡散を相乗化するための最初のアプローチである。
  論文  参考訳（メタデータ） (2025-07-27T15:49:07Z)
• Generating Editable Head Avatars with 3D Gaussian GANs [57.51487984425395]
  従来の3D-Aware Generative Adversarial Network (GAN) は、フォトリアリスティックでビューに一貫性のある3Dヘッド合成を実現する。 本稿では,3次元ガウススプラッティング(3DGS)を明示的な3次元表現として取り入れることで,3次元ヘッドアバターの編集性とアニメーション制御を向上する手法を提案する。 提案手法は,最先端の制御性を備えた高品質な3D認識合成を実現する。
  論文  参考訳（メタデータ） (2024-12-26T10:10:03Z)
• Sketch3D: Style-Consistent Guidance for Sketch-to-3D Generation [55.73399465968594]
  本稿では,テキスト記述と一致する色と入力スケッチに整合した形状のリアルな3Dアセットを生成するための,新しい生成パラダイムSketch3Dを提案する。 3つの戦略は、3次元ガウスの最適化、すなわち分布伝達機構による構造最適化、直感的なMSE損失による色最適化、CLIPに基づく幾何学的類似性損失によるスケッチ類似性最適化である。
  論文  参考訳（メタデータ） (2024-04-02T11:03:24Z)
• Hybrid Explicit Representation for Ultra-Realistic Head Avatars [55.829497543262214]
  我々は,超現実的な頭部アバターを作成し,それをリアルタイムにレンダリングする新しい手法を提案する。 UVマップされた3Dメッシュは滑らかな表面のシャープでリッチなテクスチャを捉えるのに使われ、3Dガウス格子は複雑な幾何学構造を表現するために用いられる。 モデル化された結果が最先端のアプローチを上回る実験を行ないました。
  論文  参考訳（メタデータ） (2024-03-18T04:01:26Z)
• Designing a 3D-Aware StyleNeRF Encoder for Face Editing [15.303426697795143]
  本稿では,強力なStyleNeRFモデルに基づくGANインバージョンと顔編集のための3D対応エンコーダを提案する。 提案する3Daエンコーダは、パラメトリックな3次元顔モデルと学習可能な詳細表現モデルを組み合わせて、幾何学、テクスチャ、ビュー方向コードを生成する。
  論文  参考訳（メタデータ） (2023-02-19T03:32:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。