論文の概要: SemFaceEdit: Semantic Face Editing on Generative Radiance Manifolds
- arxiv url: http://arxiv.org/abs/2506.22833v1
- Date: Sat, 28 Jun 2025 10:29:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-01 21:27:53.593332
- Title: SemFaceEdit: Semantic Face Editing on Generative Radiance Manifolds
- Title(参考訳): SemFaceEdit: ジェネレーティブ・ラジアンス・マニフォールドのセマンティック・フェイス編集
- Authors: Shashikant Verma, Shanmuganathan Raman,
- Abstract要約: この研究は、外観と幾何学的編集プロセスを合理化する新しい方法であるSemFaceEditを導入している。
提案手法は,生成画像内の異なる顔のセマンティクスに関連する幾何学的特徴と外観を効果的に分離する。
本実験では,セマンティックフィールドベースの編集におけるSemFaceEditの優れた性能を強調した。
- 参考スコア(独自算出の注目度): 18.630868148375317
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite multiple view consistency offered by 3D-aware GAN techniques, the resulting images often lack the capacity for localized editing. In response, generative radiance manifolds emerge as an efficient approach for constrained point sampling within volumes, effectively reducing computational demands and enabling the learning of fine details. This work introduces SemFaceEdit, a novel method that streamlines the appearance and geometric editing process by generating semantic fields on generative radiance manifolds. Utilizing latent codes, our method effectively disentangles the geometry and appearance associated with different facial semantics within the generated image. In contrast to existing methods that can change the appearance of the entire radiance field, our method enables the precise editing of particular facial semantics while preserving the integrity of other regions. Our network comprises two key modules: the Geometry module, which generates semantic radiance and occupancy fields, and the Appearance module, which is responsible for predicting RGB radiance. We jointly train both modules in adversarial settings to learn semantic-aware geometry and appearance descriptors. The appearance descriptors are then conditioned on their respective semantic latent codes by the Appearance Module, facilitating disentanglement and enhanced control. Our experiments highlight SemFaceEdit's superior performance in semantic field-based editing, particularly in achieving improved radiance field disentanglement.
- Abstract(参考訳): 3D対応のGAN技術によって提供された複数のビュー一貫性にもかかわらず、結果として得られる画像はローカライズされた編集能力に欠けることが多い。
これに対し、生成放射多様体は、ボリューム内の制約点サンプリングの効率的なアプローチとして登場し、計算要求を効果的に低減し、詳細の学習を可能にする。
本研究は,生成放射多様体のセマンティックフィールドを生成することによって,外観と幾何学的編集プロセスを効率化するSemFaceEditを紹介する。
提案手法は,潜在符号を用いて,生成した画像内の異なる顔のセマンティクスに関連する幾何学的特徴と外観を効果的に切り離す。
放射界全体の外観を変える既存の手法とは対照的に,他の領域の整合性を保ちながら,特定の顔のセマンティクスを正確に編集することが可能である。
ネットワークは, セマンティックラディアンスと占有場を生成するジオメトリモジュールと, RGBラディアンスを予測するアジェランスモジュールの2つの重要なモジュールから構成される。
両モジュールを相反する設定で共同でトレーニングし、セマンティック・アウェア・ジオメトリと外観記述子を学ぶ。
次に、外見記述子は、外見モジュールによって各セマンティック潜伏コードに条件付けされ、絡み合いと制御の強化が促進される。
本実験では,セマンティックフィールドに基づく編集におけるSemFaceEditの優れた性能,特にラディアンスフィールドのゆがみの改善について紹介した。
関連論文リスト
- Geometry-Editable and Appearance-Preserving Object Compositon [67.98806888489385]
汎用オブジェクト合成(GOC)は、対象オブジェクトを望まれる幾何学的性質を持つ背景シーンにシームレスに統合することを目的としている。
近年のアプローチは意味的埋め込みを導出し、それらを高度な拡散モデルに統合し、幾何学的に編集可能な生成を可能にする。
本稿では,まずセマンティックな埋め込みを活用して,所望の幾何学的変換を暗黙的にキャプチャするDistangled Geometry-editable and Outearance-Preserving Diffusionモデルを提案する。
論文 参考訳(メタデータ) (2025-05-27T09:05:28Z) - SplatMesh: Interactive 3D Segmentation and Editing Using Mesh-Based Gaussian Splatting [86.50200613220674]
3Dベースのインタラクティブ編集における重要な課題は、与えられたメモリ制約の下で様々な修正と高品質なビュー合成のバランスをとる効率的な表現がないことである。
SplatMeshは,3次元ガウススプラッティングと事前計算メッシュを統合した,対話型3Dセグメンテーション・編集アルゴリズムである。
単純化されたメッシュのセグメンテーションと編集により、ガウススプレートの編集も効果的に行えます。
論文 参考訳(メタデータ) (2023-12-26T02:50:42Z) - Parameterization-driven Neural Surface Reconstruction for Object-oriented Editing in Neural Rendering [35.69582529609475]
本稿では,ニューラル暗黙表面を球面やポリキューブのような単純なパラメトリック領域にパラメータ化するための新しいニューラルアルゴリズムを提案する。
オブジェクトのゼロレベルセットからの前方マッピングと後方マッピングのための逆変形を用いて、オブジェクトとドメイン間の双方向の変形を計算する。
本手法の有効性を人間の頭部と人工物の画像に示す。
論文 参考訳(メタデータ) (2023-10-09T08:42:40Z) - Neural Impostor: Editing Neural Radiance Fields with Explicit Shape
Manipulation [49.852533321916844]
マルチグリッドの暗黙の場とともに、明示的な四面体メッシュを組み込んだハイブリッド表現であるNeural Impostorを導入する。
我々のフレームワークは、多グリッドのバリ中心座標符号化を利用して、暗黙のフィールドの明示的な形状操作と幾何的編集を橋渡しする。
合成オブジェクトと実際のキャプチャデータの両方を編集するなど、多様な例や実験を通して、システムの堅牢性と適応性を示す。
論文 参考訳(メタデータ) (2023-10-09T04:07:00Z) - Spatial Steerability of GANs via Self-Supervision from Discriminator [123.27117057804732]
本稿では,GANの空間的ステアビリティを向上させるための自己教師型アプローチを提案する。
具体的には、空間帰納バイアスとして生成モデルの中間層に符号化されるランダムなガウス熱マップを設計する。
推論中、ユーザは直感的に空間のヒートマップと対話し、シーンのレイアウトを調整したり、移動したり、オブジェクトを削除したりすることで、出力画像を編集することができる。
論文 参考訳(メタデータ) (2023-01-20T07:36:29Z) - PaletteNeRF: Palette-based Appearance Editing of Neural Radiance Fields [60.66412075837952]
本稿では,3次元色分解に基づくニューラルラジアンスフィールド(NeRF)の出現編集手法であるPaletteNeRFを提案する。
提案手法は,各3次元点の出現を,パレットベースによる線形結合に分解する。
我々は、セマンティック・アウェアな外観編集のためのセマンティック機能を圧縮したフレームワークを拡張した。
論文 参考訳(メタデータ) (2022-12-21T00:20:01Z) - NeRFFaceEditing: Disentangled Face Editing in Neural Radiance Fields [40.543998582101146]
ニューラル放射場における幾何と外観の編集とデカップリングを可能にするNeRFFaceEditingを導入する。
提案手法では,ユーザが幾何学と外観の分離した制御を施したセマンティックマスクによる編集が可能となる。
定性的かつ定量的な評価は,既存の解や代替解と比較して,本手法の幾何学的・外見的制御能力に優れていることを示す。
論文 参考訳(メタデータ) (2022-11-15T08:11:39Z) - Editing Conditional Radiance Fields [40.685602081728554]
ニューラルラジアンスフィールド(NeRF)は、シーンごとに最適化された高品質のビュー合成をサポートするシーンモデルです。
本稿では,形状カテゴリで学習したカテゴリレベルのnrfのユーザ編集を可能にすることを検討する。
局所領域の色や形状を変更するために,粗い2次元ユーザスクリブルを3次元空間に伝播させる手法を提案する。
論文 参考訳(メタデータ) (2021-05-13T17:59:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。