論文の概要: Relightable 3D Avatar Reconstruction with Semantic-Adaptive Motion-Illumination Responses

• arxiv url: http://arxiv.org/abs/2609.24158v1
• Date: Mon, 21 Sep 2026 06:18:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:01.104041
• Title: Relightable 3D Avatar Reconstruction with Semantic-Adaptive Motion-Illumination Responses
• Title（参考訳）: セマンティック・アダプティブ・モーション・イルミネーション反応を用いた3次元アバター再構成
• Abstract要約: 本稿では,セマンティック・アダプティブ・モーション・イルミネーション・レスポンス・モデリングのための3次元ガウスフレームワークSAMIRAを提案する。 イルミネーション応答モデリングにおいて、SAMIRAは各顔領域に対して、コンパクトな拡散と特異な応答因子を学習する。 自己再現性, クロス再現性, リライティング実験により, SAMIRAは既存の方法よりも微細な表現再構成とリライティングリアリズムの両方を改善していることが示された。
• 参考スコア（独自算出の注目度）: 19.094805327588194
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Reconstructing expressive and relightable 3D head avatars from monocular videos remains challenging in computer vision, as it requires accurate modeling of both non-rigid facial motion and illumination-dependent appearance. Existing Gaussian avatar methods commonly rely on globally coupled representations, in which Gaussian primitives share a unified motion or illumination response model. Such uniform modeling neglects the distinct motion patterns and material/reflectance properties of different facial semantic regions, thereby limiting fine-grained animation accuracy and reducing relighting plausibility. To address this limitation, we propose SAMIRA, a 3D Gaussian avatar framework for semantic-adaptive motion-illumination response modeling. For motion response modeling, the Semantic-Adaptive Motion Response module rasterizes current-to-reference mesh displacements into a topology-consistent UV space and leverages facial semantics to route displacement features through semantic-specific modulators, predicting localized Gaussian geometric residuals beyond coarse mesh binding. For illumination response modeling, the Semantic-Adaptive Illumination Response module learns compact diffuse and specular response factors for each facial region, allowing Gaussians in different regions to adapt their illumination responses to novel environment lighting. These response factors are incorporated into deferred physically based shading, providing a lightweight approximation of semantic-dependent illumination effects. Extensive experiments on self-reenactment, cross-reenactment, and relighting demonstrate that SAMIRA improves both fine-grained expression reconstruction and relighting realism over existing methods.
• Abstract（参考訳）: 非剛性な顔の動きと照明に依存しない外観の両方の正確なモデリングを必要とするため、単眼ビデオから表現力のある3Dヘッドアバターを再構築することは、コンピュータビジョンでは依然として困難である。 既存のガウスのアバター法は、一般的にグローバルに結合した表現に依存しており、ガウスの原始体は統一運動や照明応答モデルを共有する。 このような均一なモデリングは、異なる顔のセマンティック領域の異なる動きパターンや物質/反射特性を無視し、微粒なアニメーションの精度を制限し、ライティングの可視性を低下させる。 この制限に対処するため,セマンティック・アダプティブ・モーション・イルミネーション・レスポンス・モデリングのための3次元ガウスアバターフレームワークSAMIRAを提案する。 動作応答モデリングでは、セマンティック・アダプティブ・モーション・レスポンス・モジュールが、トポロジに一貫性のあるUV空間への現在の参照メッシュ変位をラスタライズし、顔のセマンティクスを利用して、セマンティック特異的な変調器を通して変位特徴をルーティングし、粗いメッシュ結合を超えた局所的なガウス幾何学的残差を予測する。 照明応答モデリングでは、Semantic-Adaptive Illumination Responseモジュールは、各顔領域のコンパクトな拡散と特異な応答係数を学習し、各領域のガウス人が新しい環境照明に照度応答を適応させることができる。 これらの応答因子は、物理的に遅延したシェーディングに組み込まれ、セマンティック依存的な照明効果の軽量な近似を提供する。 自己再現性、横断的再現性、啓発性に関する広範な実験は、SAMIRAが既存の方法よりも微細な表現の再構築とリアリズムを改善することを実証している。

関連論文リスト

• AEGIR: Modeling Area Emitters for Indoor Inverse Rendering using Gaussian Splatting [2.333246928962179]
  逆レンダリングでは、照明と表面物質を分離する必要がある。 既存のライティング可能な方法は、個別の点灯、大域環境マップ、暗黙の表現を用いてシーンライティングを近似する。 本稿では,地域エミッタを表現可能なガウススプラッティング表現内で明示的にモデル化するフレームワークであるAEGIRを提案する。
  論文  参考訳（メタデータ） (2026-06-26T22:34:23Z)
• Relightable and Dynamic Gaussian Avatar Reconstruction from Monocular Video [42.36677003378551]
  Relightable and Dynamic Gaussian Avatar (RnD-Avatar) と呼ばれる3DGSに基づくヒューマンアバターモデリングフレームワークを提案する。 本フレームワークは,任意の照明条件下でのフォトリアリスティック照明効果をサポートしながら,新しいポーズやビューのリアルなレンダリングを可能にする。
  論文  参考訳（メタデータ） (2025-12-10T05:51:59Z)
• GLOW: Global Illumination-Aware Inverse Rendering of Indoor Scenes Captured with Dynamic Co-Located Light & Camera [18.90141473604964]
  室内シーンの逆レンダリングは、反射率と照明のあいまいさのため、依然として困難である。 GLOWは、これらの課題に対処するために設計された、Global Illumination-aware Inverse Renderingフレームワークである。
  論文  参考訳（メタデータ） (2025-11-28T03:24:12Z)
• MaterialRefGS: Reflective Gaussian Splatting with Multi-view Consistent Material Inference [83.38607296779423]
  より物理的な環境モデルを用いた多視点一貫した物質推定がガウススプラッティングによる正確な反射の学習の鍵となることを示す。 本手法は照明と幾何学の両方を忠実に復元し,新しいビュー合成における最先端のレンダリング品質を実現する。
  論文  参考訳（メタデータ） (2025-10-13T13:29:20Z)
• Reflections Unlock: Geometry-Aware Reflection Disentanglement in 3D Gaussian Splatting for Photorealistic Scenes Rendering [51.223347330075576]
  Ref-Unlockは3Dガウススプラッティングをベースとした新しい幾何認識反射モデリングフレームワークである。 提案手法では、高次球面高調波を用いた二重分岐表現を用いて、高周波反射の詳細を捉える。 そこで本手法は,反射シーンのリアルなレンダリングのための効率的で一般化可能なソリューションを提供する。
  論文  参考訳（メタデータ） (2025-07-08T15:45:08Z)
• Generalizable and Relightable Gaussian Splatting for Human Novel View Synthesis [49.67420486373202]
  GRGSは、多彩な照明条件下での高忠実なヒューマン・ノベル・ビュー・シンセサイザーのための一般的な3Dガウスのフレームワークである。 我々は, 精密深度および表面の正常度を予測するために, 合成依存データに基づいて学習した照明対応幾何微細化(LGR)モジュールを提案する。
  論文  参考訳（メタデータ） (2025-05-27T17:59:47Z)
• DifFRelight: Diffusion-Based Facial Performance Relighting [12.909429637057343]
  拡散に基づく画像から画像への変換を用いた,自由視点顔の表情のリライティングのための新しいフレームワークを提案する。 我々は、正確な照明制御のための拡散モデルを訓練し、フラットライト入力からの顔画像の高忠実度化を可能にする。 このモデルは、目の反射、地表面散乱、自影、半透明といった複雑な照明効果を正確に再現する。
  論文  参考訳（メタデータ） (2024-10-10T17:56:44Z)
• Physics-based Indirect Illumination for Inverse Rendering [70.27534648770057]
  本稿では,複数視点のRGB画像からシーンの照明,幾何学,材料を学習する物理ベースの逆レンダリング手法を提案する。 副産物として、我々の物理ベースの逆レンダリングモデルは、フレキシブルでリアルな素材編集やリライティングを容易にする。
  論文  参考訳（メタデータ） (2022-12-09T07:33:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。