論文の概要: WildCap: Facial Appearance Capture in the Wild via Hybrid Inverse Rendering

• arxiv url: http://arxiv.org/abs/2512.11237v1
• Date: Fri, 12 Dec 2025 02:37:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-15 15:48:11.633284
• Title: WildCap: Facial Appearance Capture in the Wild via Hybrid Inverse Rendering
• Title（参考訳）: WildCap:ハイブリッド・リバース・レンダリングによる野生の顔の表情のキャプチャ
• Authors: Yuxuan Han, Xin Ming, Tianxiao Li, Zhuofan Shen, Qixuan Zhang, Lan Xu, Feng Xu,
• Abstract要約: 既存の方法は、制御可能な照明下での高品質な顔の外観キャプチャを実現する。 本研究では、野生で録画されたスマートフォンのビデオから、高品質な顔の外観をキャプチャする新しい方法、WildCapを提案する。
• 参考スコア（独自算出の注目度）: 34.89149093909672
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing methods achieve high-quality facial appearance capture under controllable lighting, which increases capture cost and limits usability. We propose WildCap, a novel method for high-quality facial appearance capture from a smartphone video recorded in the wild. To disentangle high-quality reflectance from complex lighting effects in in-the-wild captures, we propose a novel hybrid inverse rendering framework. Specifically, we first apply a data-driven method, i.e., SwitchLight, to convert the captured images into more constrained conditions and then adopt model-based inverse rendering. However, unavoidable local artifacts in network predictions, such as shadow-baking, are non-physical and thus hinder accurate inverse rendering of lighting and material. To address this, we propose a novel texel grid lighting model to explain non-physical effects as clean albedo illuminated by local physical lighting. During optimization, we jointly sample a diffusion prior for reflectance maps and optimize the lighting, effectively resolving scale ambiguity between local lights and albedo. Our method achieves significantly better results than prior arts in the same capture setup, closing the quality gap between in-the-wild and controllable recordings by a large margin. Our code will be released \href{https://yxuhan.github.io/WildCap/index.html}{\textcolor{magenta}{here}}.
• Abstract（参考訳）: 既存の方法は、制御可能な照明下での高品質な顔の撮影を実現し、捕獲コストを増大させ、使用性を制限する。 本研究では、野生で録画されたスマートフォンのビデオから、高品質な顔の外観をキャプチャする新しい方法、WildCapを提案する。 In-the-Wildキャプチャにおける複雑な照明効果から高品質な反射率を遠ざけるために,新しいハイブリッド逆レンダリングフレームワークを提案する。 具体的には、まずデータ駆動方式、すなわちSwitchLightを適用し、キャプチャした画像をより制約のある条件に変換し、モデルベースの逆レンダリングを採用する。 しかし、シャドウベーキングのようなネットワーク予測における避けられないローカルアーティファクトは物理的ではないため、照明や素材の正確な逆レンダリングを妨げている。 そこで本研究では,非物理的効果を局所的な物理照明によって照らされたクリーンアルベドとして説明するための,新しいテクセルグリッド照明モデルを提案する。 最適化中、反射率マップに先行する拡散を共同でサンプリングし、照明を最適化し、局所的な光とアルベドとのスケールのあいまいさを効果的に解消する。 提案手法は, 従来手法に比べて, 撮影装置の精度が向上し, 被写体と制御可能な記録の質差が大幅に減少する。 私たちのコードは、 \href{https://yxuhan.github.io/WildCap/index.html}{\textcolor{magenta}{here}} としてリリースされます。

関連論文リスト

• SynthLight: Portrait Relighting with Diffusion Model by Learning to Re-render Synthetic Faces [16.65498750779018]
  ポートレートライティングのための拡散モデルであるSynthLightを紹介する。 本手法では,環境照明条件の変化に応じて画素を変換する再レンダリング問題として,画像のリライティングを行う。 我々は、この照明条件の変換を、様々な照明の下で3Dヘッドアセットでシミュレートするデータセットを合成する。
  論文  参考訳（メタデータ） (2025-01-16T18:59:48Z)
• WildLight: In-the-wild Inverse Rendering with a Flashlight [77.31815397135381]
  本研究では、未知の環境光下での逆レンダリングのための実用的な測光ソリューションを提案する。 本システムは,スマートフォンで撮影した多視点画像のみを用いて,シーン形状と反射率を復元する。 提案手法は実装が容易で,セットアップも容易で,既存の逆レンダリング技術よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-24T17:59:56Z)
• Learning to Relight Portrait Images via a Virtual Light Stage and Synthetic-to-Real Adaptation [76.96499178502759]
  Relightingは、イメージ内の人物を、ターゲットの照明のある環境に現れたかのように再照らすことを目的としている。 最近の手法は、高品質な結果を得るためにディープラーニングに依存している。 そこで本研究では,光ステージを必要とせずに,SOTA(State-of-the-art Relighting Method)と同等に動作可能な新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-09-21T17:15:58Z)
• Geometry-aware Single-image Full-body Human Relighting [37.381122678376805]
  単一イメージの人間のリライティングは、入力画像をアルベド、形状、照明に分解することで、新たな照明条件下でターゲットの人間をリライティングすることを目的としている。 それまでの方法は、アルベドと照明の絡み合いと、硬い影の欠如に悩まされていた。 我々のフレームワークは、難易度の高い照明条件下で、キャストシャドウのような光現実性の高い高周波影を生成することができる。
  論文  参考訳（メタデータ） (2022-07-11T10:21:02Z)
• SAMURAI: Shape And Material from Unconstrained Real-world Arbitrary Image collections [49.3480550339732]
  完全に未知のキャプチャ条件下でのオブジェクトの逆レンダリングは、コンピュータビジョンとグラフィックスにおける根本的な課題である。 形状, BRDF, 画像当たりのカメラのポーズと照明を推定するための共同最適化フレームワークを提案する。 本手法は,オブジェクトのオンライン画像収集に利用し,AR/VRなどのいくつかのユースケースに対して,再生可能な3Dアセットを生成する。
  論文  参考訳（メタデータ） (2022-05-31T13:16:48Z)
• Low-light Image Enhancement via Breaking Down the Darkness [8.707025631892202]
  本稿では,分割・ルール原理に触発された新しい枠組みを提案する。 本稿では,RGB空間から輝度クロミナンス画像に変換することを提案する。 調整可能なノイズ抑制ネットワークは、輝度が明るくなるときにノイズを取り除くように設計されている。 強化された輝度はさらに、色マッパーが現実的な色を生成するためのガイダンスとなる。
  論文  参考訳（メタデータ） (2021-11-30T16:50:59Z)
• Relighting Images in the Wild with a Self-Supervised Siamese Auto-Encoder [62.580345486483886]
  本研究では,野生の単一ビュー画像の自己教師付きリライティング手法を提案する。 この方法は、イメージを2つの別々のエンコーディングに分解するオートエンコーダに基づいている。 Youtube 8MやCelebAなどの大規模データセットでモデルをトレーニングします。
  論文  参考訳（メタデータ） (2020-12-11T16:08:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。