論文の概要: High-Res Facial Appearance Capture from Polarized Smartphone Images
- arxiv url: http://arxiv.org/abs/2212.01160v1
- Date: Fri, 2 Dec 2022 13:34:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-05 17:32:58.460185
- Title: High-Res Facial Appearance Capture from Polarized Smartphone Images
- Title（参考訳）: 偏光スマートフォン画像からの高精細顔画像
- Authors: Dejan Azinovi\'c, Olivier Maury, Christophe Hery, Mathias Nie{\ss}ner
and Justus Thies
- Abstract要約: 単一スマートフォンを用いたRGB画像から高品質な顔のテクスチャ再構築手法を提案する。
修正されたスマートフォンを用いて,光偏光の異なる暗黒環境での2つの短いシーケンスをフラッシュ照明下で記録する。
次に、カメラと光のコロケーションを利用して、分析バイシンセシスアプローチを用いて顔のテクスチャを最適化する。
- 参考スコア（独自算出の注目度）: 11.885559856133339
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a novel method for high-quality facial texture reconstruction from
RGB images using a novel capturing routine based on a single smartphone which
we equip with an inexpensive polarization foil. Specifically, we turn the
flashlight into a polarized light source and add a polarization filter on top
of the camera. Leveraging this setup, we capture the face of a subject with
cross-polarized and parallel-polarized light. For each subject, we record two
short sequences in a dark environment under flash illumination with different
light polarization using the modified smartphone. Based on these observations,
we reconstruct an explicit surface mesh of the face using structure from
motion. We then exploit the camera and light co-location within a
differentiable renderer to optimize the facial textures using an
analysis-by-synthesis approach. Our method optimizes for high-resolution normal
textures, diffuse albedo, and specular albedo using a coarse-to-fine
optimization scheme. We show that the optimized textures can be used in a
standard rendering pipeline to synthesize high-quality photo-realistic 3D
digital humans in novel environments.
- Abstract（参考訳）: 本稿では,RGB画像から高品質な顔のテクスチャ再構築手法を提案する。
具体的には、フラッシュライトを偏光光源に変換し、カメラの上に偏光フィルタを追加する。
この設定を利用して、偏光と平行偏光で被写体の顔をキャプチャする。
それぞれの被写体について,光分極の異なるフラッシュ照明下の暗環境において,修正したスマートフォンを用いて2つの短いシーケンスを記録した。
これらの観測に基づいて,動き構造を用いて顔の表面メッシュを再構築する。
次に、カメラと光コロケーションを微分可能なレンダラ内で活用し、分析合成手法を用いて顔のテクスチャを最適化する。
本手法は粗大な最適化手法を用いて高分解能な正規テクスチャ,拡散アルベド,スペクトルアルベドを最適化する。
最適化されたテクスチャを標準的なレンダリングパイプラインで使用することで、新しい環境で高品質なフォトリアリスティックな3dデジタル人間を合成できることを示す。
関連論文リスト
- GUS-IR: Gaussian Splatting with Unified Shading for Inverse Rendering [83.69136534797686]
GUS-IRは、粗く光沢のある表面を特徴とする複雑なシーンの逆レンダリング問題に対処するために設計された新しいフレームワークである。
本稿では、逆レンダリング、フォワードシェーディング、遅延シェーディングに広く使われている2つの顕著なシェーディング技術を分析し、比較することから始める。
両手法の利点を組み合わせた統合シェーディングソリューションを提案する。
論文 参考訳（メタデータ） (2024-11-12T01:51:05Z) - Environment Maps Editing using Inverse Rendering and Adversarial Implicit Functions [8.20594611891252]
逆微分可能レンダリングアーキテクチャを用いたハイダイナミックレンジ環境マップの編集は複雑な逆問題である。
そこで本研究では,HDR環境マップを識別可能なレンダリングを用いて編集し,空間性や値のばらつきに対処する手法を提案する。
我々の手法は、新しい光源でレンダリングされた環境マップを推定するなど、興味深いタスクへの道を開くことができる。
論文 参考訳（メタデータ） (2024-10-24T10:27:29Z) - Spatiotemporally Consistent HDR Indoor Lighting Estimation [66.26786775252592]
本研究では,屋内照明推定問題を解決するための物理動機付きディープラーニングフレームワークを提案する。
深度マップを用いた1枚のLDR画像から,任意の画像位置における空間的に一貫した照明を予測できる。
我々のフレームワークは、最先端の単一画像やビデオベースの手法と比較して、高画質で光リアリスティック照明予測を実現する。
論文 参考訳（メタデータ） (2023-05-07T20:36:29Z) - EverLight: Indoor-Outdoor Editable HDR Lighting Estimation [9.443561684223514]
本稿では、パラメトリック光モデルと360degパノラマを組み合わせ、レンダリングエンジンでHDRIとして使用できる手法を提案する。
我々の表現では、ユーザは光の方向、強度、数などを簡単に編集してシェーディングに影響を与えながら、リッチで複雑なリフレクションを提供しながら、編集とシームレスにブレンドすることができる。
論文 参考訳（メタデータ） (2023-04-26T00:20:59Z) - WildLight: In-the-wild Inverse Rendering with a Flashlight [77.31815397135381]
本研究では、未知の環境光下での逆レンダリングのための実用的な測光ソリューションを提案する。
本システムは,スマートフォンで撮影した多視点画像のみを用いて,シーン形状と反射率を復元する。
提案手法は実装が容易で,セットアップも容易で,既存の逆レンダリング技術よりも一貫して優れていることを示す。
論文 参考訳（メタデータ） (2023-03-24T17:59:56Z) - IRON: Inverse Rendering by Optimizing Neural SDFs and Materials from
Photometric Images [52.021529273866896]
我々は、光メトリック画像を操作し、高品質な3Dコンテンツを出力するIRONと呼ばれるニューラルネットワーク逆レンダリングパイプラインを提案する。
提案手法は, 符号付き距離場 (SDF) と材料として, その柔軟性とコンパクトさを享受するために, 形状のニューラル表現を最適化中に採用する。
我々のIRONは、以前の作品に比べて、逆レンダリング品質が大幅に向上していることが示される。
論文 参考訳（メタデータ） (2022-04-05T14:14:18Z) - Deep Polarization Imaging for 3D shape and SVBRDF Acquisition [7.86578678811226]
偏光キューを用いた3次元物体の形状と空間的反射率を効率よく取得する新しい手法を提案する。
偏光イメージングを深層学習と組み合わせることで,物体や物体の出現を一定の制約下で推定する従来の研究と異なり,このような制約を解消する。
我々は,フラッシュ照明とともにディープラーニングを用いた最近の研究と比較して,優れた結果を得るためのアプローチを実証する。
論文 参考訳（メタデータ） (2021-05-06T17:58:43Z) - Towards High Fidelity Monocular Face Reconstruction with Rich
Reflectance using Self-supervised Learning and Ray Tracing [49.759478460828504]
ディープニューラルネットワークエンコーダと異なるレンダリングを組み合わせた手法が、幾何学、照明、反射の非常に高速な単分子再構成の道を開いた。
古典的な最適化ベースのフレームワーク内での単眼顔再構築のためにレイトレースが導入されました。
一般シーンにおける復元品質と堅牢性を大幅に向上させる新しい手法を提案します。
論文 参考訳（メタデータ） (2021-03-29T08:58:10Z) - Relightable 3D Head Portraits from a Smartphone Video [15.639140551193073]
本稿では,人間の頭部の3D像を再現するシステムを提案する。
私たちのニューラルパイプラインは、スマートフォンのカメラがフラッシュ点滅で撮影したフレームのシーケンスで動作します。
ディープレンダリングネットワークは、任意の新しい視点のために密なアルベド、ノーマル、環境照明マップを後退させるように訓練される。
論文 参考訳（メタデータ） (2020-12-17T22:49:02Z) - Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。
まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。
これらの深度マップは、異なるビューを粗く整列するために使用される。
本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2020-03-27T21:28:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。