論文の概要: Learning Illumination from Diverse Portraits

• arxiv url: http://arxiv.org/abs/2008.02396v1
• Date: Wed, 5 Aug 2020 23:41:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-02 18:47:54.024796
• Title: Learning Illumination from Diverse Portraits
• Title（参考訳）: 多様なポートレイトからの照明学習
• Authors: Chloe LeGendre, Wan-Chun Ma, Rohit Pandey, Sean Fanello, Christoph Rhemann, Jason Dourgarian, Jay Busch, Paul Debevec
• Abstract要約: 我々は,地中環境照明と組み合わせたポートレート写真を用いて,我々のモデルを訓練する。 我々は、光ステージを用いて、70種類の被験者の反射場とアルファマットを記録することにより、リッチな写真を生成する。 本手法は,ポートレートベース照明推定における最先端技術よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 8.90355885907736
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a learning-based technique for estimating high dynamic range (HDR), omnidirectional illumination from a single low dynamic range (LDR) portrait image captured under arbitrary indoor or outdoor lighting conditions. We train our model using portrait photos paired with their ground truth environmental illumination. We generate a rich set of such photos by using a light stage to record the reflectance field and alpha matte of 70 diverse subjects in various expressions. We then relight the subjects using image-based relighting with a database of one million HDR lighting environments, compositing the relit subjects onto paired high-resolution background imagery recorded during the lighting acquisition. We train the lighting estimation model using rendering-based loss functions and add a multi-scale adversarial loss to estimate plausible high frequency lighting detail. We show that our technique outperforms the state-of-the-art technique for portrait-based lighting estimation, and we also show that our method reliably handles the inherent ambiguity between overall lighting strength and surface albedo, recovering a similar scale of illumination for subjects with diverse skin tones. We demonstrate that our method allows virtual objects and digital characters to be added to a portrait photograph with consistent illumination. Our lighting inference runs in real-time on a smartphone, enabling realistic rendering and compositing of virtual objects into live video for augmented reality applications.
• Abstract（参考訳）: 本研究では,屋内や屋外の任意の照明条件下で撮影された単一低ダイナミックレンジ(LDR)ポートレート画像から高ダイナミックレンジ(HDR)を全方位で推定する学習手法を提案する。 地中環境照明と組み合わせたポートレート写真を用いて,我々のモデルを訓練する。 様々な表現において70種類の被写体の反射場とアルファマットを記録するために,光ステージを用いてリッチな写真を生成する。 次に,100万個のHDR照明環境のデータベースを用いて被験者をリライトし,照明取得中に記録された高解像度背景画像に被写体を合成する。 我々は、レンダリングに基づく損失関数を用いて照明推定モデルを訓練し、高周波数光の詳細を推定するためにマルチスケールの逆損失を追加する。 本手法はポートレートベース照明推定の最先端技術よりも優れており,本手法は全身の照明強度と表面アルベドとのあいまいさを確実に処理し,肌の色調の異なる被験者にも同様の照明効果が期待できることを示す。 我々は,仮想物体とデジタル文字を一貫した照明で肖像画に追加できることを実証した。 当社の照明推論はスマートフォン上でリアルタイムに動作し、拡張現実アプリケーション用のライブビデオに仮想オブジェクトの現実的なレンダリングと合成を可能にします。

関連論文リスト

• DifFRelight: Diffusion-Based Facial Performance Relighting [12.909429637057343]
  拡散に基づく画像から画像への変換を用いた,自由視点顔の表情のリライティングのための新しいフレームワークを提案する。 我々は、正確な照明制御のための拡散モデルを訓練し、フラットライト入力からの顔画像の高忠実度化を可能にする。 このモデルは、目の反射、地表面散乱、自影、半透明といった複雑な照明効果を正確に再現する。
  論文  参考訳（メタデータ） (2024-10-10T17:56:44Z)
• Controllable Light Diffusion for Portraits [8.931046902694984]
  ポートレートの照明を改善する新しい方法である光拡散を導入する。 プロの写真家のディフューザーとスクリムにインスパイアされたこの手法は、1枚のポートレート写真のみの照明を柔らかくする。
  論文  参考訳（メタデータ） (2023-05-08T14:46:28Z)
• Spatiotemporally Consistent HDR Indoor Lighting Estimation [66.26786775252592]
  本研究では,屋内照明推定問題を解決するための物理動機付きディープラーニングフレームワークを提案する。 深度マップを用いた1枚のLDR画像から,任意の画像位置における空間的に一貫した照明を予測できる。 我々のフレームワークは、最先端の単一画像やビデオベースの手法と比較して、高画質で光リアリスティック照明予測を実現する。
  論文  参考訳（メタデータ） (2023-05-07T20:36:29Z)
• EverLight: Indoor-Outdoor Editable HDR Lighting Estimation [9.443561684223514]
  本稿では、パラメトリック光モデルと360degパノラマを組み合わせ、レンダリングエンジンでHDRIとして使用できる手法を提案する。 我々の表現では、ユーザは光の方向、強度、数などを簡単に編集してシェーディングに影響を与えながら、リッチで複雑なリフレクションを提供しながら、編集とシームレスにブレンドすることができる。
  論文  参考訳（メタデータ） (2023-04-26T00:20:59Z)
• WildLight: In-the-wild Inverse Rendering with a Flashlight [77.31815397135381]
  本研究では、未知の環境光下での逆レンダリングのための実用的な測光ソリューションを提案する。 本システムは,スマートフォンで撮影した多視点画像のみを用いて,シーン形状と反射率を復元する。 提案手法は実装が容易で,セットアップも容易で,既存の逆レンダリング技術よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-24T17:59:56Z)
• Neural Light Field Estimation for Street Scenes with Differentiable Virtual Object Insertion [129.52943959497665]
  既存の屋外照明推定の作業は通常、シーン照明を環境マップに単純化する。 単一画像から5次元HDR光場を推定するニューラルネットワークを提案する。 自律運転アプリケーションにおけるARオブジェクト挿入の利点を示す。
  論文  参考訳（メタデータ） (2022-08-19T17:59:16Z)
• High Dynamic Range and Super-Resolution from Raw Image Bursts [52.341483902624006]
  本稿では,露光ブラケット付きハンドヘルドカメラで撮影した原写真からの高解像度・高ダイナミックレンジカラー画像の再構成について紹介する。 提案アルゴリズムは,画像復元における最先端の学習手法と比較して,メモリ要求の少ない高速なアルゴリズムである。 実験では、ハンドヘルドカメラで野生で撮影された実際の写真に最大4ドル(約4,800円)の超高解像度な要素で優れた性能を示す。
  論文  参考訳（メタデータ） (2022-07-29T13:31:28Z)
• DIB-R++: Learning to Predict Lighting and Material with a Hybrid Differentiable Renderer [78.91753256634453]
  そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。 そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。 より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
  論文  参考訳（メタデータ） (2021-10-30T01:59:39Z)
• Neural Video Portrait Relighting in Real-time via Consistency Modeling [41.04622998356025]
  本稿では,リアルタイム,高品質,コヒーレントな映像ポートレートリライティングのためのニューラルアプローチを提案する。 エンコーダデコーダアーキテクチャにおけるハイブリッド構造と照明非絡み合いを提案する。 また,実世界における自然ポートレート光操作の照明一貫性と突然変異をモデル化する照明サンプリング戦略を提案する。
  論文  参考訳（メタデータ） (2021-04-01T14:13:28Z)
• Scene relighting with illumination estimation in the latent space on an encoder-decoder scheme [68.8204255655161]
  本報告では,その目的を達成するための手法について述べる。 我々のモデルは、シーン内容、光源位置、色温度の異なる、人工的な場所のレンダリングデータセットに基づいて訓練されている。 本データセットでは,被写体の潜在空間表現における光条件の推測と置き換えを目的とした照明推定成分を用いたネットワークを用いた。
  論文  参考訳（メタデータ） (2020-06-03T15:25:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。