論文の概要: SunStage: Portrait Reconstruction and Relighting using the Sun as a Light Stage

• arxiv url: http://arxiv.org/abs/2204.03648v2
• Date: Fri, 24 Mar 2023 22:54:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-29 03:42:12.215158
• Title: SunStage: Portrait Reconstruction and Relighting using the Sun as a Light Stage
• Title（参考訳）: SunStage: ライトステージとしての太陽を用いたポートレート再構築とリライティング
• Authors: Yifan Wang, Aleksander Holynski, Xiuming Zhang and Xuaner Zhang
• Abstract要約: 光のステージは、様々な照明と視点の下で被写体の顔の外観を捉えるために、調整されたカメラとライトを使用する。 残念なことに、ライトステージは高価であり、建設と運用に重要な技術的専門知識を必要とするため、アクセスできないことが多い。 SunStageは、スマートフォンのカメラと太陽だけを使って、同等のデータをキャプチャするライトステージの軽量な代替品だ。
• 参考スコア（独自算出の注目度）: 75.0473791925894
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A light stage uses a series of calibrated cameras and lights to capture a subject's facial appearance under varying illumination and viewpoint. This captured information is crucial for facial reconstruction and relighting. Unfortunately, light stages are often inaccessible: they are expensive and require significant technical expertise for construction and operation. In this paper, we present SunStage: a lightweight alternative to a light stage that captures comparable data using only a smartphone camera and the sun. Our method only requires the user to capture a selfie video outdoors, rotating in place, and uses the varying angles between the sun and the face as guidance in joint reconstruction of facial geometry, reflectance, camera pose, and lighting parameters. Despite the in-the-wild un-calibrated setting, our approach is able to reconstruct detailed facial appearance and geometry, enabling compelling effects such as relighting, novel view synthesis, and reflectance editing. Results and interactive demos are available at https://sunstage.cs.washington.edu/.
• Abstract（参考訳）: ライトステージは一連のキャリブレーションされたカメラとライトを使用して、さまざまな照明と視点の下で被写体の顔の外観をキャプチャする。 この捉えた情報は、顔の復元とリライトに欠かせない。 残念なことに、ライトステージは高価であり、建設と運用に重要な技術的専門知識を必要とする。 本稿では、スマートフォンカメラと太陽のみを使用して、同等のデータをキャプチャする、ライトステージの軽量な代替手段であるSunStageを紹介する。 提案手法では, 自撮り動画を屋外で撮影し, 位置を回転させ, 顔形状, 反射率, カメラポーズ, 照明パラメータの同時再構成の指針として, 太陽と顔の角度の異なる角度を用いる。 本手法は,未校正環境にもかかわらず,顔の外観や形状を再現し,リライティング,新しいビュー合成,リフレクタンス編集などの魅力的な効果を期待できる。 結果とインタラクティブなデモはhttps://sunstage.cs.washington.edu/で見ることができる。

関連論文リスト

• COMPOSE: Comprehensive Portrait Shadow Editing [25.727386174616868]
  COMPOSEは人間の肖像画のための新しい影編集パイプラインである。 形状、強度、位置などの影の属性を正確に制御する。 我々は,(1)この光源表現を画像から予測し,(2)この表現を用いて現実的な影を生成するモデルを訓練した。
  論文  参考訳（メタデータ） (2024-08-25T19:18:18Z)
• Controllable Light Diffusion for Portraits [8.931046902694984]
  ポートレートの照明を改善する新しい方法である光拡散を導入する。 プロの写真家のディフューザーとスクリムにインスパイアされたこの手法は、1枚のポートレート写真のみの照明を柔らかくする。
  論文  参考訳（メタデータ） (2023-05-08T14:46:28Z)
• Physically-Based Editing of Indoor Scene Lighting from a Single Image [106.60252793395104]
  本研究では,1つの画像から複雑な室内照明を推定深度と光源セグメンテーションマスクで編集する手法を提案する。 1)シーン反射率とパラメトリックな3D照明を推定する全体的シーン再構成法,2)予測からシーンを再レンダリングするニューラルレンダリングフレームワーク,である。
  論文  参考訳（メタデータ） (2022-05-19T06:44:37Z)
• Neural Radiance Fields for Outdoor Scene Relighting [70.97747511934705]
  ニューラルラジアンス場に基づく屋外シーンライティングのための最初のアプローチであるNeRF-OSRを提案する。 従来の技術とは対照的に,本手法はシーン照明とカメラ視点の同時編集を可能にする。 シャドウ再現のための専用ネットワークも備えており、高品質の屋外照明に欠かせない。
  論文  参考訳（メタデータ） (2021-12-09T18:59:56Z)
• Self-supervised Outdoor Scene Relighting [92.20785788740407]
  本稿では, 自己指導型リライティング手法を提案する。 当社のアプローチは,ユーザの監督なしにインターネットから収集した画像のコーパスのみに基づいて訓練されている。 以上の結果から,写実的かつ物理的に妥当な結果を生成できる技術が,見えない場面に一般化できることが示唆された。
  論文  参考訳（メタデータ） (2021-07-07T09:46:19Z)
• PhotoApp: Photorealistic Appearance Editing of Head Portraits [97.23638022484153]
  本稿では,ポートレート画像におけるカメラ視点とシーン照明の高品質な直感的編集手法を提案する。 ほとんどの編集アプローチは、光やカメラステージといった設定でキャプチャされたトレーニングデータを使用した教師あり学習に依存している。 StyleGANの潜在空間で学習する監督問題を設計します。 これは、教師付き学習と生成的敵対的モデリングのベストを組み合わせる。
  論文  参考訳（メタデータ） (2021-03-13T08:59:49Z)
• A Dark Flash Normal Camera [6.686241050151697]
  カジュアル撮影は、低画質の画像が得られ、下流処理の性能が低下する、制御不能な照明でしばしば行われる。 近赤外光源(NIR)とカメラ(いわゆる「暗フラッシュ画像」)で可視光を補うことで、これらの条件にもかかわらず人物を映し出すシーンの表面の正常さと反射率マップを推定する問題について考察する。 この方法では、任意の可視光の下で捉えた単一カラー画像と、制御されたフロントライトNIR照明下で撮影した単一の暗いフラッシュ画像とを同じ視点で入力し、正規写像、拡散アルベドマップ、およびその特異強度マップを演算する。
  論文  参考訳（メタデータ） (2020-12-11T05:08:22Z)
• Light Stage Super-Resolution: Continuous High-Frequency Relighting [58.09243542908402]
  光ステージから採取した人間の顔の「超解像」を学習ベースで解析する手法を提案する。 本手法では,ステージ内の隣接する照明に対応する撮像画像を集約し,ニューラルネットワークを用いて顔の描画を合成する。 我々の学習モデルは、リアルな影と特異なハイライトを示す任意の光方向のレンダリングを生成することができる。
  論文  参考訳（メタデータ） (2020-10-17T23:40:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。