論文の概要: SunStage: Portrait Reconstruction and Relighting using the Sun as a Light Stage

• arxiv url: http://arxiv.org/abs/2204.03648v1
• Date: Thu, 7 Apr 2022 17:59:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-08 14:59:19.465060
• Title: SunStage: Portrait Reconstruction and Relighting using the Sun as a Light Stage
• Title（参考訳）: SunStage: ライトステージとしての太陽を用いたポートレート再構築とリライティング
• Authors: Yifan Wang, Aleksander Holynski, Xiuming Zhang and Xuaner Cecilia Zhang
• Abstract要約: 顔形状と反射率の正確かつ個別に調整された再構成システムであるSunStageについて述べる。 本手法では、自撮り動画を屋外で撮影し、位置を回転させ、太陽と顔の角度を制約として利用する。
• 参考スコア（独自算出の注目度）: 74.9598824327533
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Outdoor portrait photographs are often marred by the harsh shadows cast under direct sunlight. To resolve this, one can use post-capture lighting manipulation techniques, but these methods either require complex hardware (e.g., a light stage) to capture each individual, or rely on image-based priors and thus fail to reconstruct many of the subtle facial details that vary from person to person. In this paper, we present SunStage, a system for accurate, individually-tailored, and lightweight reconstruction of facial geometry and reflectance that can be used for general portrait relighting with cast shadows. Our method only requires the user to capture a selfie video outdoors, rotating in place, and uses the varying angles between the sun and the face as constraints in the joint reconstruction of facial geometry, reflectance properties, and lighting parameters. Aside from relighting, we show that our reconstruction can be used for applications like reflectance editing and view synthesis. Results and interactive demos are available at https://grail.cs.washington.edu/projects/sunstage/.
• Abstract（参考訳）: 屋外のポートレート写真は、直射日光の下で放たれる厳しい影にしばしば浸食される。 これを解決するために、撮影後の照明操作技術を用いることができるが、これらの方法には複雑なハードウェア(例えば、ライトステージ)が必要となるか、画像ベースのプリエントに依存するため、人によって異なる微妙な顔の詳細を再構築することができない。 本稿では,顔の形状と反射率を正確に,個別に調整し,軽量に再現するシステムであるSunStageについて述べる。 提案手法では, 自撮り動画を屋外で撮影し, 位置を回転させ, 顔形状, 反射特性, 照明パラメータの同時再構成における制約として, 太陽と顔の角度の異なる角度を利用する。 リフレクションの他に、リフレクタンス編集やビュー合成といったアプリケーションにも応用できることを示す。 結果とインタラクティブなデモはhttps://grail.cs.washington.edu/projects/sunstage/で見ることができる。

関連論文リスト

• COMPOSE: Comprehensive Portrait Shadow Editing [25.727386174616868]
  COMPOSEは人間の肖像画のための新しい影編集パイプラインである。 形状、強度、位置などの影の属性を正確に制御する。 我々は,(1)この光源表現を画像から予測し,(2)この表現を用いて現実的な影を生成するモデルを訓練した。
  論文  参考訳（メタデータ） (2024-08-25T19:18:18Z)
• Controllable Light Diffusion for Portraits [8.931046902694984]
  ポートレートの照明を改善する新しい方法である光拡散を導入する。 プロの写真家のディフューザーとスクリムにインスパイアされたこの手法は、1枚のポートレート写真のみの照明を柔らかくする。
  論文  参考訳（メタデータ） (2023-05-08T14:46:28Z)
• Physically-Based Editing of Indoor Scene Lighting from a Single Image [106.60252793395104]
  本研究では,1つの画像から複雑な室内照明を推定深度と光源セグメンテーションマスクで編集する手法を提案する。 1)シーン反射率とパラメトリックな3D照明を推定する全体的シーン再構成法,2)予測からシーンを再レンダリングするニューラルレンダリングフレームワーク,である。
  論文  参考訳（メタデータ） (2022-05-19T06:44:37Z)
• Neural Radiance Fields for Outdoor Scene Relighting [70.97747511934705]
  ニューラルラジアンス場に基づく屋外シーンライティングのための最初のアプローチであるNeRF-OSRを提案する。 従来の技術とは対照的に,本手法はシーン照明とカメラ視点の同時編集を可能にする。 シャドウ再現のための専用ネットワークも備えており、高品質の屋外照明に欠かせない。
  論文  参考訳（メタデータ） (2021-12-09T18:59:56Z)
• Self-supervised Outdoor Scene Relighting [92.20785788740407]
  本稿では, 自己指導型リライティング手法を提案する。 当社のアプローチは,ユーザの監督なしにインターネットから収集した画像のコーパスのみに基づいて訓練されている。 以上の結果から,写実的かつ物理的に妥当な結果を生成できる技術が,見えない場面に一般化できることが示唆された。
  論文  参考訳（メタデータ） (2021-07-07T09:46:19Z)
• PhotoApp: Photorealistic Appearance Editing of Head Portraits [97.23638022484153]
  本稿では,ポートレート画像におけるカメラ視点とシーン照明の高品質な直感的編集手法を提案する。 ほとんどの編集アプローチは、光やカメラステージといった設定でキャプチャされたトレーニングデータを使用した教師あり学習に依存している。 StyleGANの潜在空間で学習する監督問題を設計します。 これは、教師付き学習と生成的敵対的モデリングのベストを組み合わせる。
  論文  参考訳（メタデータ） (2021-03-13T08:59:49Z)
• A Dark Flash Normal Camera [6.686241050151697]
  カジュアル撮影は、低画質の画像が得られ、下流処理の性能が低下する、制御不能な照明でしばしば行われる。 近赤外光源(NIR)とカメラ(いわゆる「暗フラッシュ画像」)で可視光を補うことで、これらの条件にもかかわらず人物を映し出すシーンの表面の正常さと反射率マップを推定する問題について考察する。 この方法では、任意の可視光の下で捉えた単一カラー画像と、制御されたフロントライトNIR照明下で撮影した単一の暗いフラッシュ画像とを同じ視点で入力し、正規写像、拡散アルベドマップ、およびその特異強度マップを演算する。
  論文  参考訳（メタデータ） (2020-12-11T05:08:22Z)
• Light Stage Super-Resolution: Continuous High-Frequency Relighting [58.09243542908402]
  光ステージから採取した人間の顔の「超解像」を学習ベースで解析する手法を提案する。 本手法では,ステージ内の隣接する照明に対応する撮像画像を集約し,ニューラルネットワークを用いて顔の描画を合成する。 我々の学習モデルは、リアルな影と特異なハイライトを示す任意の光方向のレンダリングを生成することができる。
  論文  参考訳（メタデータ） (2020-10-17T23:40:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。