論文の概要: WildLight: In-the-wild Inverse Rendering with a Flashlight

• arxiv url: http://arxiv.org/abs/2303.14190v1
• Date: Fri, 24 Mar 2023 17:59:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-27 13:26:53.685729
• Title: WildLight: In-the-wild Inverse Rendering with a Flashlight
• Title（参考訳）: WildLight:フラッシュライトを使った逆レンダリング
• Authors: Ziang Cheng, Junxuan Li, Hongdong Li
• Abstract要約: 本研究では、未知の環境光下での逆レンダリングのための実用的な測光ソリューションを提案する。 本システムは,スマートフォンで撮影した多視点画像のみを用いて,シーン形状と反射率を復元する。 提案手法は実装が容易で,セットアップも容易で,既存の逆レンダリング技術よりも一貫して優れていることを示す。
• 参考スコア（独自算出の注目度）: 77.31815397135381
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper proposes a practical photometric solution for the challenging problem of in-the-wild inverse rendering under unknown ambient lighting. Our system recovers scene geometry and reflectance using only multi-view images captured by a smartphone. The key idea is to exploit smartphone's built-in flashlight as a minimally controlled light source, and decompose image intensities into two photometric components -- a static appearance corresponds to ambient flux, plus a dynamic reflection induced by the moving flashlight. Our method does not require flash/non-flash images to be captured in pairs. Building on the success of neural light fields, we use an off-the-shelf method to capture the ambient reflections, while the flashlight component enables physically accurate photometric constraints to decouple reflectance and illumination. Compared to existing inverse rendering methods, our setup is applicable to non-darkroom environments yet sidesteps the inherent difficulties of explicit solving ambient reflections. We demonstrate by extensive experiments that our method is easy to implement, casual to set up, and consistently outperforms existing in-the-wild inverse rendering techniques. Finally, our neural reconstruction can be easily exported to PBR textured triangle mesh ready for industrial renderers.
• Abstract（参考訳）: 本稿では,未知の環境光の下での逆レンダリングの課題に対する実用的な測光手法を提案する。 本システムは,スマートフォンで撮影した多視点画像のみを用いて,シーン形状と反射率を復元する。 重要なアイデアは、スマートフォンの内蔵フラッシュライトを最小制御光源として活用し、画像強度を2つのフォトメトリックコンポーネントに分解することだ。 我々の方法では、フラッシュ/非フラッシュ画像はペアでキャプチャする必要がない。 ニューラル・ライト・フィールドの成功に基づき、オフ・ザ・シェルフ法を用いて周囲の反射を捉え、フラッシュライト・コンポーネントは物理的に正確な光度制約により反射率と照明を分離する。 既存の逆レンダリング手法と比較して,非暗室環境に適用できるが,環境反射を明示的に解くことの難しさは回避できる。 提案手法は実装が容易で,セットアップも容易で,既存の逆レンダリング技術よりも一貫して優れていることを示す。 最後に,産業用レンダラ用に用意されたpbrテクスチャトライアングルメッシュに,神経再構成を容易にエクスポートできる。

関連論文リスト

• GaNI: Global and Near Field Illumination Aware Neural Inverse Rendering [21.584362527926654]
  GaNIは、同じ位置にある光とカメラで撮影されたシーンの画像から、幾何学、アルベド、粗さのパラメータを再構築することができる。 既存の逆レンダリング技術と光カメラは、単一の物体のみに焦点を合わせている。
  論文  参考訳（メタデータ） (2024-03-22T23:47:19Z)
• EverLight: Indoor-Outdoor Editable HDR Lighting Estimation [9.443561684223514]
  本稿では、パラメトリック光モデルと360degパノラマを組み合わせ、レンダリングエンジンでHDRIとして使用できる手法を提案する。 我々の表現では、ユーザは光の方向、強度、数などを簡単に編集してシェーディングに影響を与えながら、リッチで複雑なリフレクションを提供しながら、編集とシームレスにブレンドすることができる。
  論文  参考訳（メタデータ） (2023-04-26T00:20:59Z)
• Nighttime Smartphone Reflective Flare Removal Using Optical Center Symmetry Prior [81.64647648269889]
  反射フレア(英: Reflective flare)は、レンズの内部に光が反射し、明るい点や「ゴースト効果」を引き起こす現象である。 我々は、反射フレアと光源が常にレンズの光学中心の周囲に対称であることを示す光中心対称性を事前に提案する。 多様なリアルな反射フレアパターンを含むブラケットフレアと呼ばれる最初の反射フレア除去データセットを作成します。
  論文  参考訳（メタデータ） (2023-03-27T09:44:40Z)
• Weakly-supervised Single-view Image Relighting [17.49214457620938]
  本稿では,ランベルトおよび低周波スペクトルの単一像をリライトする学習に基づくアプローチを提案する。 本手法では,写真からのオブジェクトを新しいシーンに挿入し,新しい環境照明下でリライトすることができる。
  論文  参考訳（メタデータ） (2023-03-24T08:20:16Z)
• Self-calibrating Photometric Stereo by Neural Inverse Rendering [88.67603644930466]
  本稿では3次元オブジェクト再構成のための非校正光度ステレオの課題に取り組む。 本研究では,物体形状,光方向,光強度を協調的に最適化する手法を提案する。 本手法は,実世界のデータセット上での光推定と形状復元における最先端の精度を示す。
  論文  参考訳（メタデータ） (2022-07-16T02:46:15Z)
• Physically-Based Editing of Indoor Scene Lighting from a Single Image [106.60252793395104]
  本研究では,1つの画像から複雑な室内照明を推定深度と光源セグメンテーションマスクで編集する手法を提案する。 1)シーン反射率とパラメトリックな3D照明を推定する全体的シーン再構成法,2)予測からシーンを再レンダリングするニューラルレンダリングフレームワーク,である。
  論文  参考訳（メタデータ） (2022-05-19T06:44:37Z)
• Towards Geometry Guided Neural Relighting with Flash Photography [26.511476565209026]
  本稿では,深層学習を用いた深度マップを用いた1枚のフラッシュ写真から画像のリライティングを行うフレームワークを提案する。 本研究は,本質的な画像分解と画像リライティングにおける最先端の画像ベースアプローチに対する幾何学的アプローチの利点を実験的に検証する。
  論文  参考訳（メタデータ） (2020-08-12T08:03:28Z)
• Neural Reflectance Fields for Appearance Acquisition [61.542001266380375]
  シーン内の任意の3次元点における体積密度, 正規および反射特性をエンコードする新しい深部シーン表現であるニューラルリフレクタンス場を提案する。 我々はこの表現を、任意の視点と光の下でニューラルリフレクタンスフィールドから画像を描画できる物理的にベースとした微分可能光線マーチングフレームワークと組み合わせる。
  論文  参考訳（メタデータ） (2020-08-09T22:04:36Z)
• Deep Reflectance Volumes: Relightable Reconstructions from Multi-View Photometric Images [59.53382863519189]
  位置決めされた点灯下で撮影された非構造画像からシーンの外観を再構築する深層学習手法を提案する。 ディープ・リフレクタンス・ボリュームの中心部には、不透明度、表面正規度、リフレクタンス・ボクセル・グリッドからなる新しいボリューム・シーンの表現がある。 学習したリフレクタンスボリュームは編集可能であり、キャプチャされたシーンの素材を修正可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-20T05:38:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。