論文の概要: Towards Geometry Guided Neural Relighting with Flash Photography

• arxiv url: http://arxiv.org/abs/2008.05157v1
• Date: Wed, 12 Aug 2020 08:03:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-31 05:02:32.097764
• Title: Towards Geometry Guided Neural Relighting with Flash Photography
• Title（参考訳）: フラッシュ写真を用いた幾何誘導型神経リライト
• Authors: Di Qiu, Jin Zeng, Zhanghan Ke, Wenxiu Sun, Chengxi Yang
• Abstract要約: 本稿では,深層学習を用いた深度マップを用いた1枚のフラッシュ写真から画像のリライティングを行うフレームワークを提案する。 本研究は,本質的な画像分解と画像リライティングにおける最先端の画像ベースアプローチに対する幾何学的アプローチの利点を実験的に検証する。
• 参考スコア（独自算出の注目度）: 26.511476565209026
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Previous image based relighting methods require capturing multiple images to acquire high frequency lighting effect under different lighting conditions, which needs nontrivial effort and may be unrealistic in certain practical use scenarios. While such approaches rely entirely on cleverly sampling the color images under different lighting conditions, little has been done to utilize geometric information that crucially influences the high-frequency features in the images, such as glossy highlight and cast shadow. We therefore propose a framework for image relighting from a single flash photograph with its corresponding depth map using deep learning. By incorporating the depth map, our approach is able to extrapolate realistic high-frequency effects under novel lighting via geometry guided image decomposition from the flashlight image, and predict the cast shadow map from the shadow-encoding transformed depth map. Moreover, the single-image based setup greatly simplifies the data capture process. We experimentally validate the advantage of our geometry guided approach over state-of-the-art image-based approaches in intrinsic image decomposition and image relighting, and also demonstrate our performance on real mobile phone photo examples.
• Abstract（参考訳）: 従来の画像ベースのリライティング手法では、複数の画像をキャプチャして、異なる照明条件下での高周波照明効果を得る必要がある。 このようなアプローチは、異なる照明条件下で色画像を巧妙にサンプリングすることに完全に依存しているが、光沢のあるハイライトやキャストシャドウなどの画像の高周波特徴に重要な影響を及ぼす幾何学的情報を活用するためにはほとんど行われていない。 そこで我々は,深層学習を用いた深度マップを用いた1枚のフラッシュ写真から画像の照準を行うフレームワークを提案する。 深度マップを組み込むことにより,新しい照明下でのリアルな高周波効果を,フラッシュライト画像からの幾何学的画像分解により外挿し,シャドウエンコード変換深度マップからキャストシャドウマップを予測できる。 さらに、シングルイメージベースの設定は、データキャプチャプロセスを大幅に単純化します。 画像分解と画像リライトにおける最先端画像ベースアプローチに対する幾何誘導アプローチの利点を実験的に検証し,実携帯電話写真の実例での性能を実証した。

関連論文リスト

• Neural Fields meet Explicit Geometric Representation for Inverse Rendering of Urban Scenes [62.769186261245416]
  本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。 具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
  論文  参考訳（メタデータ） (2023-04-06T17:51:54Z)
• WildLight: In-the-wild Inverse Rendering with a Flashlight [77.31815397135381]
  本研究では、未知の環境光下での逆レンダリングのための実用的な測光ソリューションを提案する。 本システムは,スマートフォンで撮影した多視点画像のみを用いて,シーン形状と反射率を復元する。 提案手法は実装が容易で,セットアップも容易で,既存の逆レンダリング技術よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-24T17:59:56Z)
• Designing An Illumination-Aware Network for Deep Image Relighting [69.750906769976]
  本稿では、階層的なサンプリングから1つの画像からシーンを段階的にリライトするためのガイダンスに従うイルミネーション・アウェア・ネットワーク(IAN)を提案する。 さらに、物理レンダリングプロセスの近似として、イルミネーション・アウェア・残留ブロック(IARB)が設計されている。 実験の結果,提案手法は従来の最先端手法よりも定量的,定性的な照準結果が得られることがわかった。
  論文  参考訳（メタデータ） (2022-07-21T16:21:24Z)
• Geometry-aware Single-image Full-body Human Relighting [37.381122678376805]
  単一イメージの人間のリライティングは、入力画像をアルベド、形状、照明に分解することで、新たな照明条件下でターゲットの人間をリライティングすることを目的としている。 それまでの方法は、アルベドと照明の絡み合いと、硬い影の欠如に悩まされていた。 我々のフレームワークは、難易度の高い照明条件下で、キャストシャドウのような光現実性の高い高周波影を生成することができる。
  論文  参考訳（メタデータ） (2022-07-11T10:21:02Z)
• A Dark Flash Normal Camera [6.686241050151697]
  カジュアル撮影は、低画質の画像が得られ、下流処理の性能が低下する、制御不能な照明でしばしば行われる。 近赤外光源(NIR)とカメラ(いわゆる「暗フラッシュ画像」)で可視光を補うことで、これらの条件にもかかわらず人物を映し出すシーンの表面の正常さと反射率マップを推定する問題について考察する。 この方法では、任意の可視光の下で捉えた単一カラー画像と、制御されたフロントライトNIR照明下で撮影した単一の暗いフラッシュ画像とを同じ視点で入力し、正規写像、拡散アルベドマップ、およびその特異強度マップを演算する。
  論文  参考訳（メタデータ） (2020-12-11T05:08:22Z)
• Light Stage Super-Resolution: Continuous High-Frequency Relighting [58.09243542908402]
  光ステージから採取した人間の顔の「超解像」を学習ベースで解析する手法を提案する。 本手法では,ステージ内の隣接する照明に対応する撮像画像を集約し,ニューラルネットワークを用いて顔の描画を合成する。 我々の学習モデルは、リアルな影と特異なハイライトを示す任意の光方向のレンダリングを生成することができる。
  論文  参考訳（メタデータ） (2020-10-17T23:40:43Z)
• Deep Bilateral Retinex for Low-Light Image Enhancement [96.15991198417552]
  低照度画像は、低コントラスト、色歪み、測定ノイズによる視界の低下に悩まされる。 本稿では,低照度画像強調のための深層学習手法を提案する。 提案手法は最先端の手法と非常に競合し, 極めて低照度で撮影した画像の処理において, 他に比べて大きな優位性を有する。
  論文  参考訳（メタデータ） (2020-07-04T06:26:44Z)
• Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
  本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。 まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。 これらの深度マップは、異なるビューを粗く整列するために使用される。 本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-03-27T21:28:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。