論文の概要: OutCast: Outdoor Single-image Relighting with Cast Shadows
- arxiv url: http://arxiv.org/abs/2204.09341v1
- Date: Wed, 20 Apr 2022 09:24:14 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-21 20:39:42.321432
- Title: OutCast: Outdoor Single-image Relighting with Cast Shadows
- Title（参考訳）: OutCast:キャストシャドウ付き屋外シングルイメージライティング
- Authors: David Griffiths, Tobias Ritschel, Julien Philip
- Abstract要約: 本研究では,屋外画像のリライティング手法を提案する。
本手法は,1枚の画像から任意の新しい照明方向の鋳造影を予測することに焦点を当てる。
提案手法は,1つの画像のみを入力として,初めて最先端のリライト結果を実現する。
- 参考スコア（独自算出の注目度）: 19.354412901507175
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose a relighting method for outdoor images. Our method mainly focuses
on predicting cast shadows in arbitrary novel lighting directions from a single
image while also accounting for shading and global effects such the sun light
color and clouds. Previous solutions for this problem rely on reconstructing
occluder geometry, e.g. using multi-view stereo, which requires many images of
the scene. Instead, in this work we make use of a noisy off-the-shelf
single-image depth map estimation as a source of geometry. Whilst this can be a
good guide for some lighting effects, the resulting depth map quality is
insufficient for directly ray-tracing the shadows. Addressing this, we propose
a learned image space ray-marching layer that converts the approximate depth
map into a deep 3D representation that is fused into occlusion queries using a
learned traversal. Our proposed method achieves, for the first time,
state-of-the-art relighting results, with only a single image as input. For
supplementary material visit our project page at:
https://dgriffiths.uk/outcast.
- Abstract（参考訳）: 本稿では,屋外画像のリライト手法を提案する。
本手法は主に1枚の画像から任意の新しい照明方向におけるキャストシャドウの予測と、日光や雲の陰影や大域的な影響を考慮に入れたものである。
この問題に対する以前の解決策は、例えば、シーンの多くの画像を必要とするマルチビューステレオを使用するような、オクルダー幾何学の再構成に依存している。
代わりに、この研究では、ノイズの多い単眼深度マップを幾何の源として利用する。
これはいくつかの照明効果に良いガイドとなるが、その結果の深度マップの品質は影を直接照射するには不十分である。
そこで本研究では,近似深度マップを奥行き3次元表現に変換し,学習トラバーサルを用いて咬合問合せに融合する学習画像空間レイマーチング層を提案する。
提案手法は,1つの画像のみを入力として,初めて最先端のリライト結果を実現する。
追加資料については、プロジェクトのページを参照してください。
関連論文リスト
- IllumiNeRF: 3D Relighting Without Inverse Rendering [25.642960820693947]
対象の環境光と推定対象形状を条件とした画像拡散モデルを用いて,各入力画像をリライトする方法を示す。
ニューラル・レージアンス・フィールド (NeRF) をこれらの信頼された画像で再構成し, 対象光の下で新しいビューを描画する。
この戦略は驚くほど競争力があり、複数のリライトベンチマークで最先端の結果が得られることを実証する。
論文 参考訳（メタデータ） (2024-06-10T17:59:59Z) - Neural Fields meet Explicit Geometric Representation for Inverse
Rendering of Urban Scenes [62.769186261245416]
本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。
具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
論文 参考訳（メタデータ） (2023-04-06T17:51:54Z) - Designing An Illumination-Aware Network for Deep Image Relighting [69.750906769976]
本稿では、階層的なサンプリングから1つの画像からシーンを段階的にリライトするためのガイダンスに従うイルミネーション・アウェア・ネットワーク(IAN)を提案する。
さらに、物理レンダリングプロセスの近似として、イルミネーション・アウェア・残留ブロック(IARB)が設計されている。
実験の結果,提案手法は従来の最先端手法よりも定量的,定性的な照準結果が得られることがわかった。
論文 参考訳（メタデータ） (2022-07-21T16:21:24Z) - Geometry-aware Single-image Full-body Human Relighting [37.381122678376805]
単一イメージの人間のリライティングは、入力画像をアルベド、形状、照明に分解することで、新たな照明条件下でターゲットの人間をリライティングすることを目的としている。
それまでの方法は、アルベドと照明の絡み合いと、硬い影の欠如に悩まされていた。
我々のフレームワークは、難易度の高い照明条件下で、キャストシャドウのような光現実性の高い高周波影を生成することができる。
論文 参考訳（メタデータ） (2022-07-11T10:21:02Z) - Physically-Based Editing of Indoor Scene Lighting from a Single Image [106.60252793395104]
本研究では,1つの画像から複雑な室内照明を推定深度と光源セグメンテーションマスクで編集する手法を提案する。
1)シーン反射率とパラメトリックな3D照明を推定する全体的シーン再構成法,2)予測からシーンを再レンダリングするニューラルレンダリングフレームワーク,である。
論文 参考訳（メタデータ） (2022-05-19T06:44:37Z) - DeepShadow: Neural Shape from Shadow [12.283891012446647]
DeepShadowは、光度ステレオシャドウマップから深度マップと表面正常を復元するワンショット方式である。
自己および鋳型影が3次元再構成を妨害するだけでなく、学習信号として単独で使用できることを示す。
提案手法は,ニューラルネットワークを用いて影から3次元形状を再構成する最初の方法である。
論文 参考訳（メタデータ） (2022-03-28T20:11:15Z) - Self-supervised Outdoor Scene Relighting [92.20785788740407]
本稿では, 自己指導型リライティング手法を提案する。
当社のアプローチは,ユーザの監督なしにインターネットから収集した画像のコーパスのみに基づいて訓練されている。
以上の結果から,写実的かつ物理的に妥当な結果を生成できる技術が,見えない場面に一般化できることが示唆された。
論文 参考訳（メタデータ） (2021-07-07T09:46:19Z) - Relighting Images in the Wild with a Self-Supervised Siamese
Auto-Encoder [62.580345486483886]
本研究では,野生の単一ビュー画像の自己教師付きリライティング手法を提案する。
この方法は、イメージを2つの別々のエンコーディングに分解するオートエンコーダに基づいている。
Youtube 8MやCelebAなどの大規模データセットでモデルをトレーニングします。
論文 参考訳（メタデータ） (2020-12-11T16:08:50Z) - Towards Geometry Guided Neural Relighting with Flash Photography [26.511476565209026]
本稿では,深層学習を用いた深度マップを用いた1枚のフラッシュ写真から画像のリライティングを行うフレームワークを提案する。
本研究は,本質的な画像分解と画像リライティングにおける最先端の画像ベースアプローチに対する幾何学的アプローチの利点を実験的に検証する。
論文 参考訳（メタデータ） (2020-08-12T08:03:28Z) - Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。
まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。
これらの深度マップは、異なるビューを粗く整列するために使用される。
本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2020-03-27T21:28:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。