論文の概要: Light Stage Super-Resolution: Continuous High-Frequency Relighting
- arxiv url: http://arxiv.org/abs/2010.08888v1
- Date: Sat, 17 Oct 2020 23:40:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-06 12:14:49.366571
- Title: Light Stage Super-Resolution: Continuous High-Frequency Relighting
- Title（参考訳）: 光ステージ超解像:連続高周波リライト
- Authors: Tiancheng Sun, Zexiang Xu, Xiuming Zhang, Sean Fanello, Christoph
Rhemann, Paul Debevec, Yun-Ta Tsai, Jonathan T. Barron, Ravi Ramamoorthi
- Abstract要約: 光ステージから採取した人間の顔の「超解像」を学習ベースで解析する手法を提案する。
本手法では,ステージ内の隣接する照明に対応する撮像画像を集約し,ニューラルネットワークを用いて顔の描画を合成する。
我々の学習モデルは、リアルな影と特異なハイライトを示す任意の光方向のレンダリングを生成することができる。
- 参考スコア（独自算出の注目度）: 58.09243542908402
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The light stage has been widely used in computer graphics for the past two
decades, primarily to enable the relighting of human faces. By capturing the
appearance of the human subject under different light sources, one obtains the
light transport matrix of that subject, which enables image-based relighting in
novel environments. However, due to the finite number of lights in the stage,
the light transport matrix only represents a sparse sampling on the entire
sphere. As a consequence, relighting the subject with a point light or a
directional source that does not coincide exactly with one of the lights in the
stage requires interpolation and resampling the images corresponding to nearby
lights, and this leads to ghosting shadows, aliased specularities, and other
artifacts. To ameliorate these artifacts and produce better results under
arbitrary high-frequency lighting, this paper proposes a learning-based
solution for the "super-resolution" of scans of human faces taken from a light
stage. Given an arbitrary "query" light direction, our method aggregates the
captured images corresponding to neighboring lights in the stage, and uses a
neural network to synthesize a rendering of the face that appears to be
illuminated by a "virtual" light source at the query location. This neural
network must circumvent the inherent aliasing and regularity of the light stage
data that was used for training, which we accomplish through the use of
regularized traditional interpolation methods within our network. Our learned
model is able to produce renderings for arbitrary light directions that exhibit
realistic shadows and specular highlights, and is able to generalize across a
wide variety of subjects.
- Abstract（参考訳）: 光のステージは、主に人間の顔のリライティングを可能にするために、過去20年間コンピュータグラフィックスで広く使われてきた。
異なる光源の下で被写体の外観を捉えることにより、その被写体の光伝達マトリックスを取得し、新しい環境下で画像ベースのリライティングを可能にする。
しかし、ステージ内の光の数が有限であることから、光輸送行列は球全体に対するサンプリングのばらばらさを表わすだけである。
結果として、ステージ内のライトの1つと正確に一致しない点灯や方向光源を被写体に照らすには、近くのライトに対応する画像の補間とサンプリングが必要となり、結果としてゴーストシャドー、エイリアス付きスペクティリティ、その他のアーティファクトにつながる。
そこで本稿では,これらの人工物を改良し,任意の高周波照明下でより良い結果を得るため,光ステージから採取した人間の顔スキャンの「超解像」のための学習ベースの解法を提案する。
任意の「クエリ」光方向が与えられると、この方法はステージ内の隣り合う光に対応する撮像画像を集約し、ニューラルネットワークを用いて、クエリの場所にある「仮想」光源で照らされたように見える顔のレンダリングを合成する。
このニューラルネットワークは、トレーニングに使われた光ステージデータの固有のエイリアスと規則性を回避しなければなりません。
学習したモデルは、リアルな影や特異なハイライトを示す任意の光方向のレンダリングを作成でき、様々な主題を一般化することができる。
関連論文リスト
- All-frequency Full-body Human Image Relighting [1.529342790344802]
人間の画像のリライティングは、肖像画における照明効果のポストフォトグラフィー編集を可能にする。
現在の主流のアプローチでは、物理的シェーディングの原則を明示的に考慮することなく、ニューラルネットワークを使用して照明効果を近似している。
本研究では,低周波から高周波の影や陰影を再現できる2段階照明法を提案する。
論文 参考訳（メタデータ） (2024-11-01T04:45:48Z) - Relightful Harmonization: Lighting-aware Portrait Background Replacement [23.19641174787912]
背景画像を用いた背景像に対する高度な照明効果をシームレスに調和させるライティング対応拡散モデルであるRelightful Harmonizationを導入する。
まず、拡散モデルを用いて、対象画像の背景から照明情報をエンコードする照明表現モジュールを導入する。
第2に、画像背景から学習した照明特徴と、パノラマ環境マップから学習した照明特徴とを整列するアライメントネットワークを導入する。
論文 参考訳（メタデータ） (2023-12-11T23:20:31Z) - Improving Lens Flare Removal with General Purpose Pipeline and Multiple
Light Sources Recovery [69.71080926778413]
フレアアーティファクトは、画像の視覚的品質と下流のコンピュータビジョンタスクに影響を与える。
現在の方法では、画像信号処理パイプラインにおける自動露光やトーンマッピングは考慮されていない。
本稿では、ISPを再検討し、より信頼性の高い光源回収戦略を設計することで、レンズフレア除去性能を向上させるソリューションを提案する。
論文 参考訳（メタデータ） (2023-08-31T04:58:17Z) - Learning to Relight Portrait Images via a Virtual Light Stage and
Synthetic-to-Real Adaptation [76.96499178502759]
Relightingは、イメージ内の人物を、ターゲットの照明のある環境に現れたかのように再照らすことを目的としている。
最近の手法は、高品質な結果を得るためにディープラーニングに依存している。
そこで本研究では,光ステージを必要とせずに,SOTA(State-of-the-art Relighting Method)と同等に動作可能な新しい手法を提案する。
論文 参考訳（メタデータ） (2022-09-21T17:15:58Z) - Neural Radiance Transfer Fields for Relightable Novel-view Synthesis
with Global Illumination [63.992213016011235]
本稿では,ニューラル計算された放射光伝達関数を学習し,新しい視点下でのシーンリライティング手法を提案する。
本手法は,1つの未知の照明条件下で,シーンの実際の画像に対してのみ監視することができる。
その結果, シーンパラメータのアンタングルの復元は, 現状よりも有意に向上していることがわかった。
論文 参考訳（メタデータ） (2022-07-27T16:07:48Z) - Universal Photometric Stereo Network using Global Lighting Contexts [4.822598110892846]
本論文は、ユニバーサル測光ステレオと呼ばれる新しい測光ステレオタスクに取り組む。
様々な形状や素材の物体に対して、特定のモデルを仮定することなく、任意の照明のバリエーションで機能することが想定されている。
論文 参考訳（メタデータ） (2022-06-06T09:32:06Z) - Physically-Based Editing of Indoor Scene Lighting from a Single Image [106.60252793395104]
本研究では,1つの画像から複雑な室内照明を推定深度と光源セグメンテーションマスクで編集する手法を提案する。
1)シーン反射率とパラメトリックな3D照明を推定する全体的シーン再構成法,2)予測からシーンを再レンダリングするニューラルレンダリングフレームワーク,である。
論文 参考訳（メタデータ） (2022-05-19T06:44:37Z) - Towards Geometry Guided Neural Relighting with Flash Photography [26.511476565209026]
本稿では,深層学習を用いた深度マップを用いた1枚のフラッシュ写真から画像のリライティングを行うフレームワークを提案する。
本研究は,本質的な画像分解と画像リライティングにおける最先端の画像ベースアプローチに対する幾何学的アプローチの利点を実験的に検証する。
論文 参考訳（メタデータ） (2020-08-12T08:03:28Z) - Neural Light Transport for Relighting and View Synthesis [70.39907425114302]
シーンの光輸送(LT)は、異なる照明と視界の方向の下でどのように見えるかを記述する。
本研究では、既知の幾何学的性質のテクスチャアトラスに埋め込まれたLTの神経表現を学習するための半パラメトリック手法を提案する。
照明条件下では,従来観測されていた照度と視界を融合させて,同じシーンの新たなイメージを合成する方法を示す。
論文 参考訳（メタデータ） (2020-08-09T20:13:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。