論文の概要: 2D Image Relighting with Image-to-Image Translation
- arxiv url: http://arxiv.org/abs/2006.07816v2
- Date: Fri, 26 Jun 2020 23:35:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-21 13:04:22.390464
- Title: 2D Image Relighting with Image-to-Image Translation
- Title（参考訳）: 画像間変換による2次元画像のリライティング
- Authors: Paul Gafton and Erick Maraz
- Abstract要約: 我々は、光源の方向を任意の方向から、前述の8つのうちの1つに変更できるように、8つのニューラルネットワークを訓練する。
ツールとして、画像中の光源の方向を識別する訓練を施した単純なCNNを提供する。
- 参考スコア（独自算出の注目度）: 0.342658286826597
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the advent of Generative Adversarial Networks (GANs), a finer level of
control in manipulating various features of an image has become possible. One
example of such fine manipulation is changing the position of the light source
in a scene. This is fundamentally an ill-posed problem, since it requires
understanding the scene geometry to generate proper lighting effects. This
problem is not a trivial one and can become even more complicated if we want to
change the direction of the light source from any direction to a specific one.
Here we provide our attempt to solve this problem using GANs. Specifically,
pix2pix [arXiv:1611.07004] trained with the dataset VIDIT [arXiv:2005.05460]
which contains images of the same scene with different types of light
temperature and 8 different light source positions (N, NE, E, SE, S, SW, W,
NW). The results are 8 neural networks trained to be able to change the
direction of the light source from any direction to one of the 8 previously
mentioned. Additionally, we provide, as a tool, a simple CNN trained to
identify the direction of the light source in an image.
- Abstract（参考訳）: gans(generative adversarial network)の出現により、画像の様々な特徴を操作する際のより細かいレベルの制御が可能となった。
このような細かい操作の一例は、シーン内の光源の位置を変更することである。
これは基本的に、適切な照明効果を生み出すためにシーン幾何学を理解する必要があるため、不適切な問題である。
この問題は自明なものではなく、光源の方向を任意の方向から特定の方向に変更したい場合、さらに複雑になる可能性がある。
ここでは、GANを用いてこの問題を解決する試みについて述べる。
具体的には、データセット VIDIT [arXiv:2005.05460] でトレーニングされた pix2pix [arXiv:1611.07004] には、異なるタイプの光温度と8つの異なる光源位置(N, NE, E, SE, S, SW, W, NW)の同じシーンの画像が含まれている。
その結果、8つのニューラルネットワークがトレーニングされ、光源の方向を任意の方向から、前述の8つの方向に変えられるようになった。
さらに、画像中の光源の方向を識別するために訓練された単純なcnnをツールとして提供する。
関連論文リスト
- A CNN Based Approach for the Point-Light Photometric Stereo Problem [26.958763133729846]
本稿では、遠距離場光度ステレオにおける深部ニューラルネットワークの最近の改良を活用して、現実的な仮定を処理できるCNNベースのアプローチを提案する。
われわれのアプローチは、DiLiGenT実世界のデータセットの最先端よりも優れている。
近距離点光源PSデータに対する我々のアプローチの性能を測定するため、LUCESを「近距離点光のための最初の実世界のデータセット」として紹介する。
論文 参考訳（メタデータ） (2022-10-10T12:57:12Z) - Designing An Illumination-Aware Network for Deep Image Relighting [69.750906769976]
本稿では、階層的なサンプリングから1つの画像からシーンを段階的にリライトするためのガイダンスに従うイルミネーション・アウェア・ネットワーク(IAN)を提案する。
さらに、物理レンダリングプロセスの近似として、イルミネーション・アウェア・残留ブロック(IARB)が設計されている。
実験の結果,提案手法は従来の最先端手法よりも定量的,定性的な照準結果が得られることがわかった。
論文 参考訳（メタデータ） (2022-07-21T16:21:24Z) - Deep Rotation Correction without Angle Prior [57.76737888499145]
我々は,高コンテンツ忠実度で傾きを自動的に補正する,回転補正という新しい実用的タスクを提案する。
このタスクは画像編集アプリケーションに簡単に統合でき、ユーザーは手動操作なしで回転した画像を修正できる。
我々はニューラルネットワークを利用して、傾斜した画像を知覚的に水平に歪めることができる光学フローを予測する。
論文 参考訳（メタデータ） (2022-07-07T02:46:27Z) - Physically-Based Editing of Indoor Scene Lighting from a Single Image [106.60252793395104]
本研究では,1つの画像から複雑な室内照明を推定深度と光源セグメンテーションマスクで編集する手法を提案する。
1)シーン反射率とパラメトリックな3D照明を推定する全体的シーン再構成法,2)予測からシーンを再レンダリングするニューラルレンダリングフレームワーク,である。
論文 参考訳（メタデータ） (2022-05-19T06:44:37Z) - SILT: Self-supervised Lighting Transfer Using Implicit Image
Decomposition [27.72518108918135]
このソリューションは、まず任意の照明スタイルの入力画像を統一されたドメインにマッピングすることを目的として、2分岐ネットワークとして動作する。
次に、生成された出力とスタイル参照と共に提示される判別器を用いて、この統合入力ドメインを再マップする。
本手法は, 照明監督を必要とせず, 2つの異なるデータセットにおいて, 教師付きリライティングソリューションよりも優れていることを示す。
論文 参考訳（メタデータ） (2021-10-25T12:52:53Z) - Intrinsic Image Transfer for Illumination Manipulation [1.2387676601792899]
本稿では,照明操作のための固有画像転送(IIT)アルゴリズムを提案する。
2つの照明面間の局所的な画像変換を生成する。
本報告では,本質的な画像分解を行うことなく,全ての損失を低減できることを示す。
論文 参考訳（メタデータ） (2021-07-01T19:12:24Z) - Relighting Images in the Wild with a Self-Supervised Siamese
Auto-Encoder [62.580345486483886]
本研究では,野生の単一ビュー画像の自己教師付きリライティング手法を提案する。
この方法は、イメージを2つの別々のエンコーディングに分解するオートエンコーダに基づいている。
Youtube 8MやCelebAなどの大規模データセットでモデルをトレーニングします。
論文 参考訳（メタデータ） (2020-12-11T16:08:50Z) - Light Stage Super-Resolution: Continuous High-Frequency Relighting [58.09243542908402]
光ステージから採取した人間の顔の「超解像」を学習ベースで解析する手法を提案する。
本手法では,ステージ内の隣接する照明に対応する撮像画像を集約し,ニューラルネットワークを用いて顔の描画を合成する。
我々の学習モデルは、リアルな影と特異なハイライトを示す任意の光方向のレンダリングを生成することができる。
論文 参考訳（メタデータ） (2020-10-17T23:40:43Z) - Deep Photometric Stereo for Non-Lambertian Surfaces [89.05501463107673]
我々は、PS-FCNと呼ばれる、校正された測光ステレオのための完全な畳み込みディープネットワークを導入する。
PS-FCNは反射率観測から表面正規へのマッピングを学習し、一般的な等方反射率と未知の等方反射率で表面を処理できる。
光方向が不明な未定のシナリオに対処するため、入力画像から光方向を推定するLCNetという新しい畳み込みネットワークを導入する。
論文 参考訳（メタデータ） (2020-07-26T15:20:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。