論文の概要: Physically Inspired Dense Fusion Networks for Relighting

• arxiv url: http://arxiv.org/abs/2105.02209v1
• Date: Wed, 5 May 2021 17:33:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-06 12:57:43.535778
• Title: Physically Inspired Dense Fusion Networks for Relighting
• Title（参考訳）: 物理的にインスパイアされた高密度核融合ネットワーク
• Authors: Amirsaeed Yazdani, Tiantong Guo, Vishal Monga
• Abstract要約: 物理的洞察でニューラルネットワークを豊かにするモデルを提案する。 2つの異なる戦略により、新しい照明設定でリライト画像を生成します。 提案手法は,よく知られた忠実度指標と知覚的損失の点で,最先端手法を上回ることができることを示す。
• 参考スコア（独自算出の注目度）: 45.66699760138863
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image relighting has emerged as a problem of significant research interest inspired by augmented reality applications. Physics-based traditional methods, as well as black box deep learning models, have been developed. The existing deep networks have exploited training to achieve a new state of the art; however, they may perform poorly when training is limited or does not represent problem phenomenology, such as the addition or removal of dense shadows. We propose a model which enriches neural networks with physical insight. More precisely, our method generates the relighted image with new illumination settings via two different strategies and subsequently fuses them using a weight map (w). In the first strategy, our model predicts the material reflectance parameters (albedo) and illumination/geometry parameters of the scene (shading) for the relit image (we refer to this strategy as intrinsic image decomposition (IID)). The second strategy is solely based on the black box approach, where the model optimizes its weights based on the ground-truth images and the loss terms in the training stage and generates the relit output directly (we refer to this strategy as direct). While our proposed method applies to both one-to-one and any-to-any relighting problems, for each case we introduce problem-specific components that enrich the model performance: 1) For one-to-one relighting we incorporate normal vectors of the surfaces in the scene to adjust gloss and shadows accordingly in the image. 2) For any-to-any relighting, we propose an additional multiscale block to the architecture to enhance feature extraction. Experimental results on the VIDIT 2020 and the VIDIT 2021 dataset (used in the NTIRE 2021 relighting challenge) reveals that our proposal can outperform many state-of-the-art methods in terms of well-known fidelity metrics and perceptual loss.
• Abstract（参考訳）: 画像のリライトは、拡張現実の応用に触発された重要な研究の関心事である。 物理に基づく伝統的な手法やブラックボックス深層学習モデルが開発されている。 既存のディープネットワークは、新しい状態を達成するためにトレーニングを活用しているが、トレーニングが制限されている場合や、密集した影の追加や削除といった問題表現論を表現していない場合、うまく機能しない場合がある。 本稿では,ニューラルネットワークを物理的洞察で強化するモデルを提案する。 より正確には、2つの異なる戦略によって新しい照明設定の照明画像を生成し、その後重みマップ(w)を用いて融合する。 第1の戦略では,本手法はシーンの反射率パラメータ(アルベド)と被写体画像の照度パラメータ(シェーディング)を予測する(本手法を内在画像分解(IID)と呼ぶ)。 第2の戦略はブラックボックスのアプローチのみに基づいており、この手法では、トレーニング段階における地平線画像と損失項に基づいて重みを最適化し、信頼出力を直接生成する(この戦略を直接的に参照する)。 提案手法は1対1と任意のリライト問題の両方に適用できるが,それぞれの場合において,モデル性能を高める問題固有のコンポーネントを導入する: 1) 1対1リライトでは,シーン内の面の通常のベクトルを組み込んで,画像内の光沢と影を調整する。 2)任意のリライトに対して,特徴抽出を強化するために,アーキテクチャに追加のマルチスケールブロックを提案する。 VIDIT 2020とVIDIT 2021データセット(NETRE 2021リライティングチャレンジで使用される)の実験結果から、我々の提案は、よく知られた忠実度指標と知覚的損失の観点から、多くの最先端手法より優れていることが判明した。

関連論文リスト

• Learning to Relight Portrait Images via a Virtual Light Stage and Synthetic-to-Real Adaptation [76.96499178502759]
  Relightingは、イメージ内の人物を、ターゲットの照明のある環境に現れたかのように再照らすことを目的としている。 最近の手法は、高品質な結果を得るためにディープラーニングに依存している。 そこで本研究では,光ステージを必要とせずに,SOTA(State-of-the-art Relighting Method)と同等に動作可能な新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-09-21T17:15:58Z)
• Designing An Illumination-Aware Network for Deep Image Relighting [69.750906769976]
  本稿では、階層的なサンプリングから1つの画像からシーンを段階的にリライトするためのガイダンスに従うイルミネーション・アウェア・ネットワーク(IAN)を提案する。 さらに、物理レンダリングプロセスの近似として、イルミネーション・アウェア・残留ブロック(IARB)が設計されている。 実験の結果,提案手法は従来の最先端手法よりも定量的,定性的な照準結果が得られることがわかった。
  論文  参考訳（メタデータ） (2022-07-21T16:21:24Z)
• Geometry-aware Single-image Full-body Human Relighting [37.381122678376805]
  単一イメージの人間のリライティングは、入力画像をアルベド、形状、照明に分解することで、新たな照明条件下でターゲットの人間をリライティングすることを目的としている。 それまでの方法は、アルベドと照明の絡み合いと、硬い影の欠如に悩まされていた。 我々のフレームワークは、難易度の高い照明条件下で、キャストシャドウのような光現実性の高い高周波影を生成することができる。
  論文  参考訳（メタデータ） (2022-07-11T10:21:02Z)
• PIE-Net: Photometric Invariant Edge Guided Network for Intrinsic Image Decomposition [17.008724191799313]
  固有の画像分解は、画像から画像形成成分(反射および陰影)を回収する過程である。 本稿では,固有画像分解のためのエッジ駆動ハイブリッドCNN手法を提案する。
  論文  参考訳（メタデータ） (2022-03-30T20:46:15Z)
• Low-light Image Enhancement by Retinex Based Algorithm Unrolling and Adjustment [50.13230641857892]
  本稿では,低照度画像強調(LIE)問題に対する新たなディープラーニングフレームワークを提案する。 提案フレームワークは,大域的明るさと局所的明るさ感度の両方を考慮したアルゴリズムアンロールと調整ネットワークに着想を得た分解ネットワークを含む。 一連の典型的なLIEデータセットの実験では,既存の手法と比較して,定量的かつ視覚的に,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2022-02-12T03:59:38Z)
• An Optical physics inspired CNN approach for intrinsic image decomposition [0.0]
  内在画像分解は、画像の構成成分を生成する開放的な問題である。 画像から導出した物理パラメータを用いてこの分解が可能なニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-05-21T00:54:01Z)
• Image Restoration by Deep Projected GSURE [115.57142046076164]
  Ill-posed inverse problem は、デブロアリングや超解像など、多くの画像処理アプリケーションに現れる。 本稿では,一般化されたSteinUnbiased Risk Estimator(GSURE)の「投影変換」とCNNによる潜在画像のパラメータ化を含む損失関数の最小化に基づく,新たな画像復元フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-04T08:52:46Z)
• Deep Variational Network Toward Blind Image Restoration [60.45350399661175]
  ブラインド画像復元はコンピュータビジョンでは一般的だが難しい問題である。 両利点を両立させることを目的として,新しいブラインド画像復元手法を提案する。 画像デノイングと超解像という2つの典型的なブラインド赤外線タスクの実験により,提案手法が現状よりも優れた性能を達成できることが実証された。
  論文  参考訳（メタデータ） (2020-08-25T03:30:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。