論文の概要: NeurSF: Neural Shading Field for Image Harmonization
- arxiv url: http://arxiv.org/abs/2112.01314v2
- Date: Sat, 4 Dec 2021 09:18:02 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-07 12:06:12.463011
- Title: NeurSF: Neural Shading Field for Image Harmonization
- Title（参考訳）: NeurSF:イメージ調和のためのニューラルシェーディングフィールド
- Authors: Zhongyun Hu, Ntumba Elie Nsampi, Xue Wang and Qing Wang
- Abstract要約: 画像調和は、背景との互換性を高めるために前景の外観を調整することを目的としている。
既存の作品では、現実的な前景のシェーディングを生成できない。
本稿では,背景画像の照度推定と前景オブジェクトのレンダリングの2つのサブプロブレムに画像調和を分解する。
- 参考スコア（独自算出の注目度）: 9.054765100497526
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Image harmonization aims at adjusting the appearance of the foreground to
make it more compatible with the background. Due to a lack of understanding of
the background illumination direction, existing works are incapable of
generating a realistic foreground shading. In this paper, we decompose the
image harmonization into two sub-problems: 1) illumination estimation of
background images and 2) rendering of foreground objects. Before solving these
two sub-problems, we first learn a direction-aware illumination descriptor via
a neural rendering framework, of which the key is a Shading Module that
decomposes the shading field into multiple shading components given depth
information. Then we design a Background Illumination Estimation Module to
extract the direction-aware illumination descriptor from the background.
Finally, the illumination descriptor is used in conjunction with the neural
rendering framework to generate the harmonized foreground image containing a
novel harmonized shading. Moreover, we construct a photo-realistic synthetic
image harmonization dataset that contains numerous shading variations by
image-based lighting. Extensive experiments on this dataset demonstrate the
effectiveness of the proposed method. Our dataset and code will be made
publicly available.
- Abstract（参考訳）: 画像調和は、背景との互換性を高めるために前景の外観を調整することを目的としている。
背景照明方向の理解が不十分なため、既存の作品では現実的な前景の陰影を生成できない。
本稿では,画像の調和を2つの部分問題に分解する。
1)背景画像と照明推定
2)フォアグラウンドオブジェクトのレンダリング。
これら2つのサブ問題を解く前に,まず,方向認識型照明ディスクリプタをニューラルネットワークフレームワークで学習し,そのキーはシェーディングフィールドを深度情報を得た複数のシェーディングコンポーネントに分解するシェーディングモジュールである。
そして,背景からの方向対応照明記述子を抽出する背景照明推定モジュールを設計する。
最後に、この照明ディスクリプタをニューラルネットワークレンダリングフレームワークと併用して、新しい調和したシェーディングを含む調和した前景画像を生成する。
さらに,画像ベース照明による多数のシェーディング変動を含むフォトリアリスティック合成画像調和データセットを構築した。
本データセットの大規模な実験により,提案手法の有効性が示された。
私たちのデータセットとコードは公開される予定だ。
関連論文リスト
- All-frequency Full-body Human Image Relighting [1.529342790344802]
人間の画像のリライティングは、肖像画における照明効果のポストフォトグラフィー編集を可能にする。
現在の主流のアプローチでは、物理的シェーディングの原則を明示的に考慮することなく、ニューラルネットワークを使用して照明効果を近似している。
本研究では,低周波から高周波の影や陰影を再現できる2段階照明法を提案する。
論文 参考訳（メタデータ） (2024-11-01T04:45:48Z) - LightIt: Illumination Modeling and Control for Diffusion Models [61.80461416451116]
我々は、画像生成のための明示的な照明制御方法であるLightItを紹介する。
最近の生成法では照明制御が欠如しており、画像生成の多くの芸術的側面に不可欠である。
本手法は、制御可能で一貫した照明による画像生成を可能にする最初の方法である。
論文 参考訳（メタデータ） (2024-03-15T18:26:33Z) - Recasting Regional Lighting for Shadow Removal [41.107191352835315]
影領域では、物体テクスチャの劣化度は局所照明に依存する。
影領域の照明層と反射層を推定するシャドーアウェア分解ネットワークを提案する。
次に、照明層における影領域の照明をリキャストする新たな二元補正ネットワークを提案する。
論文 参考訳（メタデータ） (2024-02-01T05:08:39Z) - Relightful Harmonization: Lighting-aware Portrait Background Replacement [23.19641174787912]
背景画像を用いた背景像に対する高度な照明効果をシームレスに調和させるライティング対応拡散モデルであるRelightful Harmonizationを導入する。
まず、拡散モデルを用いて、対象画像の背景から照明情報をエンコードする照明表現モジュールを導入する。
第2に、画像背景から学習した照明特徴と、パノラマ環境マップから学習した照明特徴とを整列するアライメントネットワークを導入する。
論文 参考訳（メタデータ） (2023-12-11T23:20:31Z) - Neural Fields meet Explicit Geometric Representation for Inverse
Rendering of Urban Scenes [62.769186261245416]
本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。
具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
論文 参考訳（メタデータ） (2023-04-06T17:51:54Z) - Geometry-aware Single-image Full-body Human Relighting [37.381122678376805]
単一イメージの人間のリライティングは、入力画像をアルベド、形状、照明に分解することで、新たな照明条件下でターゲットの人間をリライティングすることを目的としている。
それまでの方法は、アルベドと照明の絡み合いと、硬い影の欠如に悩まされていた。
我々のフレームワークは、難易度の高い照明条件下で、キャストシャドウのような光現実性の高い高周波影を生成することができる。
論文 参考訳（メタデータ） (2022-07-11T10:21:02Z) - Physically-Based Editing of Indoor Scene Lighting from a Single Image [106.60252793395104]
本研究では,1つの画像から複雑な室内照明を推定深度と光源セグメンテーションマスクで編集する手法を提案する。
1)シーン反射率とパラメトリックな3D照明を推定する全体的シーン再構成法,2)予測からシーンを再レンダリングするニューラルレンダリングフレームワーク,である。
論文 参考訳（メタデータ） (2022-05-19T06:44:37Z) - A Shading-Guided Generative Implicit Model for Shape-Accurate 3D-Aware
Image Synthesis [163.96778522283967]
そこで本研究では,シェーディング誘導型生成暗黙モデルを提案する。
正確な3D形状は、異なる照明条件下でリアルなレンダリングをもたらす必要がある。
複数のデータセットに対する実験により,提案手法が光リアルな3次元画像合成を実現することを示す。
論文 参考訳（メタデータ） (2021-10-29T10:53:12Z) - Deep CG2Real: Synthetic-to-Real Translation via Image Disentanglement [78.58603635621591]
画像空間における未ペアの合成-現実翻訳ネットワークの訓練は、厳しい制約下にある。
画像の非交叉シェーディング層とアルベド層に作用する半教師付きアプローチを提案する。
私たちの2段階のパイプラインはまず、物理ベースのレンダリングをターゲットとして、教師付き方法で正確なシェーディングを予測することを学習します。
論文 参考訳（メタデータ） (2020-03-27T21:45:41Z) - BachGAN: High-Resolution Image Synthesis from Salient Object Layout [78.51640906030244]
本稿では、より実用的な画像生成のための新しい課題である、有能なオブジェクトレイアウトからの高品質な画像合成を提案する。
i) セグメンテーションマップ入力なしできめ細かい詳細と現実的なテクスチャを生成する方法、(ii) バックグラウンドを作成してスタンドアロンのオブジェクトにシームレスに織り込む方法である。
幻影背景表現を動的に生成することにより,高解像度画像をフォトリアリスティック・フォアグラウンドと積分背景の両方で合成することができる。
論文 参考訳（メタデータ） (2020-03-26T00:54:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。