論文の概要: SIDNet: Learning Shading-aware Illumination Descriptor for Image Harmonization

• arxiv url: http://arxiv.org/abs/2112.01314v3
• Date: Mon, 18 Sep 2023 09:50:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-20 02:25:23.390887
• Title: SIDNet: Learning Shading-aware Illumination Descriptor for Image Harmonization
• Title（参考訳）: SIDNet:画像調和のためのシェーディング対応イルミネーション記述子
• Authors: Zhongyun Hu, Ntumba Elie Nsampi, Xue Wang and Qing Wang
• Abstract要約: 画像調和は、背景との互換性を高めるために前景の外観を調整することを目的としている。 画像調和タスクを,1)背景画像の照度推定と2)背景照明下の前景オブジェクトの再レンダリングの2つのサブプロブレムに分解する。
• 参考スコア（独自算出の注目度）: 10.655037947250516
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image harmonization aims at adjusting the appearance of the foreground to make it more compatible with the background. Without exploring background illumination and its effects on the foreground elements, existing works are incapable of generating a realistic foreground shading. In this paper, we decompose the image harmonization task into two sub-problems: 1) illumination estimation of the background image and 2) re-rendering of foreground objects under background illumination. Before solving these two sub-problems, we first learn a shading-aware illumination descriptor via a well-designed neural rendering framework, of which the key is a shading bases module that generates multiple shading bases from the foreground image. Then we design a background illumination estimation module to extract the illumination descriptor from the background. Finally, the Shading-aware Illumination Descriptor is used in conjunction with the neural rendering framework (SIDNet) to produce the harmonized foreground image containing a novel harmonized shading. Moreover, we construct a photo-realistic synthetic image harmonization dataset that contains numerous shading variations with image-based lighting. Extensive experiments on both synthetic and real data demonstrate the superiority of the proposed method, especially in dealing with foreground shadings.
• Abstract（参考訳）: 画像調和は、背景との互換性を高めるために前景の外観を調整することを目的としている。 背景照明と前景要素に対する効果を探索することなく、既存の作品では現実的な前景シェーディングを生成できない。 本稿では,画像調和タスクを2つのサブ問題に分解する。 1)背景画像の照度と照度の推定 2)背景照明下での前景オブジェクトの再レンダリング これら2つのサブ問題を解く前に、まず、キーが前景画像から複数のシェーディングベースを生成するシェーディングベースsモジュールであるよく設計されたニューラルネットワークレンダリングフレームワークを介してシェーディングアウェア照明記述子を学習する。 次に,背景から照明記述子を抽出するために背景照明推定モジュールを設計する。 最後に、シェーディング対応イルミネーション記述子をニューラルネットワークフレームワーク(SIDNet)と併用して、新しい調和シェーディングを含む調和した前景画像を生成する。 さらに,画像ベースの照明による多数のシェーディング変動を含むフォトリアリスティック合成画像調和データセットを構築した。 合成データと実データの両方に対する大規模な実験は, 提案手法の優位性を実証している。

関連論文リスト

• CcHarmony: Color-checker based Image Harmonization Dataset [13.651034765401386]
  合成画像の前景を調整して背景と互換性を持たせ、よりリアルで調和した画像を生成する。 我々は、カラーチェッカー(cc)にちなむccHarmonyと呼ばれる画像調和データセットを構築した。
  論文  参考訳（メタデータ） (2022-06-01T23:57:16Z)
• Physically-Based Editing of Indoor Scene Lighting from a Single Image [106.60252793395104]
  本研究では,1つの画像から複雑な室内照明を推定深度と光源セグメンテーションマスクで編集する手法を提案する。 1)シーン反射率とパラメトリックな3D照明を推定する全体的シーン再構成法,2)予測からシーンを再レンダリングするニューラルレンダリングフレームワーク,である。
  論文  参考訳（メタデータ） (2022-05-19T06:44:37Z)
• A Shading-Guided Generative Implicit Model for Shape-Accurate 3D-Aware Image Synthesis [163.96778522283967]
  そこで本研究では,シェーディング誘導型生成暗黙モデルを提案する。 正確な3D形状は、異なる照明条件下でリアルなレンダリングをもたらす必要がある。 複数のデータセットに対する実験により,提案手法が光リアルな3次元画像合成を実現することを示す。
  論文  参考訳（メタデータ） (2021-10-29T10:53:12Z)
• SSH: A Self-Supervised Framework for Image Harmonization [97.16345684998788]
  我々は、編集せずに「自由」な自然画像だけで訓練できる新しい自己改善調和フレームワーク(SSH)を提案する。 提案したSSHは,基準指標,視覚的品質,主観的ユーザスタディにおいて,従来の最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-08-15T19:51:33Z)
• Intrinsic Image Transfer for Illumination Manipulation [1.2387676601792899]
  本稿では,照明操作のための固有画像転送(IIT)アルゴリズムを提案する。 2つの照明面間の局所的な画像変換を生成する。 本報告では,本質的な画像分解を行うことなく,全ての損失を低減できることを示す。
  論文  参考訳（メタデータ） (2021-07-01T19:12:24Z)
• Relighting Images in the Wild with a Self-Supervised Siamese Auto-Encoder [62.580345486483886]
  本研究では,野生の単一ビュー画像の自己教師付きリライティング手法を提案する。 この方法は、イメージを2つの別々のエンコーディングに分解するオートエンコーダに基づいている。 Youtube 8MやCelebAなどの大規模データセットでモデルをトレーニングします。
  論文  参考訳（メタデータ） (2020-12-11T16:08:50Z)
• Physics-based Shading Reconstruction for Intrinsic Image Decomposition [20.44458250060927]
  物理モデルから導出したアルベドおよびシェーディング勾配記述子を提案する。 学習自由な教師なし方法で対応するRGB画像勾配から直接、初期スパースシェーディングマップを算出する。 フル密度シェーディングマップを再構築する最適化手法を提案する。 我々はシェーディング推定のテクスチャと強度のあいまいさ問題に直接対処する最初の人物である。
  論文  参考訳（メタデータ） (2020-09-03T09:30:17Z)
• Scene relighting with illumination estimation in the latent space on an encoder-decoder scheme [68.8204255655161]
  本報告では,その目的を達成するための手法について述べる。 我々のモデルは、シーン内容、光源位置、色温度の異なる、人工的な場所のレンダリングデータセットに基づいて訓練されている。 本データセットでは,被写体の潜在空間表現における光条件の推測と置き換えを目的とした照明推定成分を用いたネットワークを用いた。
  論文  参考訳（メタデータ） (2020-06-03T15:25:11Z)
• BachGAN: High-Resolution Image Synthesis from Salient Object Layout [78.51640906030244]
  本稿では、より実用的な画像生成のための新しい課題である、有能なオブジェクトレイアウトからの高品質な画像合成を提案する。 i) セグメンテーションマップ入力なしできめ細かい詳細と現実的なテクスチャを生成する方法、(ii) バックグラウンドを作成してスタンドアロンのオブジェクトにシームレスに織り込む方法である。 幻影背景表現を動的に生成することにより,高解像度画像をフォトリアリスティック・フォアグラウンドと積分背景の両方で合成することができる。
  論文  参考訳（メタデータ） (2020-03-26T00:54:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。