論文の概要: SIDNet: Learning Shading-aware Illumination Descriptor for Image Harmonization

• arxiv url: http://arxiv.org/abs/2112.01314v3
• Date: Mon, 18 Sep 2023 09:50:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-20 02:25:23.390887
• Title: SIDNet: Learning Shading-aware Illumination Descriptor for Image Harmonization
• Title（参考訳）: SIDNet:画像調和のためのシェーディング対応イルミネーション記述子
• Authors: Zhongyun Hu, Ntumba Elie Nsampi, Xue Wang and Qing Wang
• Abstract要約: 画像調和は、背景との互換性を高めるために前景の外観を調整することを目的としている。 画像調和タスクを,1)背景画像の照度推定と2)背景照明下の前景オブジェクトの再レンダリングの2つのサブプロブレムに分解する。
• 参考スコア（独自算出の注目度）: 10.655037947250516
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image harmonization aims at adjusting the appearance of the foreground to make it more compatible with the background. Without exploring background illumination and its effects on the foreground elements, existing works are incapable of generating a realistic foreground shading. In this paper, we decompose the image harmonization task into two sub-problems: 1) illumination estimation of the background image and 2) re-rendering of foreground objects under background illumination. Before solving these two sub-problems, we first learn a shading-aware illumination descriptor via a well-designed neural rendering framework, of which the key is a shading bases module that generates multiple shading bases from the foreground image. Then we design a background illumination estimation module to extract the illumination descriptor from the background. Finally, the Shading-aware Illumination Descriptor is used in conjunction with the neural rendering framework (SIDNet) to produce the harmonized foreground image containing a novel harmonized shading. Moreover, we construct a photo-realistic synthetic image harmonization dataset that contains numerous shading variations with image-based lighting. Extensive experiments on both synthetic and real data demonstrate the superiority of the proposed method, especially in dealing with foreground shadings.
• Abstract（参考訳）: 画像調和は、背景との互換性を高めるために前景の外観を調整することを目的としている。 背景照明と前景要素に対する効果を探索することなく、既存の作品では現実的な前景シェーディングを生成できない。 本稿では,画像調和タスクを2つのサブ問題に分解する。 1)背景画像の照度と照度の推定 2)背景照明下での前景オブジェクトの再レンダリング これら2つのサブ問題を解く前に、まず、キーが前景画像から複数のシェーディングベースを生成するシェーディングベースsモジュールであるよく設計されたニューラルネットワークレンダリングフレームワークを介してシェーディングアウェア照明記述子を学習する。 次に,背景から照明記述子を抽出するために背景照明推定モジュールを設計する。 最後に、シェーディング対応イルミネーション記述子をニューラルネットワークフレームワーク(SIDNet)と併用して、新しい調和シェーディングを含む調和した前景画像を生成する。 さらに,画像ベースの照明による多数のシェーディング変動を含むフォトリアリスティック合成画像調和データセットを構築した。 合成データと実データの両方に対する大規模な実験は, 提案手法の優位性を実証している。

関連論文リスト

• All-frequency Full-body Human Image Relighting [1.529342790344802]
  人間の画像のリライティングは、肖像画における照明効果のポストフォトグラフィー編集を可能にする。 現在の主流のアプローチでは、物理的シェーディングの原則を明示的に考慮することなく、ニューラルネットワークを使用して照明効果を近似している。 本研究では,低周波から高周波の影や陰影を再現できる2段階照明法を提案する。
  論文  参考訳（メタデータ） (2024-11-01T04:45:48Z)
• LightIt: Illumination Modeling and Control for Diffusion Models [61.80461416451116]
  我々は、画像生成のための明示的な照明制御方法であるLightItを紹介する。 最近の生成法では照明制御が欠如しており、画像生成の多くの芸術的側面に不可欠である。 本手法は、制御可能で一貫した照明による画像生成を可能にする最初の方法である。
  論文  参考訳（メタデータ） (2024-03-15T18:26:33Z)
• Recasting Regional Lighting for Shadow Removal [41.107191352835315]
  影領域では、物体テクスチャの劣化度は局所照明に依存する。 影領域の照明層と反射層を推定するシャドーアウェア分解ネットワークを提案する。 次に、照明層における影領域の照明をリキャストする新たな二元補正ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-02-01T05:08:39Z)
• Relightful Harmonization: Lighting-aware Portrait Background Replacement [23.19641174787912]
  背景画像を用いた背景像に対する高度な照明効果をシームレスに調和させるライティング対応拡散モデルであるRelightful Harmonizationを導入する。 まず、拡散モデルを用いて、対象画像の背景から照明情報をエンコードする照明表現モジュールを導入する。 第2に、画像背景から学習した照明特徴と、パノラマ環境マップから学習した照明特徴とを整列するアライメントネットワークを導入する。
  論文  参考訳（メタデータ） (2023-12-11T23:20:31Z)
• Neural Fields meet Explicit Geometric Representation for Inverse Rendering of Urban Scenes [62.769186261245416]
  本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。 具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
  論文  参考訳（メタデータ） (2023-04-06T17:51:54Z)
• Geometry-aware Single-image Full-body Human Relighting [37.381122678376805]
  単一イメージの人間のリライティングは、入力画像をアルベド、形状、照明に分解することで、新たな照明条件下でターゲットの人間をリライティングすることを目的としている。 それまでの方法は、アルベドと照明の絡み合いと、硬い影の欠如に悩まされていた。 我々のフレームワークは、難易度の高い照明条件下で、キャストシャドウのような光現実性の高い高周波影を生成することができる。
  論文  参考訳（メタデータ） (2022-07-11T10:21:02Z)
• Physically-Based Editing of Indoor Scene Lighting from a Single Image [106.60252793395104]
  本研究では,1つの画像から複雑な室内照明を推定深度と光源セグメンテーションマスクで編集する手法を提案する。 1)シーン反射率とパラメトリックな3D照明を推定する全体的シーン再構成法,2)予測からシーンを再レンダリングするニューラルレンダリングフレームワーク,である。
  論文  参考訳（メタデータ） (2022-05-19T06:44:37Z)
• A Shading-Guided Generative Implicit Model for Shape-Accurate 3D-Aware Image Synthesis [163.96778522283967]
  そこで本研究では,シェーディング誘導型生成暗黙モデルを提案する。 正確な3D形状は、異なる照明条件下でリアルなレンダリングをもたらす必要がある。 複数のデータセットに対する実験により,提案手法が光リアルな3次元画像合成を実現することを示す。
  論文  参考訳（メタデータ） (2021-10-29T10:53:12Z)
• Deep CG2Real: Synthetic-to-Real Translation via Image Disentanglement [78.58603635621591]
  画像空間における未ペアの合成-現実翻訳ネットワークの訓練は、厳しい制約下にある。 画像の非交叉シェーディング層とアルベド層に作用する半教師付きアプローチを提案する。 私たちの2段階のパイプラインはまず、物理ベースのレンダリングをターゲットとして、教師付き方法で正確なシェーディングを予測することを学習します。
  論文  参考訳（メタデータ） (2020-03-27T21:45:41Z)
• BachGAN: High-Resolution Image Synthesis from Salient Object Layout [78.51640906030244]
  本稿では、より実用的な画像生成のための新しい課題である、有能なオブジェクトレイアウトからの高品質な画像合成を提案する。 i) セグメンテーションマップ入力なしできめ細かい詳細と現実的なテクスチャを生成する方法、(ii) バックグラウンドを作成してスタンドアロンのオブジェクトにシームレスに織り込む方法である。 幻影背景表現を動的に生成することにより,高解像度画像をフォトリアリスティック・フォアグラウンドと積分背景の両方で合成することができる。
  論文  参考訳（メタデータ） (2020-03-26T00:54:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。