論文の概要: Intrinsic Harmonization for Illumination-Aware Compositing

• arxiv url: http://arxiv.org/abs/2312.03698v1
• Date: Wed, 6 Dec 2023 18:59:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-07 13:48:33.986550
• Title: Intrinsic Harmonization for Illumination-Aware Compositing
• Title（参考訳）: 照明・照明コンポジテーションにおける固有調和
• Authors: Chris Careaga, Ya\u{g}{\i}z Aksoy, S. Mahdi H. Miangoleh
• Abstract要約: 固有画像領域で定式化された自己教師付き照明調和方式を提案する。 まず、中間レベルの視覚表現から簡単な大域照明モデルを推定し、前景領域の粗いシェーディングを生成する。 ネットワークはこの推論シェーディングを洗練し、背景のシーンと整合する再シェーディングを生成する。
• 参考スコア（独自算出の注目度）: 0.7366405857677227
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Despite significant advancements in network-based image harmonization techniques, there still exists a domain disparity between typical training pairs and real-world composites encountered during inference. Most existing methods are trained to reverse global edits made on segmented image regions, which fail to accurately capture the lighting inconsistencies between the foreground and background found in composited images. In this work, we introduce a self-supervised illumination harmonization approach formulated in the intrinsic image domain. First, we estimate a simple global lighting model from mid-level vision representations to generate a rough shading for the foreground region. A network then refines this inferred shading to generate a harmonious re-shading that aligns with the background scene. In order to match the color appearance of the foreground and background, we utilize ideas from prior harmonization approaches to perform parameterized image edits in the albedo domain. To validate the effectiveness of our approach, we present results from challenging real-world composites and conduct a user study to objectively measure the enhanced realism achieved compared to state-of-the-art harmonization methods.
• Abstract（参考訳）: ネットワークベースのイメージ調和技術の大幅な進歩にもかかわらず、推論中に遭遇する典型的なトレーニングペアと現実世界の複合物との間にはドメイン格差が存在する。 既存の手法のほとんどは、分割された画像領域で作成されたグローバル編集をリバースするように訓練されており、合成画像に見られる前景と背景の照明の不一致を正確に捉えることができない。 本稿では,本質的画像領域で定式化された自己教師付き照明調和手法を提案する。 まず、中レベルの視覚表現から単純なグローバル照明モデルを推定し、前景領域の粗陰影を生成する。 ネットワークはこの推論シェーディングを洗練し、背景のシーンに合わせて調和した再シェーディングを生成する。 本研究では,前景と背景の色調に合わせるために,先行調和方式のアイデアを用いて,アルベド領域でパラメータ化画像編集を行う。 本手法の有効性を検証するために,実世界の複合材料に挑戦する結果を示し,実世界の調和手法と比較して達成された拡張現実感を客観的に測定するユーザスタディを行った。

関連論文リスト

• Denoising as Adaptation: Noise-Space Domain Adaptation for Image Restoration [64.84134880709625]
  拡散モデルを用いて,雑音空間を介して領域適応を行うことが可能であることを示す。 特に、補助的な条件入力が多段階の復調過程にどのように影響するかというユニークな性質を活用することにより、有意義な拡散損失を導出する。 拡散モデルにおけるチャネルシャッフル層や残留スワッピング型コントラスト学習などの重要な戦略を提案する。
  論文  参考訳（メタデータ） (2024-06-26T17:40:30Z)
• Relightful Harmonization: Lighting-aware Portrait Background Replacement [23.19641174787912]
  背景画像を用いた背景像に対する高度な照明効果をシームレスに調和させるライティング対応拡散モデルであるRelightful Harmonizationを導入する。 まず、拡散モデルを用いて、対象画像の背景から照明情報をエンコードする照明表現モジュールを導入する。 第2に、画像背景から学習した照明特徴と、パノラマ環境マップから学習した照明特徴とを整列するアライメントネットワークを導入する。
  論文  参考訳（メタデータ） (2023-12-11T23:20:31Z)
• Image Harmonization with Diffusion Model [26.183879349798588]
  前景と背景の間の一貫性のない照明条件は、しばしば非現実的な合成物をもたらす。 拡散モデルを用いた画像調和のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-17T23:23:52Z)
• Semi-supervised Parametric Real-world Image Harmonization [38.66826236220168]
  学習に基づく画像調和技術は、通常、単一の地上真実写真において、マスクされた前景に適用された合成ランダムなグローバル変換を解き放つために訓練される。 このシミュレーションデータは、実際の複合材料において、前景と背景の間の重要なミスマッチの多くをモデル化していない。 そこで本研究では,この問題を解決するための半教師付きトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2023-03-01T01:09:01Z)
• Image Harmonization with Region-wise Contrastive Learning [51.309905690367835]
  本稿では,外部スタイルの融合と領域単位のコントラスト学習方式を備えた新しい画像調和フレームワークを提案する。 提案手法は, 前景と背景の相互情報を最大化することにより, 対応する正と負のサンプルをまとめることを試みる。
  論文  参考訳（メタデータ） (2022-05-27T15:46:55Z)
• FRIH: Fine-grained Region-aware Image Harmonization [49.420765789360836]
  我々は,FRIH(Fentral-Aware Image Harmonization)のための新しいグローバルな2段階フレームワークを提案する。 提案アルゴリズムは,軽量モデルを用いて,iHarmony4データセット(PSNRは38.19dB)上で最高の性能を実現する。
  論文  参考訳（メタデータ） (2022-05-13T04:50:26Z)
• SSH: A Self-Supervised Framework for Image Harmonization [97.16345684998788]
  我々は、編集せずに「自由」な自然画像だけで訓練できる新しい自己改善調和フレームワーク(SSH)を提案する。 提案したSSHは,基準指標,視覚的品質,主観的ユーザスタディにおいて,従来の最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-08-15T19:51:33Z)
• BargainNet: Background-Guided Domain Translation for Image Harmonization [26.370523451625466]
  不調和な前景と背景は合成画像の品質を低下させる。 整合性を改善するために前景を調整した画像調和は、不可欠だが難しい課題である。 本稿では,新しいドメインコード抽出器とよく調整された三重項損失を用いた画像調和ネットワークを提案する。
  論文  参考訳（メタデータ） (2020-09-19T05:14:08Z)
• Adversarial Image Composition with Auxiliary Illumination [53.89445873577062]
  本稿では,現実的な画像合成を実現するためのAIC-Netを提案する。 影の発生と前景の移動を両立させる新しい分岐生成機構を提案する。 歩行者と自動車のコンポジションタスクに関する実験により,提案したAIC-Netが優れたコンポジション性能を実現することを示す。
  論文  参考訳（メタデータ） (2020-09-17T12:58:16Z)
• Deep CG2Real: Synthetic-to-Real Translation via Image Disentanglement [78.58603635621591]
  画像空間における未ペアの合成-現実翻訳ネットワークの訓練は、厳しい制約下にある。 画像の非交叉シェーディング層とアルベド層に作用する半教師付きアプローチを提案する。 私たちの2段階のパイプラインはまず、物理ベースのレンダリングをターゲットとして、教師付き方法で正確なシェーディングを予測することを学習します。
  論文  参考訳（メタデータ） (2020-03-27T21:45:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。