論文の概要: Region-aware Adaptive Instance Normalization for Image Harmonization

• arxiv url: http://arxiv.org/abs/2106.02853v1
• Date: Sat, 5 Jun 2021 09:57:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-08 18:09:19.888814
• Title: Region-aware Adaptive Instance Normalization for Image Harmonization
• Title（参考訳）: 画像調和のための領域対応適応インスタンス正規化
• Authors: Jun Ling, Han Xue, Li Song, Rong Xie and Xiao Gu
• Abstract要約: フォトリアリスティックな合成画像を得るためには、背景と互換性のある前景の外観と視覚スタイルを調整する必要がある。 合成画像の調和のための既存のディープラーニング手法は、合成画像から実画像へのマッピングネットワークを直接学習する。 本研究では、背景から視覚スタイルを明示的に定式化し、前景に適応的に適用する、領域対応適応型インスタンス正規化(RAIN)モジュールを提案する。
• 参考スコア（独自算出の注目度）: 14.77918186672189
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image composition plays a common but important role in photo editing. To acquire photo-realistic composite images, one must adjust the appearance and visual style of the foreground to be compatible with the background. Existing deep learning methods for harmonizing composite images directly learn an image mapping network from the composite to the real one, without explicit exploration on visual style consistency between the background and the foreground images. To ensure the visual style consistency between the foreground and the background, in this paper, we treat image harmonization as a style transfer problem. In particular, we propose a simple yet effective Region-aware Adaptive Instance Normalization (RAIN) module, which explicitly formulates the visual style from the background and adaptively applies them to the foreground. With our settings, our RAIN module can be used as a drop-in module for existing image harmonization networks and is able to bring significant improvements. Extensive experiments on the existing image harmonization benchmark datasets show the superior capability of the proposed method. Code is available at {https://github.com/junleen/RainNet}.
• Abstract（参考訳）: 画像合成は写真編集において一般的なが重要な役割を果たす。 フォトリアリスティックな合成画像を得るためには、背景と互換性のある前景の外観と視覚スタイルを調整する必要がある。 合成画像の調和のための既存のディープラーニング手法は、背景画像と前景画像との視覚的スタイルの整合性を明確に調べることなく、合成画像から実画像への画像マッピングネットワークを直接学習する。 本稿では,前景と背景の視覚的スタイルの整合性を確保するために,画像調和をスタイル伝達問題として扱う。 特に,背景から視覚的スタイルを明確に定式化し,前景に適応的に適用する,シンプルで効果的な領域対応型適応型インスタンス正規化(RAIN)モジュールを提案する。 当社の設定では、rainモジュールを既存のイメージ調和ネットワークのドロップインモジュールとして使用することで、大幅な改善を実現しています。 既存の画像調和ベンチマークデータセットに対する大規模な実験により,提案手法の優れた性能を示した。 コードは、https://github.com/junleen/RainNet}で入手できる。

関連論文リスト

• Segment Anything Model Meets Image Harmonization [13.415810438244788]
  合成画像の前景を調整して背景をシームレスに整合させることを目的とした画像合成において,画像調和は重要な技術である。 現在の手法では、グローバルレベルまたはピクセルレベルの特徴マッチングが採用されている。 本研究では,前景と背景特徴の視覚的一貫性学習を導くために,事前学習したセグメンテーションモデル(SAM)によって出力されるセグメンテーションマップを利用する意味誘導型領域認識型インスタンス正規化(SRIN)を提案する。
  論文  参考訳（メタデータ） (2023-12-20T02:57:21Z)
• Intrinsic Harmonization for Illumination-Aware Compositing [0.7366405857677227]
  固有画像領域で定式化された自己教師付き照明調和方式を提案する。 まず、中間レベルの視覚表現から簡単な大域照明モデルを推定し、前景領域の粗いシェーディングを生成する。 ネットワークはこの推論シェーディングを洗練し、背景のシーンと整合する再シェーディングを生成する。
  論文  参考訳（メタデータ） (2023-12-06T18:59:03Z)
• Image Harmonization with Region-wise Contrastive Learning [51.309905690367835]
  本稿では,外部スタイルの融合と領域単位のコントラスト学習方式を備えた新しい画像調和フレームワークを提案する。 提案手法は, 前景と背景の相互情報を最大化することにより, 対応する正と負のサンプルをまとめることを試みる。
  論文  参考訳（メタデータ） (2022-05-27T15:46:55Z)
• Retrieval-based Spatially Adaptive Normalization for Semantic Image Synthesis [68.1281982092765]
  本稿では,Retrieval-based spatially AdaptIve normalization (RESAIL) と呼ばれる新しい正規化モジュールを提案する。 RESAILは、正規化アーキテクチャに対するピクセルレベルのきめ細かいガイダンスを提供する。 いくつかの挑戦的なデータセットの実験により、RESAILは定量的メトリクス、視覚的品質、主観的評価の観点から、最先端技術に対して好意的に機能することが示された。
  論文  参考訳（メタデータ） (2022-04-06T14:21:39Z)
• Interactive Portrait Harmonization [99.15331091722231]
  現在の画像調和法は、背景全体を調和のためのガイダンスと見なしている。 背景画像の特定の領域を選択して、調和を導くための新しいフレキシブルなフレームワークが提案されている。 プロのポートレートハーモニゼーション利用者に触発されて、合成フォアグラウンドと選択基準領域の間の色/輝度条件を最適に整合させる新しい輝度マッチング損失も導入する。
  論文  参考訳（メタデータ） (2022-03-15T19:30:34Z)
• SSH: A Self-Supervised Framework for Image Harmonization [97.16345684998788]
  我々は、編集せずに「自由」な自然画像だけで訓練できる新しい自己改善調和フレームワーク(SSH)を提案する。 提案したSSHは,基準指標,視覚的品質,主観的ユーザスタディにおいて,従来の最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-08-15T19:51:33Z)
• Controllable Person Image Synthesis with Spatially-Adaptive Warped Normalization [72.65828901909708]
  制御可能な人物画像生成は、望ましい属性を持つ現実的な人間の画像を作成することを目的としている。 本稿では,学習フロー場とワープ変調パラメータを統合した空間適応型ワープ正規化(SAWN)を提案する。 本稿では,テクスチャ・トランスファータスクの事前学習モデルを洗練するための,新たな自己学習部分置換戦略を提案する。
  論文  参考訳（メタデータ） (2021-05-31T07:07:44Z)
• BargainNet: Background-Guided Domain Translation for Image Harmonization [26.370523451625466]
  不調和な前景と背景は合成画像の品質を低下させる。 整合性を改善するために前景を調整した画像調和は、不可欠だが難しい課題である。 本稿では,新しいドメインコード抽出器とよく調整された三重項損失を用いた画像調和ネットワークを提案する。
  論文  参考訳（メタデータ） (2020-09-19T05:14:08Z)
• Foreground-aware Semantic Representations for Image Harmonization [5.156484100374058]
  本稿では,事前学習型分類ネットワークによって学習された高レベルの特徴空間を利用する新しいアーキテクチャを提案する。 既存の画像調和ベンチマークにおいて提案手法を広範に評価し,MSEとPSNRの指標から新たな最先端の手法を構築した。
  論文  参考訳（メタデータ） (2020-06-01T09:27:20Z)
• BachGAN: High-Resolution Image Synthesis from Salient Object Layout [78.51640906030244]
  本稿では、より実用的な画像生成のための新しい課題である、有能なオブジェクトレイアウトからの高品質な画像合成を提案する。 i) セグメンテーションマップ入力なしできめ細かい詳細と現実的なテクスチャを生成する方法、(ii) バックグラウンドを作成してスタンドアロンのオブジェクトにシームレスに織り込む方法である。 幻影背景表現を動的に生成することにより,高解像度画像をフォトリアリスティック・フォアグラウンドと積分背景の両方で合成することができる。
  論文  参考訳（メタデータ） (2020-03-26T00:54:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。