論文の概要: Image Harmonization with Region-wise Contrastive Learning

• arxiv url: http://arxiv.org/abs/2205.14058v1
• Date: Fri, 27 May 2022 15:46:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-30 14:54:33.527060
• Title: Image Harmonization with Region-wise Contrastive Learning
• Title（参考訳）: 領域的コントラスト学習による画像調和
• Authors: Jingtang Liang and Chi-Man Pun
• Abstract要約: 本稿では,外部スタイルの融合と領域単位のコントラスト学習方式を備えた新しい画像調和フレームワークを提案する。 提案手法は, 前景と背景の相互情報を最大化することにより, 対応する正と負のサンプルをまとめることを試みる。
• 参考スコア（独自算出の注目度）: 51.309905690367835
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image harmonization task aims at harmonizing different composite foreground regions according to specific background image. Previous methods would rather focus on improving the reconstruction ability of the generator by some internal enhancements such as attention, adaptive normalization and light adjustment, $etc.$. However, they pay less attention to discriminating the foreground and background appearance features within a restricted generator, which becomes a new challenge in image harmonization task. In this paper, we propose a novel image harmonization framework with external style fusion and region-wise contrastive learning scheme. For the external style fusion, we leverage the external background appearance from the encoder as the style reference to generate harmonized foreground in the decoder. This approach enhances the harmonization ability of the decoder by external background guidance. Moreover, for the contrastive learning scheme, we design a region-wise contrastive loss function for image harmonization task. Specifically, we first introduce a straight-forward samples generation method that selects negative samples from the output harmonized foreground region and selects positive samples from the ground-truth background region. Our method attempts to bring together corresponding positive and negative samples by maximizing the mutual information between the foreground and background styles, which desirably makes our harmonization network more robust to discriminate the foreground and background style features when harmonizing composite images. Extensive experiments on the benchmark datasets show that our method can achieve a clear improvement in harmonization quality and demonstrate the good generalization capability in real-scenario applications.
• Abstract（参考訳）: イメージ調和タスクは、特定の背景画像に応じて異なる複合前景領域を調和させることを目的としている。 従来の手法では、注意、適応正規化、光の調整などいくつかの内部的な改良によりジェネレータの再構築能力の向上に重点を置いていた。 $. しかし,前景や背景の外観の特徴を限定された発電機で識別することは,画像調和タスクにおいて新たな課題となる。 本稿では,外部スタイル融合と領域間コントラスト学習を併用した新しい画像調和フレームワークを提案する。 外部スタイルの融合では、エンコーダの外部背景の外観をスタイル参照として利用し、デコーダの調和した前景を生成する。 このアプローチは、外部の背景ガイダンスによりデコーダの調和能力を高める。 さらに、コントラスト学習方式では、画像調和タスクのための領域単位のコントラスト損失関数を設計する。 具体的には、まず、出力調和された前景領域から負のサンプルを選択し、地中背景領域から正のサンプルを選択するストレートフォワードサンプル生成法を提案する。 提案手法は,前景と背景の相互情報を最大化することで,対応する正のサンプルと負のサンプルを結合し,複合画像の調和時に前景と背景の区別をより強固なものにしようとするものである。 ベンチマークデータセットの大規模な実験により,本手法は調和性の向上を実現し,実シナリオアプリケーションにおいて優れた一般化能力を示す。

関連論文リスト

• FreeCompose: Generic Zero-Shot Image Composition with Diffusion Prior [50.0535198082903]
  我々は,複数の入力イメージを単一のコヒーレントなイメージに統合する,新しい画像合成手法を提案する。 本稿では, 大規模事前学習拡散モデルに内在する強力な生成的前駆体を利用して, 汎用画像合成を実現する可能性を示す。
  論文  参考訳（メタデータ） (2024-07-06T03:35:43Z)
• Intrinsic Harmonization for Illumination-Aware Compositing [0.7366405857677227]
  固有画像領域で定式化された自己教師付き照明調和方式を提案する。 まず、中間レベルの視覚表現から簡単な大域照明モデルを推定し、前景領域の粗いシェーディングを生成する。 ネットワークはこの推論シェーディングを洗練し、背景のシーンと整合する再シェーディングを生成する。
  論文  参考訳（メタデータ） (2023-12-06T18:59:03Z)
• FreePIH: Training-Free Painterly Image Harmonization with Diffusion Model [19.170302996189335]
  我々のFreePIH法は,フォアグラウンド画像スタイル転送のためのプラグインモジュールとしてデノナイズプロセスを利用する。 我々は,潜伏空間における前景オブジェクトの内容と安定性の整合性を強制するために,マルチスケール機能を活用している。 我々の手法は、代表的基準を大きなマージンで超えることができる。
  論文  参考訳（メタデータ） (2023-11-25T04:23:49Z)
• Learning Global-aware Kernel for Image Harmonization [55.614444363743765]
  画像調和は、背景を基準として前景画素を適応的に調整することで、合成画像の視覚的不整合問題を解決することを目的としている。 既存の手法では、前景と背景の間の局所的な色変換や領域マッチングが採用されている。 本稿では,長距離バックグラウンド参照を包括的に考慮した地域調和のための,GKNet(Global-Aware Kernel Network)を提案する。
  論文  参考訳（メタデータ） (2023-05-19T13:49:02Z)
• SCS-Co: Self-Consistent Style Contrastive Learning for Image Harmonization [29.600429707123645]
  画像調和のための自己整合型コントラスト学習方式(SCS-Co)を提案する。 複数の負のサンプルを動的に生成することにより、SCS-Coはより歪みの少ない知識を学習し、生成した調和像を適切に正規化することができる。 さらに,注目度の高い背景特徴分布を実現するために,背景アテンショナル適応型インスタンス正規化(BAIN)を提案する。
  論文  参考訳（メタデータ） (2022-04-29T09:22:01Z)
• Interactive Portrait Harmonization [99.15331091722231]
  現在の画像調和法は、背景全体を調和のためのガイダンスと見なしている。 背景画像の特定の領域を選択して、調和を導くための新しいフレキシブルなフレームワークが提案されている。 プロのポートレートハーモニゼーション利用者に触発されて、合成フォアグラウンドと選択基準領域の間の色/輝度条件を最適に整合させる新しい輝度マッチング損失も導入する。
  論文  参考訳（メタデータ） (2022-03-15T19:30:34Z)
• SSH: A Self-Supervised Framework for Image Harmonization [97.16345684998788]
  我々は、編集せずに「自由」な自然画像だけで訓練できる新しい自己改善調和フレームワーク(SSH)を提案する。 提案したSSHは,基準指標,視覚的品質,主観的ユーザスタディにおいて,従来の最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-08-15T19:51:33Z)
• Style Intervention: How to Achieve Spatial Disentanglement with Style-based Generators? [100.60938767993088]
  任意の入力画像に適応し、フレキシブルな目的の下で自然な翻訳効果をレンダリングできる軽量な最適化アルゴリズムを提案する。 フォトリアリズムと一貫性の両方を必要とする高解像度画像の顔属性編集において,提案するフレームワークの性能を検証する。
  論文  参考訳（メタデータ） (2020-11-19T07:37:31Z)
• BargainNet: Background-Guided Domain Translation for Image Harmonization [26.370523451625466]
  不調和な前景と背景は合成画像の品質を低下させる。 整合性を改善するために前景を調整した画像調和は、不可欠だが難しい課題である。 本稿では,新しいドメインコード抽出器とよく調整された三重項損失を用いた画像調和ネットワークを提案する。
  論文  参考訳（メタデータ） (2020-09-19T05:14:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。