論文の概要: SCS-Co: Self-Consistent Style Contrastive Learning for Image Harmonization

• arxiv url: http://arxiv.org/abs/2204.13962v1
• Date: Fri, 29 Apr 2022 09:22:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-03 00:02:42.403796
• Title: SCS-Co: Self-Consistent Style Contrastive Learning for Image Harmonization
• Title（参考訳）: SCS-Co:画像調和のための自己整合型コントラスト学習
• Authors: Yucheng Hang, Bin Xia, Wenming Yang, Qingmin Liao
• Abstract要約: 画像調和のための自己整合型コントラスト学習方式(SCS-Co)を提案する。 複数の負のサンプルを動的に生成することにより、SCS-Coはより歪みの少ない知識を学習し、生成した調和像を適切に正規化することができる。 さらに,注目度の高い背景特徴分布を実現するために,背景アテンショナル適応型インスタンス正規化(BAIN)を提案する。
• 参考スコア（独自算出の注目度）: 29.600429707123645
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Image harmonization aims to achieve visual consistency in composite images by adapting a foreground to make it compatible with a background. However, existing methods always only use the real image as the positive sample to guide the training, and at most introduce the corresponding composite image as a single negative sample for an auxiliary constraint, which leads to limited distortion knowledge, and further causes a too large solution space, making the generated harmonized image distorted. Besides, none of them jointly constrain from the foreground self-style and foreground-background style consistency, which exacerbates this problem. Moreover, recent region-aware adaptive instance normalization achieves great success but only considers the global background feature distribution, making the aligned foreground feature distribution biased. To address these issues, we propose a self-consistent style contrastive learning scheme (SCS-Co). By dynamically generating multiple negative samples, our SCS-Co can learn more distortion knowledge and well regularize the generated harmonized image in the style representation space from two aspects of the foreground self-style and foreground-background style consistency, leading to a more photorealistic visual result. In addition, we propose a background-attentional adaptive instance normalization (BAIN) to achieve an attention-weighted background feature distribution according to the foreground-background feature similarity. Experiments demonstrate the superiority of our method over other state-of-the-art methods in both quantitative comparison and visual analysis.
• Abstract（参考訳）: 画像調和は、前景に適応して背景との整合性を持たせることで、合成画像の視覚的整合性を達成することを目的としている。 しかし、既存の手法では、トレーニングをガイドする正のサンプルとして実画像のみを使用し、少なくとも補助的制約のための単一の負のサンプルとして対応する合成画像を導入し、歪みの知識が限られ、さらに大きな解空間が生じるため、生成した調和画像は歪む。 また、前景の自己スタイルと前景の背景スタイルの整合性に制約はなく、この問題が悪化する。 さらに,近年の地域適応型インスタンス正規化は大きな成功を収めるが,グローバルな背景特徴分布のみを考慮し,前景特徴分布に偏りが生じる。 そこで本研究では, 自己整合型コントラスト学習方式(scs-co)を提案する。 複数の負のサンプルを動的に生成することにより、SCS-Coはより歪みの少ない知識を学習し、フォアグラウンドの自己スタイルとフォアグラウンドの背景スタイルの整合性の両面から、スタイル表現空間における生成した調和像を適切に正規化することで、よりフォトリアリスティックな視覚結果をもたらす。 また,背景-背景特徴の類似性に応じて,注目重み付き背景特徴分布を実現するために,背景-意図適応型インスタンス正規化(BAIN)を提案する。 実験は, 定量的比較と視覚的解析の両方において, 最先端手法よりも優れた方法を示す。

関連論文リスト

• ZePo: Zero-Shot Portrait Stylization with Faster Sampling [61.14140480095604]
  本稿では,4つのサンプリングステップでコンテンツとスタイルの融合を実現する拡散モデルに基づく,インバージョンフリーなポートレートスタイリングフレームワークを提案する。 本稿では,一貫性機能における冗長な特徴をマージする機能統合戦略を提案し,注意制御の計算負荷を低減させる。
  論文  参考訳（メタデータ） (2024-08-10T08:53:41Z)
• FreeCompose: Generic Zero-Shot Image Composition with Diffusion Prior [50.0535198082903]
  我々は,複数の入力イメージを単一のコヒーレントなイメージに統合する,新しい画像合成手法を提案する。 本稿では, 大規模事前学習拡散モデルに内在する強力な生成的前駆体を利用して, 汎用画像合成を実現する可能性を示す。
  論文  参考訳（メタデータ） (2024-07-06T03:35:43Z)
• Fine-grained Image-to-LiDAR Contrastive Distillation with Visual Foundation Models [55.99654128127689]
  Visual Foundation Models (VFM) は、3D表現学習を強化するために使用される。 VFMは、弱制御された画素間コントラスト蒸留のためのセマンティックラベルを生成する。 我々は,空間分布とカテゴリー周波数の不均衡に対応するために,点のサンプリング確率を適応させる。
  論文  参考訳（メタデータ） (2024-05-23T07:48:19Z)
• Intrinsic Harmonization for Illumination-Aware Compositing [0.7366405857677227]
  固有画像領域で定式化された自己教師付き照明調和方式を提案する。 まず、中間レベルの視覚表現から簡単な大域照明モデルを推定し、前景領域の粗いシェーディングを生成する。 ネットワークはこの推論シェーディングを洗練し、背景のシーンと整合する再シェーディングを生成する。
  論文  参考訳（メタデータ） (2023-12-06T18:59:03Z)
• FreePIH: Training-Free Painterly Image Harmonization with Diffusion Model [19.170302996189335]
  我々のFreePIH法は,フォアグラウンド画像スタイル転送のためのプラグインモジュールとしてデノナイズプロセスを利用する。 我々は,潜伏空間における前景オブジェクトの内容と安定性の整合性を強制するために,マルチスケール機能を活用している。 我々の手法は、代表的基準を大きなマージンで超えることができる。
  論文  参考訳（メタデータ） (2023-11-25T04:23:49Z)
• Parallax-Tolerant Unsupervised Deep Image Stitching [57.76737888499145]
  本稿では,パララックス耐性の非教師あり深層画像縫合技術であるUDIS++を提案する。 まず,グローバルなホモグラフィから局所的な薄板スプライン運動への画像登録をモデル化するための,頑健で柔軟なワープを提案する。 本研究では, 縫合された画像をシームレスに合成し, シーム駆動合成マスクの教師なし学習を行うことを提案する。
  論文  参考訳（メタデータ） (2023-02-16T10:40:55Z)
• Image Harmonization with Region-wise Contrastive Learning [51.309905690367835]
  本稿では,外部スタイルの融合と領域単位のコントラスト学習方式を備えた新しい画像調和フレームワークを提案する。 提案手法は, 前景と背景の相互情報を最大化することにより, 対応する正と負のサンプルをまとめることを試みる。
  論文  参考訳（メタデータ） (2022-05-27T15:46:55Z)
• SSH: A Self-Supervised Framework for Image Harmonization [97.16345684998788]
  我々は、編集せずに「自由」な自然画像だけで訓練できる新しい自己改善調和フレームワーク(SSH)を提案する。 提案したSSHは,基準指標,視覚的品質,主観的ユーザスタディにおいて,従来の最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-08-15T19:51:33Z)
• Region-aware Adaptive Instance Normalization for Image Harmonization [14.77918186672189]
  フォトリアリスティックな合成画像を得るためには、背景と互換性のある前景の外観と視覚スタイルを調整する必要がある。 合成画像の調和のための既存のディープラーニング手法は、合成画像から実画像へのマッピングネットワークを直接学習する。 本研究では、背景から視覚スタイルを明示的に定式化し、前景に適応的に適用する、領域対応適応型インスタンス正規化(RAIN)モジュールを提案する。
  論文  参考訳（メタデータ） (2021-06-05T09:57:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。