論文の概要: SSH: A Self-Supervised Framework for Image Harmonization

• arxiv url: http://arxiv.org/abs/2108.06805v2
• Date: Tue, 17 Aug 2021 18:02:53 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-19 11:24:40.150087
• Title: SSH: A Self-Supervised Framework for Image Harmonization
• Title（参考訳）: SSH: イメージ調和のための自己監督型フレームワーク
• Authors: Yifan Jiang, He Zhang, Jianming Zhang, Yilin Wang, Zhe Lin, Kalyan Sunkavalli, Simon Chen, Sohrab Amirghodsi, Sarah Kong, Zhangyang Wang
• Abstract要約: 我々は、編集せずに「自由」な自然画像だけで訓練できる新しい自己改善調和フレームワーク(SSH)を提案する。 提案したSSHは,基準指標,視覚的品質,主観的ユーザスタディにおいて,従来の最先端手法よりも優れていた。
• 参考スコア（独自算出の注目度）: 97.16345684998788
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image harmonization aims to improve the quality of image compositing by matching the "appearance" (\eg, color tone, brightness and contrast) between foreground and background images. However, collecting large-scale annotated datasets for this task requires complex professional retouching. Instead, we propose a novel Self-Supervised Harmonization framework (SSH) that can be trained using just "free" natural images without being edited. We reformulate the image harmonization problem from a representation fusion perspective, which separately processes the foreground and background examples, to address the background occlusion issue. This framework design allows for a dual data augmentation method, where diverse [foreground, background, pseudo GT] triplets can be generated by cropping an image with perturbations using 3D color lookup tables (LUTs). In addition, we build a real-world harmonization dataset as carefully created by expert users, for evaluation and benchmarking purposes. Our results show that the proposed self-supervised method outperforms previous state-of-the-art methods in terms of reference metrics, visual quality, and subject user study. Code and dataset are available at \url{https://github.com/VITA-Group/SSHarmonization}.
• Abstract（参考訳）: 画像調和は、前景画像と背景画像の「外観」(色調、明るさ、コントラスト)をマッチングすることにより、画像合成の品質を向上させることを目的としている。 しかし、このタスクのために大規模な注釈付きデータセットを収集するには、複雑なプロのリタッチが必要である。 代わりに、編集することなく、単に「自由」な自然画像を使って訓練できる新しい自己改善調和フレームワーク(SSH)を提案する。 画像調和問題を表現融合の観点から再構成し、前景と背景を別々に処理し、背景閉塞問題に対処する。 このフレームワークの設計により、多様な[地上、背景、擬似GT]三重項を3Dカラールックアップテーブル(LUT)を用いて摂動でトリミングすることで、二重データ拡張が可能となる。 さらに,評価やベンチマークの目的で,専門家ユーザが慎重に作成した実世界の調和データセットを構築する。 提案手法は,基準指標,視覚的品質,主観的ユーザスタディにおいて,従来の最先端手法よりも優れていた。 コードとデータセットは \url{https://github.com/VITA-Group/SSHarmonization} で公開されている。

関連論文リスト

• Fine-grained Image-to-LiDAR Contrastive Distillation with Visual Foundation Models [55.99654128127689]
  Visual Foundation Models (VFM) は、3D表現学習を強化するために使用される。 VFMは、弱制御された画素間コントラスト蒸留のためのセマンティックラベルを生成する。 我々は,空間分布とカテゴリー周波数の不均衡に対応するために,点のサンプリング確率を適応させる。
  論文  参考訳（メタデータ） (2024-05-23T07:48:19Z)
• Exposure Bracketing is All You Need for Unifying Image Restoration and Enhancement Tasks [50.822601495422916]
  本稿では,露光ブラケット写真を利用して画像復元と拡張作業を統合することを提案する。 実世界のペアの収集が困難であるため,まず合成ペアデータを用いてモデルを事前学習する手法を提案する。 特に,時間変調リカレントネットワーク(TMRNet)と自己教師あり適応手法を提案する。
  論文  参考訳（メタデータ） (2024-01-01T14:14:35Z)
• FreePIH: Training-Free Painterly Image Harmonization with Diffusion Model [19.170302996189335]
  我々のFreePIH法は,フォアグラウンド画像スタイル転送のためのプラグインモジュールとしてデノナイズプロセスを利用する。 我々は,潜伏空間における前景オブジェクトの内容と安定性の整合性を強制するために,マルチスケール機能を活用している。 我々の手法は、代表的基準を大きなマージンで超えることができる。
  論文  参考訳（メタデータ） (2023-11-25T04:23:49Z)
• Image Harmonization with Region-wise Contrastive Learning [51.309905690367835]
  本稿では,外部スタイルの融合と領域単位のコントラスト学習方式を備えた新しい画像調和フレームワークを提案する。 提案手法は, 前景と背景の相互情報を最大化することにより, 対応する正と負のサンプルをまとめることを試みる。
  論文  参考訳（メタデータ） (2022-05-27T15:46:55Z)
• SCS-Co: Self-Consistent Style Contrastive Learning for Image Harmonization [29.600429707123645]
  画像調和のための自己整合型コントラスト学習方式(SCS-Co)を提案する。 複数の負のサンプルを動的に生成することにより、SCS-Coはより歪みの少ない知識を学習し、生成した調和像を適切に正規化することができる。 さらに,注目度の高い背景特徴分布を実現するために,背景アテンショナル適応型インスタンス正規化(BAIN)を提案する。
  論文  参考訳（メタデータ） (2022-04-29T09:22:01Z)
• Interactive Portrait Harmonization [99.15331091722231]
  現在の画像調和法は、背景全体を調和のためのガイダンスと見なしている。 背景画像の特定の領域を選択して、調和を導くための新しいフレキシブルなフレームワークが提案されている。 プロのポートレートハーモニゼーション利用者に触発されて、合成フォアグラウンドと選択基準領域の間の色/輝度条件を最適に整合させる新しい輝度マッチング損失も導入する。
  論文  参考訳（メタデータ） (2022-03-15T19:30:34Z)
• A Generative Adversarial Framework for Optimizing Image Matting and Harmonization Simultaneously [7.541357996797061]
  本稿では,自己注意識別器をベースとしたマッチングネットワークと調和ネットワークを最適化するGAN(Generative Adversarial)フレームワークを提案する。 私たちのデータセットとデータセット生成パイプラインは、urlhttps://git.io/HaMaGANで確認できます。
  論文  参考訳（メタデータ） (2021-08-13T06:48:14Z)
• Region-aware Adaptive Instance Normalization for Image Harmonization [14.77918186672189]
  フォトリアリスティックな合成画像を得るためには、背景と互換性のある前景の外観と視覚スタイルを調整する必要がある。 合成画像の調和のための既存のディープラーニング手法は、合成画像から実画像へのマッピングネットワークを直接学習する。 本研究では、背景から視覚スタイルを明示的に定式化し、前景に適応的に適用する、領域対応適応型インスタンス正規化(RAIN)モジュールを提案する。
  論文  参考訳（メタデータ） (2021-06-05T09:57:17Z)
• Refer-it-in-RGBD: A Bottom-up Approach for 3D Visual Grounding in RGBD Images [69.5662419067878]
  RGBD画像における接地参照表現は新たな分野である。 本稿では,参照する物体が閉塞により部分的にスキャンされる場合が多い単視点rgbd画像における3次元視覚グランド化の新たな課題を提案する。 提案手法はまず,RGBD画像内の関連領域をローカライズするヒートマップを生成するために,下層の言語と視覚的特徴を融合させる。 次に、ヒートマップに基づく適応的特徴学習を行い、他のビジオ言語融合とオブジェクトレベルのマッチングを行い、最後に参照したオブジェクトを接地する。
  論文  参考訳（メタデータ） (2021-03-14T11:18:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。