論文の概要: FRIH: Fine-grained Region-aware Image Harmonization
- arxiv url: http://arxiv.org/abs/2205.06448v1
- Date: Fri, 13 May 2022 04:50:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-16 13:13:41.935158
- Title: FRIH: Fine-grained Region-aware Image Harmonization
- Title（参考訳）: FRIH: きめ細かい領域認識画像調和
- Authors: Jinlong Peng, Zekun Luo, Liang Liu, Boshen Zhang, Tao Wang, Yabiao
Wang, Ying Tai, Chengjie Wang, Weiyao Lin
- Abstract要約: 我々は,FRIH(Fentral-Aware Image Harmonization)のための新しいグローバルな2段階フレームワークを提案する。
提案アルゴリズムは,軽量モデルを用いて,iHarmony4データセット(PSNRは38.19dB)上で最高の性能を実現する。
- 参考スコア（独自算出の注目度）: 49.420765789360836
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Image harmonization aims to generate a more realistic appearance of
foreground and background for a composite image. Existing methods perform the
same harmonization process for the whole foreground. However, the implanted
foreground always contains different appearance patterns. All the existing
solutions ignore the difference of each color block and losing some specific
details. Therefore, we propose a novel global-local two stages framework for
Fine-grained Region-aware Image Harmonization (FRIH), which is trained
end-to-end. In the first stage, the whole input foreground mask is used to make
a global coarse-grained harmonization. In the second stage, we adaptively
cluster the input foreground mask into several submasks by the corresponding
pixel RGB values in the composite image. Each submask and the coarsely adjusted
image are concatenated respectively and fed into a lightweight cascaded module,
adjusting the global harmonization performance according to the region-aware
local feature. Moreover, we further designed a fusion prediction module by
fusing features from all the cascaded decoder layers together to generate the
final result, which could utilize the different degrees of harmonization
results comprehensively. Without bells and whistles, our FRIH algorithm
achieves the best performance on iHarmony4 dataset (PSNR is 38.19 dB) with a
lightweight model. The parameters for our model are only 11.98 M, far below the
existing methods.
- Abstract（参考訳）: イメージ調和は、複合画像の前景と背景をより現実的な外観にすることを目的としている。
既存の手法では前景全体に対して同じ調和処理を行う。
しかし、移植された前景には常に異なる外観パターンがある。
既存のソリューションはすべて、各色ブロックの違いを無視し、特定の詳細を失う。
そこで本稿では,FRIH(Fentral-Aware Image Harmonization)をエンドツーエンドにトレーニングする,新たなグローバルな2段階化フレームワークを提案する。
第1段階では、全入力フォアグラウンドマスクを用いてグローバル粗粒調和を行う。
第2段階では,入力前景マスクを合成画像中の対応する画素RGB値によって複数のサブマスクに適応的にクラスタリングする。
各サブマスクと粗調整画像とをそれぞれ連結して軽量カスケードモジュールに供給し、地域対応の局所的特徴に応じてグローバル調和性能を調整する。
さらに,全てのカスケードデコーダ層の特徴を融合予測モジュールに融合して最終結果を生成することにより,異なる調和度を包括的に活用し,融合予測モジュールの設計を行った。
ベルとホイッスルがなければ、FRIHアルゴリズムは軽量モデルでiHarmony4データセット(PSNRは38.19dB)上で最高の性能を達成する。
我々のモデルのパラメータは11.98mで、既存の方法よりはるかに低い。
関連論文リスト
- Learning Global-aware Kernel for Image Harmonization [55.614444363743765]
画像調和は、背景を基準として前景画素を適応的に調整することで、合成画像の視覚的不整合問題を解決することを目的としている。
既存の手法では、前景と背景の間の局所的な色変換や領域マッチングが採用されている。
本稿では,長距離バックグラウンド参照を包括的に考慮した地域調和のための,GKNet(Global-Aware Kernel Network)を提案する。
論文 参考訳（メタデータ） (2023-05-19T13:49:02Z) - Semi-supervised Parametric Real-world Image Harmonization [38.66826236220168]
学習に基づく画像調和技術は、通常、単一の地上真実写真において、マスクされた前景に適用された合成ランダムなグローバル変換を解き放つために訓練される。
このシミュレーションデータは、実際の複合材料において、前景と背景の間の重要なミスマッチの多くをモデル化していない。
そこで本研究では,この問題を解決するための半教師付きトレーニング戦略を提案する。
論文 参考訳（メタデータ） (2023-03-01T01:09:01Z) - Hierarchical Dynamic Image Harmonization [15.886047676987316]
本稿では,高効率な画像調和における特徴変換のために,特徴を局所的からグローバル的視点に適応させる階層型動的ネットワーク(HDNet)を提案する。
提案したHDNetは,従来の手法と比較して,モデル全体のパラメータを80%以上削減する。
特に、HDNetはPSNRの4%改善とMSEの19%削減を実現している。
論文 参考訳（メタデータ） (2022-11-16T03:15:19Z) - Inharmonious Region Localization via Recurrent Self-Reasoning [18.963031309495005]
合成画像の品質向上のためには,不調和領域の局所化が重要でありながら課題である。
古典的なクラスタリングアルゴリズムにインスパイアされた我々は、ピクセルを2つのクラスタ、すなわち不調和なクラスタとバックグラウンドクラスタにグループ化することを目指している。
論文 参考訳（メタデータ） (2022-10-05T05:50:24Z) - Image Harmonization with Region-wise Contrastive Learning [51.309905690367835]
本稿では,外部スタイルの融合と領域単位のコントラスト学習方式を備えた新しい画像調和フレームワークを提案する。
提案手法は, 前景と背景の相互情報を最大化することにより, 対応する正と負のサンプルをまとめることを試みる。
論文 参考訳（メタデータ） (2022-05-27T15:46:55Z) - Spatial-Separated Curve Rendering Network for Efficient and
High-Resolution Image Harmonization [59.19214040221055]
本稿では,空間分離型曲線描画ネットワーク(S$2$CRNet)を提案する。
提案手法は従来の手法と比較して90%以上のパラメータを減少させる。
提案手法は,既存の手法よりも10ドル以上高速な高解像度画像をリアルタイムにスムーズに処理することができる。
論文 参考訳（メタデータ） (2021-09-13T07:20:16Z) - SSH: A Self-Supervised Framework for Image Harmonization [97.16345684998788]
我々は、編集せずに「自由」な自然画像だけで訓練できる新しい自己改善調和フレームワーク(SSH)を提案する。
提案したSSHは,基準指標,視覚的品質,主観的ユーザスタディにおいて,従来の最先端手法よりも優れていた。
論文 参考訳（メタデータ） (2021-08-15T19:51:33Z) - InfinityGAN: Towards Infinite-Resolution Image Synthesis [92.40782797030977]
任意の解像度画像を生成するinfinityganを提案する。
少ない計算資源でパッチバイパッチをシームレスに訓練し、推論する方法を示す。
論文 参考訳（メタデータ） (2021-04-08T17:59:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。