論文の概要: Learning Global-aware Kernel for Image Harmonization

• arxiv url: http://arxiv.org/abs/2305.11676v2
• Date: Thu, 17 Aug 2023 12:16:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-21 23:45:34.028465
• Title: Learning Global-aware Kernel for Image Harmonization
• Title（参考訳）: 画像調和のためのグローバルアウェアカーネルの学習
• Authors: Xintian Shen, Jiangning Zhang, Jun Chen, Shipeng Bai, Yue Han, Yabiao Wang, Chengjie Wang, Yong Liu
• Abstract要約: 画像調和は、背景を基準として前景画素を適応的に調整することで、合成画像の視覚的不整合問題を解決することを目的としている。 既存の手法では、前景と背景の間の局所的な色変換や領域マッチングが採用されている。 本稿では,長距離バックグラウンド参照を包括的に考慮した地域調和のための,GKNet(Global-Aware Kernel Network)を提案する。
• 参考スコア（独自算出の注目度）: 55.614444363743765
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image harmonization aims to solve the visual inconsistency problem in composited images by adaptively adjusting the foreground pixels with the background as references. Existing methods employ local color transformation or region matching between foreground and background, which neglects powerful proximity prior and independently distinguishes fore-/back-ground as a whole part for harmonization. As a result, they still show a limited performance across varied foreground objects and scenes. To address this issue, we propose a novel Global-aware Kernel Network (GKNet) to harmonize local regions with comprehensive consideration of long-distance background references. Specifically, GKNet includes two parts, \ie, harmony kernel prediction and harmony kernel modulation branches. The former includes a Long-distance Reference Extractor (LRE) to obtain long-distance context and Kernel Prediction Blocks (KPB) to predict multi-level harmony kernels by fusing global information with local features. To achieve this goal, a novel Selective Correlation Fusion (SCF) module is proposed to better select relevant long-distance background references for local harmonization. The latter employs the predicted kernels to harmonize foreground regions with both local and global awareness. Abundant experiments demonstrate the superiority of our method for image harmonization over state-of-the-art methods, \eg, achieving 39.53dB PSNR that surpasses the best counterpart by +0.78dB $\uparrow$; decreasing fMSE/MSE by 11.5\%$\downarrow$/6.7\%$\downarrow$ compared with the SoTA method. Code will be available at \href{https://github.com/XintianShen/GKNet}{here}.
• Abstract（参考訳）: 画像調和は、背景を基準として前景画素を適応的に調整することにより、複合画像における視覚不整合問題を解決することを目的としている。 既存の手法では、前景と背景の間の局所的な色変換や領域マッチングが採用されている。 その結果、様々なフォアグラウンドオブジェクトやシーンでパフォーマンスが制限されたままである。 この問題に対処するために,長距離バックグラウンド参照を包括的に考慮した地域調和のための,GKNet(Global-Aware Kernel Network)を提案する。 具体的には、GKNetには2つの部分がある: \ie, harmony kernel prediction と harmony kernel modulation branch である。 前者はLRE(Long-Distance Reference Extractor)とKPB(Kernel Prediction Blocks)を含んでおり、グローバル情報を局所的な特徴と融合させてマルチレベル調和カーネルを予測する。 この目的を達成するために,局所調和のための適切な長距離背景参照を選択するための新しい選択的相関融合(scf)モジュールを提案する。 後者は予測されたカーネルを使用して、前景の地域を局所的およびグローバルな認識で調和させる。 豊富な実験により、最先端の手法である \eg 上で画像調和を行う方法の優位性が示され、最大値が +0.78db $\uparrow$; fmse/mse を 11.5\%$\downarrow$/6.7\%$\downarrow$ で比較した場合、39.53db psnr が得られる。 コードは \href{https://github.com/XintianShen/GKNet}{here} で入手できる。

関連論文リスト

• Hierarchical Dynamic Image Harmonization [15.886047676987316]
  本稿では,高効率な画像調和における特徴変換のために,特徴を局所的からグローバル的視点に適応させる階層型動的ネットワーク(HDNet)を提案する。 提案したHDNetは,従来の手法と比較して,モデル全体のパラメータを80%以上削減する。 特に、HDNetはPSNRの4%改善とMSEの19%削減を実現している。
  論文  参考訳（メタデータ） (2022-11-16T03:15:19Z)
• Image Harmonization with Region-wise Contrastive Learning [51.309905690367835]
  本稿では,外部スタイルの融合と領域単位のコントラスト学習方式を備えた新しい画像調和フレームワークを提案する。 提案手法は, 前景と背景の相互情報を最大化することにより, 対応する正と負のサンプルをまとめることを試みる。
  論文  参考訳（メタデータ） (2022-05-27T15:46:55Z)
• FRIH: Fine-grained Region-aware Image Harmonization [49.420765789360836]
  我々は,FRIH(Fentral-Aware Image Harmonization)のための新しいグローバルな2段階フレームワークを提案する。 提案アルゴリズムは,軽量モデルを用いて,iHarmony4データセット(PSNRは38.19dB)上で最高の性能を実現する。
  論文  参考訳（メタデータ） (2022-05-13T04:50:26Z)
• Interactive Portrait Harmonization [99.15331091722231]
  現在の画像調和法は、背景全体を調和のためのガイダンスと見なしている。 背景画像の特定の領域を選択して、調和を導くための新しいフレキシブルなフレームワークが提案されている。 プロのポートレートハーモニゼーション利用者に触発されて、合成フォアグラウンドと選択基準領域の間の色/輝度条件を最適に整合させる新しい輝度マッチング損失も導入する。
  論文  参考訳（メタデータ） (2022-03-15T19:30:34Z)
• HarmoFL: Harmonizing Local and Global Drifts in Federated Learning on Heterogeneous Medical Images [19.62267284815759]
  我々は、ローカルドリフトとグローバルドリフトの両方を扱う、HarmoFLと呼ばれる新しいフレームワークを紹介した。 HarmoFLは、周波数領域に変換された画像の振幅を正規化することにより、ローカル更新ドリフトを緩和する。 我々はHarmoFLが、期待できる収束挙動を持つ最新の最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-12-20T13:25:48Z)
• Global Aggregation then Local Distribution for Scene Parsing [99.1095068574454]
  提案手法は,エンドツーエンドのトレーニング可能なブロックとしてモジュール化され,既存のセマンティックセグメンテーションネットワークに容易に接続可能であることを示す。 私たちのアプローチでは、Cityscapes、ADE20K、Pascal Context、Camvid、COCO-stuffといった主要なセマンティックセグメンテーションベンチマークに基づいて、新しい最先端の技術を構築できます。
  論文  参考訳（メタデータ） (2021-07-28T03:46:57Z)
• Low Light Image Enhancement via Global and Local Context Modeling [164.85287246243956]
  低照度画像強調のためのコンテキスト認識ディープネットワークを導入。 まず、全空間領域上の補完的な手がかりを見つけるために空間相関をモデル化するグローバルコンテキストモジュールを特徴とする。 第二に、比較的大きな受容フィールドで局所的なコンテキストをキャプチャする密な残留ブロックを導入する。
  論文  参考訳（メタデータ） (2021-01-04T09:40:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。