論文の概要: Hierarchical Dynamic Image Harmonization

• arxiv url: http://arxiv.org/abs/2211.08639v3
• Date: Sat, 6 May 2023 10:04:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-09 11:31:52.184229
• Title: Hierarchical Dynamic Image Harmonization
• Title（参考訳）: 階層的動的画像調和
• Authors: Haoxing Chen and Zhangxuan Gu and Yaohui Li and Jun Lan and Changhua Meng and Weiqiang Wang and Huaxiong Li
• Abstract要約: 本稿では,高効率な画像調和における特徴変換のために,特徴を局所的からグローバル的視点に適応させる階層型動的ネットワーク(HDNet)を提案する。 提案したHDNetは,従来の手法と比較して,モデル全体のパラメータを80%以上削減する。 特に、HDNetはPSNRの4%改善とMSEの19%削減を実現している。
• 参考スコア（独自算出の注目度）: 15.886047676987316
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Image harmonization is a critical task in computer vision, which aims to adjust the foreground to make it compatible with the background. Recent works mainly focus on using global transformations (i.e., normalization and color curve rendering) to achieve visual consistency. However, these models ignore local visual consistency and their huge model sizes limit their harmonization ability on edge devices. In this paper, we propose a hierarchical dynamic network (HDNet) to adapt features from local to global view for better feature transformation in efficient image harmonization. Inspired by the success of various dynamic models, local dynamic (LD) module and mask-aware global dynamic (MGD) module are proposed in this paper. Specifically, LD matches local representations between the foreground and background regions based on semantic similarities, then adaptively adjust every foreground local representation according to the appearance of its $K$-nearest neighbor background regions. In this way, LD can produce more realistic images at a more fine-grained level, and simultaneously enjoy the characteristic of semantic alignment. The MGD effectively applies distinct convolution to the foreground and background, learning the representations of foreground and background regions as well as their correlations to the global harmonization, facilitating local visual consistency for the images much more efficiently. Experimental results demonstrate that the proposed HDNet significantly reduces the total model parameters by more than 80\% compared to previous methods, while still attaining state-of-the-art performance on the popular iHarmony4 dataset. Notably, the HDNet achieves a 4\% improvement in PSNR and a 19\% reduction in MSE compared to the prior state-of-the-art methods.
• Abstract（参考訳）: 画像調和はコンピュータビジョンにおいて重要なタスクであり、背景と互換性を持たせるために前景を調整することを目的としている。 最近の研究は、視覚的整合性を達成するために大域変換(正規化と色曲線レンダリング)を使うことに重点を置いている。 しかし、これらのモデルは局所的な視覚的一貫性を無視し、その巨大なモデルサイズはエッジデバイスでの調和能力を制限する。 本稿では,高効率な画像調和における特徴変換のために,特徴をローカルからグローバルに適応させる階層型動的ネットワーク(HDNet)を提案する。 本稿では,様々な動的モデルの成功に触発されて,局所動的(LD)モジュールとマスク対応グローバル動的(MGD)モジュールを提案する。 具体的には、LDは意味的類似性に基づいて、前景と背景領域間の局所表現と一致し、その後、近隣の背景領域の$K$-nearestの出現に応じて、前景のすべての局所表現を適応的に調整する。 このように、LDはよりきめ細かいレベルでよりリアルな画像を生成し、同時にセマンティックアライメントの特性を楽しむことができる。 MGDは、フォアグラウンドと背景領域に明確な畳み込みを効果的に適用し、フォアグラウンドと背景領域の表現を学習し、グローバルな調和と相関し、画像の局所的な視覚的一貫性をより効率的にする。 実験の結果,提案するhdnetは,iharmony4データセットにおける最先端性能を保ちつつ,従来手法と比較して,モデルパラメータを80%以上削減できることが判明した。 特に、HDNetは従来の最先端手法に比べてPSNRが4倍改善し、MSEが19倍削減された。

関連論文リスト

• DGNet: Dynamic Gradient-Guided Network for Water-Related Optics Image Enhancement [77.0360085530701]
  水中画像強調(UIE)は、水中環境によって引き起こされる複雑な劣化のために難しい課題である。 従来の手法では、劣化過程を理想化し、中音や物体の動きが画像の特徴の分布に与える影響を無視することが多い。 提案手法では,予測画像を用いて疑似ラベルを動的に更新し,動的勾配を加えてネットワークの勾配空間を最適化する。
  論文  参考訳（メタデータ） (2023-12-12T06:07:21Z)
• Learning Global-aware Kernel for Image Harmonization [55.614444363743765]
  画像調和は、背景を基準として前景画素を適応的に調整することで、合成画像の視覚的不整合問題を解決することを目的としている。 既存の手法では、前景と背景の間の局所的な色変換や領域マッチングが採用されている。 本稿では,長距離バックグラウンド参照を包括的に考慮した地域調和のための,GKNet(Global-Aware Kernel Network)を提案する。
  論文  参考訳（メタデータ） (2023-05-19T13:49:02Z)
• Local-Global Transformer Enhanced Unfolding Network for Pan-sharpening [13.593522290577512]
  パンシャーピングは,低分解能マルチスペクトル (LrMS) 画像の空間分解能を,対応するパンクロマティック (PAN) 画像の誘導により向上することを目的としている。 深層学習(DL)に基づくパンシャーピング法は有望な性能を達成しているが、そのほとんどは2倍の欠損を有する。
  論文  参考訳（メタデータ） (2023-04-28T03:34:36Z)
• Efficient and Explicit Modelling of Image Hierarchies for Image Restoration [120.35246456398738]
  本研究では,画像復元のためのグローバル,地域,地域領域における画像階層を効率的に,かつ明示的にモデル化する機構を提案する。 そこで本研究では, 空間と時間的複雑性のバランスが良く, 固定されたストライプ自己注意を提案する。 そこで我々はGlobal, Regional, Local Rangeにおける画像階層を明示的にモデル化するGRLと呼ばれる新しいネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-03-01T18:59:29Z)
• Intra-Source Style Augmentation for Improved Domain Generalization [21.591831983223997]
  セマンティックセグメンテーションにおける領域一般化を改善するために,イントラソーススタイル拡張(ISSA)手法を提案する。 ISSAはモデルに依存しず、CNNやTransformerで簡単に適用できる。 また、Cityscapes から Dark Z"urich の最近の最先端ソリューション RobustNet を $3%$ mIoU で改善するなど、他の領域の一般化手法を補完する。
  論文  参考訳（メタデータ） (2022-10-18T21:33:25Z)
• FRIH: Fine-grained Region-aware Image Harmonization [49.420765789360836]
  我々は,FRIH(Fentral-Aware Image Harmonization)のための新しいグローバルな2段階フレームワークを提案する。 提案アルゴリズムは,軽量モデルを用いて,iHarmony4データセット(PSNRは38.19dB)上で最高の性能を実現する。
  論文  参考訳（メタデータ） (2022-05-13T04:50:26Z)
• Low Light Image Enhancement via Global and Local Context Modeling [164.85287246243956]
  低照度画像強調のためのコンテキスト認識ディープネットワークを導入。 まず、全空間領域上の補完的な手がかりを見つけるために空間相関をモデル化するグローバルコンテキストモジュールを特徴とする。 第二に、比較的大きな受容フィールドで局所的なコンテキストをキャプチャする密な残留ブロックを導入する。
  論文  参考訳（メタデータ） (2021-01-04T09:40:54Z)
• Image Fine-grained Inpainting [89.17316318927621]
  拡張畳み込みの密結合を利用してより大きく効果的な受容場を得る一段階モデルを提案する。 この効率的なジェネレータをよく訓練するために、頻繁に使用されるVGG特徴整合損失を除いて、新しい自己誘導回帰損失を設計する。 また、局所的・グローバルな分枝を持つ識別器を用いて、局所的・グローバルな内容の整合性を確保する。
  論文  参考訳（メタデータ） (2020-02-07T03:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。