論文の概要: Underwater Image Enhancement by Diffusion Model with Customized CLIP-Classifier

• arxiv url: http://arxiv.org/abs/2405.16214v2
• Date: Fri, 7 Jun 2024 09:07:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-10 18:58:44.803203
• Title: Underwater Image Enhancement by Diffusion Model with Customized CLIP-Classifier
• Title（参考訳）: カスタマイズCLIP分類器を用いた拡散モデルによる水中画像の強調
• Authors: Shuaixin Liu, Kunqian Li, Yilin Ding, Qi Qi,
• Abstract要約: 水中画像強調(UIE)は、低品質の入力から視覚的品質を改善することを目的としている。 UIE タスクに Contrastive Language- Image Pretraining (CLIP) の可能性を生かした新しいフレームワークである CLIP-UIE を提案する。 具体的には,大気中の自然画像から実際の水中領域に誘導される対応する水中画像に分解することで,合成画像の合成に色移動を用いることを提案する。
• 参考スコア（独自算出の注目度）: 5.352081564604589
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Underwater Image Enhancement (UIE) aims to improve the visual quality from a low-quality input. Unlike other image enhancement tasks, underwater images suffer from the unavailability of real reference images. Although existing works exploit synthetic images and manually select well-enhanced images as reference images to train enhancement networks, their upper performance bound is limited by the reference domain. To address this challenge, we propose CLIP-UIE, a novel framework that leverages the potential of Contrastive Language-Image Pretraining (CLIP) for the UIE task. Specifically, we propose employing color transfer to yield synthetic images by degrading in-air natural images into corresponding underwater images, guided by the real underwater domain. This approach enables the diffusion model to capture the prior knowledge of mapping transitions from the underwater degradation domain to the real in-air natural domain. Still, fine-tuning the diffusion model for specific downstream tasks is inevitable and may result in the loss of this prior knowledge. To migrate this drawback, we combine the prior knowledge of the in-air natural domain with CLIP to train a CLIP-Classifier. Subsequently, we integrate this CLIP-Classifier with UIE benchmark datasets to jointly fine-tune the diffusion model, guiding the enhancement results towards the in-air natural domain. Additionally, for image enhancement tasks, we observe that both the image-to-image diffusion model and CLIP-Classifier primarily focus on the high-frequency region during fine-tuning. Therefore, we propose a new fine-tuning strategy that specifically targets the high-frequency region, which can be up to 10 times faster than traditional strategies. Extensive experiments demonstrate that our method exhibits a more natural appearance.
• Abstract（参考訳）: 水中画像強調(UIE)は、低品質の入力から視覚的品質を改善することを目的としている。 他の画像強調タスクとは異なり、水中画像は実際の参照画像の有効性に悩まされる。 既存の研究は、合成画像を利用して、手動で強化ネットワークをトレーニングするための参照画像として、十分に拡張された画像を選択するが、それらの上位性能境界は参照領域によって制限される。 この課題に対処するために、UIEタスクにCLIP(Contrastive Language- Image Pretraining)のポテンシャルを活用する新しいフレームワークであるCLIP-UIEを提案する。 具体的には,大気中の自然画像から実際の水中領域に誘導される対応する水中画像に分解することで,合成画像の合成に色移動を用いることを提案する。 このアプローチにより、拡散モデルは水中の劣化領域から実際の空気中の自然領域への写像遷移の以前の知識を捉えることができる。 それでも、特定の下流タスクの拡散モデルを微調整することは避けられず、この事前知識が失われる可能性がある。 この欠点を移行するために、空気中の自然ドメインの以前の知識をCLIPと組み合わせて、CLIP-Classifierをトレーニングする。 次に、このCLIP分類器をUIEベンチマークデータセットと統合し、拡散モデルの微調整を行い、空気中の自然領域への拡張結果を導出する。 さらに、画像強調タスクでは、画像間の拡散モデルとCLIP分類器の両方が、微調整時に主に高周波領域に焦点を当てていることが観察される。 そこで本研究では,従来の手法よりも最大10倍高速な高周波領域を対象とするファインチューニング戦略を提案する。 大規模な実験により,本手法はより自然な外観を示すことが示された。

関連論文リスト

• Towards Effective User Attribution for Latent Diffusion Models via Watermark-Informed Blending [54.26862913139299]
  我々は、ウォーターマークインフォームドブレンディング(TEAWIB)による潜伏拡散モデルに対する効果的なユーザ属性に向けた新しいフレームワークを提案する。 TEAWIBは、ユーザ固有の透かしを生成モデルにシームレスに統合する、ユニークな準備可能な構成アプローチを取り入れている。 TEAWIBの有効性を検証し、知覚的品質と帰属精度で最先端の性能を示す実験を行った。
  論文  参考訳（メタデータ） (2024-09-17T07:52:09Z)
• UIE-UnFold: Deep Unfolding Network with Color Priors and Vision Transformer for Underwater Image Enhancement [27.535028176427623]
  水中画像強調(UIE)は様々な海洋用途において重要な役割を担っている。 現在の学習に基づくアプローチは、水中画像形成に関わる物理過程に関する明確な事前知識を欠いていることが多い。 そこで本稿では,UIEのカラープリエントとステージ間特徴付与を統合した新しいディープ・アンフォールディング・ネットワーク(DUN)を提案する。
  論文  参考訳（メタデータ） (2024-08-20T08:48:33Z)
• HazeCLIP: Towards Language Guided Real-World Image Dehazing [62.4454483961341]
  既存の手法は、特に合成データセットにおいて、単一画像のデハージングにおいて顕著な性能を達成した。 本稿では,事前学習型デハジングネットワークの性能向上を目的とした言語誘導適応フレームワークHazeCLIPを紹介する。
  論文  参考訳（メタデータ） (2024-07-18T17:18:25Z)
• DGNet: Dynamic Gradient-Guided Network for Water-Related Optics Image Enhancement [77.0360085530701]
  水中画像強調(UIE)は、水中環境によって引き起こされる複雑な劣化のために難しい課題である。 従来の手法では、劣化過程を理想化し、中音や物体の動きが画像の特徴の分布に与える影響を無視することが多い。 提案手法では,予測画像を用いて疑似ラベルを動的に更新し,動的勾配を加えてネットワークの勾配空間を最適化する。
  論文  参考訳（メタデータ） (2023-12-12T06:07:21Z)
• UIEDP:Underwater Image Enhancement with Diffusion Prior [20.349103580702028]
  水中画像強調(UIE)は,低品質水中画像から鮮明な画像を生成することを目的としている。 劣化した水中の入力に条件付きクリアな画像の後方分布サンプリングプロセスとして,UIEを取り扱う新しいフレームワークであるUIEDPを提案する。
  論文  参考訳（メタデータ） (2023-12-11T09:24:52Z)
• LLDiffusion: Learning Degradation Representations in Diffusion Models for Low-Light Image Enhancement [118.83316133601319]
  現在の低照度画像強調(LLIE)の深層学習法は、通常、ペア化されたデータから学んだピクセルワイドマッピングに依存している。 本稿では,拡散モデルを用いたLLIEの劣化認識学習手法を提案する。
  論文  参考訳（メタデータ） (2023-07-27T07:22:51Z)
• PUGAN: Physical Model-Guided Underwater Image Enhancement Using GAN with Dual-Discriminators [120.06891448820447]
  鮮明で視覚的に快適な画像を得る方法は、人々の共通の関心事となっている。 水中画像強調(UIE)の課題も、時間とともに現れた。 本稿では,UIE のための物理モデル誘導型 GAN モデルを提案する。 我々のPUGANは質的および定量的な測定値において最先端の手法より優れています。
  論文  参考訳（メタデータ） (2023-06-15T07:41:12Z)
• Parents and Children: Distinguishing Multimodal DeepFakes from Natural Images [60.34381768479834]
  近年の拡散モデルの発展により、自然言語のテキストプロンプトから現実的なディープフェイクの生成が可能になった。 我々は、最先端拡散モデルにより生成されたディープフェイク検出に関する体系的研究を開拓した。
  論文  参考訳（メタデータ） (2023-04-02T10:25:09Z)
• Domain Adaptation for Underwater Image Enhancement via Content and Style Separation [7.077978580799124]
  水中画像は、カラーキャスト、低コントラスト、光吸収、屈折、散乱によるハジー効果に悩まされている。 近年の学習に基づく手法は水中画像の強調に驚くべき性能を示した。 本稿では,コンテンツとスタイル分離による水中画像強調のためのドメイン適応フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-02-17T09:30:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。