論文の概要: Underwater Image Enhancement by Diffusion Model with Customized CLIP-Classifier

• arxiv url: http://arxiv.org/abs/2405.16214v1
• Date: Sat, 25 May 2024 12:56:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 00:31:06.106088
• Title: Underwater Image Enhancement by Diffusion Model with Customized CLIP-Classifier
• Title（参考訳）: カスタマイズCLIP分類器を用いた拡散モデルによる水中画像の強調
• Authors: Shuaixin Liu, Kunqian Li, Yilin Ding,
• Abstract要約: 繰り返し強調のための多誘導拡散モデルを用いて,新しい水中画像強調手法を提案する。 画像から画像への拡散モデルとCLIP分類器は,微細調整過程において主に高周波領域で機能することがわかった。
• 参考スコア（独自算出の注目度）: 2.57296318936836
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose a novel underwater image enhancement method, by utilizing the multi-guided diffusion model for iterative enhancement. Unlike other image enhancement tasks, underwater images suffer from the unavailability of real reference images. Although existing works exploit synthetic images, manually selected well-enhanced images as reference images, to train enhancement networks, their enhancement performance always comes with subjective preferences that are inherited from the manual selection. To address this issue, we also use the image synthesis strategy, but the synthetic images derive from in-air natural images degraded into corresponding underwater images, guided by the underwater domain. Based on this strategy, the diffusion model can learn the prior knowledge of image enhancement from the underwater degradation domain to the real in-air natural domain. However, it is inevitable to fine-tune the model to suit downstream tasks, and this may erase the prior knowledge. To mitigate this, we combine the prior knowledge from the in-air natural domain with Contrastive Language-Image Pretraining (CLIP) to train a classifier for controlling the diffusion model generation process. Moreover, for image enhancement tasks, we find that the image-to-image diffusion model and the CLIP-Classifier mainly act in the high-frequency region during the fine-tuning process. Therefore, we propose a fast fine-tuning strategy focusing on the high-frequency region, which can be up to 10 times faster than the traditional strategy. Extensive experiments demonstrate that our method, abbreviated as CLIP-UIE, exhibit a more natural appearance.
• Abstract（参考訳）: 本稿では,複数誘導拡散モデルを用いた水中画像強調手法を提案する。 他の画像強調タスクとは異なり、水中画像は実際の参照画像の有効性に悩まされる。 既存の作品では、手動で選択した精巧な画像を参照画像として活用し、強化ネットワークを訓練しているが、その強化性能は常に手動選択から受け継がれた主観的嗜好が伴う。 この問題に対処するためには、画像合成戦略も使用しますが、合成画像は、水中領域でガイドされた、対応する水中画像に分解された空気中の自然画像に由来するものです。 この戦略に基づき、拡散モデルは水中劣化領域から実際の空中自然領域への画像強調に関する事前知識を学習することができる。 しかし、下流のタスクに適合するようにモデルを微調整することは避けられない。 これを軽減するため,拡散モデル生成過程を制御するための分類器を訓練するために,空気中の自然領域からの事前知識とコントラスト言語-画像事前学習(CLIP)を組み合わせる。 さらに、画像強調タスクでは、画像間の拡散モデルとCLIP分類器が、微調整過程において主に高周波領域で機能することがわかった。 そこで本研究では,従来の手法よりも最大10倍高速な高周波領域に着目した高速微調整戦略を提案する。 以上の結果から,CLIP-UIEはより自然に出現することが示唆された。

関連論文リスト

• HazeCLIP: Towards Language Guided Real-World Image Dehazing [62.4454483961341]
  既存の手法は、特に合成データセットにおいて、単一画像のデハージングにおいて顕著な性能を達成した。 本稿では,事前学習型デハジングネットワークの性能向上を目的とした言語誘導適応フレームワークHazeCLIPを紹介する。
  論文  参考訳（メタデータ） (2024-07-18T17:18:25Z)
• DP-IQA: Utilizing Diffusion Prior for Blind Image Quality Assessment in the Wild [54.139923409101044]
  拡散先行型IQA(DP-IQA)と呼ばれる新しいIQA法を提案する。 トレーニング済みの安定拡散をバックボーンとして使用し、復調するU-Netから多レベル特徴を抽出し、それらをデコードして画質スコアを推定する。 上記のモデルの知識をCNNベースの学生モデルに抽出し、適用性を高めるためにパラメータを大幅に削減する。
  論文  参考訳（メタデータ） (2024-05-30T12:32:35Z)
• Active Generation for Image Classification [50.18107721267218]
  本稿では,モデルのニーズと特徴に着目し,画像生成の効率性に対処することを提案する。 能動学習の中心的傾向として,ActGenという手法が,画像生成のトレーニング・アウェア・アプローチを取り入れている。
  論文  参考訳（メタデータ） (2024-03-11T08:45:31Z)
• DGNet: Dynamic Gradient-Guided Network for Water-Related Optics Image Enhancement [77.0360085530701]
  水中画像強調(UIE)は、水中環境によって引き起こされる複雑な劣化のために難しい課題である。 従来の手法では、劣化過程を理想化し、中音や物体の動きが画像の特徴の分布に与える影響を無視することが多い。 提案手法では,予測画像を用いて疑似ラベルを動的に更新し,動的勾配を加えてネットワークの勾配空間を最適化する。
  論文  参考訳（メタデータ） (2023-12-12T06:07:21Z)
• UIEDP:Underwater Image Enhancement with Diffusion Prior [20.349103580702028]
  水中画像強調(UIE)は,低品質水中画像から鮮明な画像を生成することを目的としている。 劣化した水中の入力に条件付きクリアな画像の後方分布サンプリングプロセスとして,UIEを取り扱う新しいフレームワークであるUIEDPを提案する。
  論文  参考訳（メタデータ） (2023-12-11T09:24:52Z)
• LLDiffusion: Learning Degradation Representations in Diffusion Models for Low-Light Image Enhancement [118.83316133601319]
  現在の低照度画像強調(LLIE)の深層学習法は、通常、ペア化されたデータから学んだピクセルワイドマッピングに依存している。 本稿では,拡散モデルを用いたLLIEの劣化認識学習手法を提案する。
  論文  参考訳（メタデータ） (2023-07-27T07:22:51Z)
• PUGAN: Physical Model-Guided Underwater Image Enhancement Using GAN with Dual-Discriminators [120.06891448820447]
  鮮明で視覚的に快適な画像を得る方法は、人々の共通の関心事となっている。 水中画像強調(UIE)の課題も、時間とともに現れた。 本稿では,UIE のための物理モデル誘導型 GAN モデルを提案する。 我々のPUGANは質的および定量的な測定値において最先端の手法より優れています。
  論文  参考訳（メタデータ） (2023-06-15T07:41:12Z)
• Domain Adaptation for Underwater Image Enhancement via Content and Style Separation [7.077978580799124]
  水中画像は、カラーキャスト、低コントラスト、光吸収、屈折、散乱によるハジー効果に悩まされている。 近年の学習に基づく手法は水中画像の強調に驚くべき性能を示した。 本稿では,コンテンツとスタイル分離による水中画像強調のためのドメイン適応フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-02-17T09:30:29Z)
• Wavelength-based Attributed Deep Neural Network for Underwater Image Restoration [9.378355457555319]
  本稿では,色チャネルの移動範囲に基づいて,適切な受容場サイズ(コンテキスト)を付与することで,大幅な性能向上が期待できることを示す。 第2の新規性として、学習したマルチコンテキスト特徴を適応的に洗練するための注意的スキップ機構を組み込んだ。 提案するフレームワークはDeep WaveNetと呼ばれ、従来のピクセル単位で機能ベースのコスト関数を使って最適化されている。
  論文  参考訳（メタデータ） (2021-06-15T06:47:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。