論文の概要: Unsupervised Image Prior via Prompt Learning and CLIP Semantic Guidance for Low-Light Image Enhancement

• arxiv url: http://arxiv.org/abs/2405.11478v1
• Date: Sun, 19 May 2024 08:06:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-21 17:28:11.666279
• Title: Unsupervised Image Prior via Prompt Learning and CLIP Semantic Guidance for Low-Light Image Enhancement
• Title（参考訳）: プロンプト学習とCLIPセマンティックガイダンスによる低照度画像強調のための教師なし画像優先
• Authors: Igor Morawski, Kai He, Shusil Dangi, Winston H. Hsu,
• Abstract要約: 本稿では,よりリッチな視覚言語CLIPを利用して,ゼロ参照低照度化手法を提案する。 提案手法はタスクベース性能に関する各種データセット間で一貫した改善をもたらすことを示す。
• 参考スコア（独自算出の注目度）: 25.97198463881292
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Currently, low-light conditions present a significant challenge for machine cognition. In this paper, rather than optimizing models by assuming that human and machine cognition are correlated, we use zero-reference low-light enhancement to improve the performance of downstream task models. We propose to improve the zero-reference low-light enhancement method by leveraging the rich visual-linguistic CLIP prior without any need for paired or unpaired normal-light data, which is laborious and difficult to collect. We propose a simple but effective strategy to learn prompts that help guide the enhancement method and experimentally show that the prompts learned without any need for normal-light data improve image contrast, reduce over-enhancement, and reduce noise over-amplification. Next, we propose to reuse the CLIP model for semantic guidance via zero-shot open vocabulary classification to optimize low-light enhancement for task-based performance rather than human visual perception. We conduct extensive experimental results showing that the proposed method leads to consistent improvements across various datasets regarding task-based performance and compare our method against state-of-the-art methods, showing favorable results across various low-light datasets.
• Abstract（参考訳）: 現在、低照度条件は機械認識にとって大きな課題となっている。 本稿では、人間と機械の認知が相関していると仮定してモデルを最適化するのではなく、ゼロ参照低照度化を用いて下流タスクモデルの性能を向上させる。 本稿では,ペアやアンペアのノーマルライトデータを必要とすることなく,よりリッチな視覚言語CLIPを活用することで,ゼロ参照低照度化手法の改善を提案する。 本研究では,通常光データを必要としない方法で学習したプロンプトが画像コントラストを改善し,オーバーエンハンスメントを低減し,ノイズオーバーアンプリフィケーションを低減できることを実験的に示す。 次に、ゼロショットオープン語彙分類によるセマンティックガイダンスのためのCLIPモデルを再利用し、人間の視覚的知覚よりもタスクベース性能の低照度向上を最適化する。 提案手法はタスクベース性能に関する様々なデータセットに一貫した改善をもたらすことを示すとともに,提案手法を最先端の手法と比較し,様々な低照度データセットに対して良好な結果を示す。

関連論文リスト

• Unsupervised Low-light Image Enhancement with Lookup Tables and Diffusion Priors [38.96909959677438]
  低照度画像強調(LIE)は、低照度環境において劣化した画像を高精度かつ効率的に回収することを目的としている。 近年の先進的なLIE技術は、多くの低正規の光画像対、ネットワークパラメータ、計算資源を必要とするディープニューラルネットワークを使用している。 拡散先行とルックアップテーブルに基づく新しい非教師付きLIEフレームワークを考案し,低照度画像の効率的な回復を実現する。
  論文  参考訳（メタデータ） (2024-09-27T16:37:27Z)
• Debiasing Multimodal Large Language Models [61.6896704217147]
  LVLM(Large Vision-Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。 本研究は,入力画像に先行するLarge Language Models (LLM) の影響を主に受け,生成したコンテンツに有意なバイアスが生じることを示す。 これらのバイアスを是正し、視覚情報に対するモデルの焦点をリダイレクトするために、我々は2つの単純で訓練のない戦略を導入する。
  論文  参考訳（メタデータ） (2024-03-08T12:35:07Z)
• Visibility Enhancement for Low-light Hazy Scenarios [18.605784907840473]
  夕暮れや早朝には、低照度なシーンがよく現れる。 低照度ハジーシナリオの可視性を高める新しい手法を提案する。 このフレームワークは、異なるサブタスクからのヒントを完全に活用することで、入力画像の可視性を高めるように設計されている。 このシミュレーションは, 提案した低照度ハジーイメージングモデルを用いて, 地上構造でデータセットを生成するために設計されている。
  論文  参考訳（メタデータ） (2023-08-01T15:07:38Z)
• Iterative Prompt Learning for Unsupervised Backlit Image Enhancement [86.90993077000789]
  そこで本研究では,CLIP-LITと略称される,非教師なしのバックライト画像強調手法を提案する。 オープンワールドのCLIPはバックライト画像と well-lit 画像の区別に有効であることを示す。 提案手法は,学習フレームワークの更新と,学習結果を視覚的に満足するまでのネットワークの強化を交互に行う。
  論文  参考訳（メタデータ） (2023-03-30T17:37:14Z)
• Unified Vision and Language Prompt Learning [86.1530128487077]
  本稿では,テキストプロンプトチューニングと視覚的プロンプトチューニングという,2つの代表的プロンプトチューニング手法に関する体系的研究を行う。 主要な発見は、テキストプロンプトチューニングは、高いクラス内の視覚的ばらつきを持つデータでは失敗する一方で、視覚的プロンプトチューニングはクラス間のばらつきを低く扱えないことである。 両世界から最高のものを組み合わせるために、我々はUnified Prompt Tuning (UPT)と呼ばれる単純なアプローチを提案する。
  論文  参考訳（メタデータ） (2022-10-13T17:50:24Z)
• Enhancement by Your Aesthetic: An Intelligible Unsupervised Personalized Enhancer for Low-Light Images [67.14410374622699]
  低照度画像のための知能的教師なしパーソナライズ・エンハンサー(iUPEnhancer)を提案する。 提案したiUP-Enhancerは、これらの相関関係とそれに対応する教師なし損失関数のガイダンスを用いて訓練される。 実験により,提案アルゴリズムは競合的な質的,定量的な結果が得られることを示した。
  論文  参考訳（メタデータ） (2022-07-15T07:16:10Z)
• Toward Fast, Flexible, and Robust Low-Light Image Enhancement [87.27326390675155]
  我々は、現実の低照度シナリオにおいて、高速でフレキシブルで頑健な鮮明化のための新しい自己校正イルミネーション(SCI)学習フレームワークを開発した。 カスケードパターンの計算負担を考慮すると、各ステージの結果の収束を実現する自己校正モジュールを構築する。 我々は,SCI固有の特性について,操作不感適応性やモデル非関係の一般性を含む包括的探索を行う。
  論文  参考訳（メタデータ） (2022-04-21T14:40:32Z)
• Semantic-Guided Zero-Shot Learning for Low-Light Image/Video Enhancement [3.4722706398428493]
  低照度画像は人間の知覚とコンピュータビジョンのアルゴリズムの両方に挑戦する。 計算写真やコンピュータビジョンアプリケーションのための低照度画像の啓蒙にアルゴリズムを堅牢にすることが不可欠である。 本稿では,ペア画像の欠如により訓練されたセマンティック誘導ゼロショット低照度拡張ネットワークを提案する。
  論文  参考訳（メタデータ） (2021-10-03T10:07:36Z)
• Improving Aerial Instance Segmentation in the Dark with Self-Supervised Low Light Enhancement [6.500738558466833]
  空中画像の低照度条件は、視覚ベースのアプリケーションの性能に悪影響を及ぼす。 自己監督型で低照度画像を高めることができる新しい手法を提案する。 GANを用いた新しい低照度航空データセットも提案する。
  論文  参考訳（メタデータ） (2021-02-10T12:24:40Z)
• Unsupervised Low-light Image Enhancement with Decoupled Networks [103.74355338972123]
  我々は、実世界の低照度画像を教師なしで拡張する2段階のGANベースのフレームワークを学習する。 提案手法は,照度向上と雑音低減の両面から,最先端の教師なし画像強調法より優れる。
  論文  参考訳（メタデータ） (2020-05-06T13:37:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。