論文の概要: NightHaze: Nighttime Image Dehazing via Self-Prior Learning

• arxiv url: http://arxiv.org/abs/2403.07408v2
• Date: Mon, 23 Dec 2024 12:36:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 19:21:34.582100
• Title: NightHaze: Nighttime Image Dehazing via Self-Prior Learning
• Title（参考訳）: NightHaze: セルフピアラーニングによる夜間のイメージデハジング
• Authors: Beibei Lin, Yeying Jin, Wending Yan, Wei Ye, Yuan Yuan, Robby T. Tan,
• Abstract要約: Masked Autoencoder (MAE) は、訓練中の高度増強が高レベルのタスクに対して堅牢な表現をもたらすことを示す。 自己学習型夜間画像復調手法を提案する。 私たちのNightHaze、特に私たちのMAEのような自己学習は、厳しい拡張で訓練されたモデルが、入力されたヘイズ画像の視認性を効果的に改善することを示しています。
• 参考スコア（独自算出の注目度）: 28.685126418090338
• License:
• Abstract: Masked autoencoder (MAE) shows that severe augmentation during training produces robust representations for high-level tasks. This paper brings the MAE-like framework to nighttime image enhancement, demonstrating that severe augmentation during training produces strong network priors that are resilient to real-world night haze degradations. We propose a novel nighttime image dehazing method with self-prior learning. Our main novelty lies in the design of severe augmentation, which allows our model to learn robust priors. Unlike MAE that uses masking, we leverage two key challenging factors of nighttime images as augmentation: light effects and noise. During training, we intentionally degrade clear images by blending them with light effects as well as by adding noise, and subsequently restore the clear images. This enables our model to learn clear background priors. By increasing the noise values to approach as high as the pixel intensity values of the glow and light effect blended images, our augmentation becomes severe, resulting in stronger priors. While our self-prior learning is considerably effective in suppressing glow and revealing details of background scenes, in some cases, there are still some undesired artifacts that remain, particularly in the forms of over-suppression. To address these artifacts, we propose a self-refinement module based on the semi-supervised teacher-student framework. Our NightHaze, especially our MAE-like self-prior learning, shows that models trained with severe augmentation effectively improve the visibility of input haze images, approaching the clarity of clear nighttime images. Extensive experiments demonstrate that our NightHaze achieves state-of-the-art performance, outperforming existing nighttime image dehazing methods by a substantial margin of 15.5% for MUSIQ and 23.5% for ClipIQA.
• Abstract（参考訳）: Masked Autoencoder (MAE) は、訓練中の高度増強が高レベルのタスクに対して堅牢な表現をもたらすことを示す。 本稿では,MAEのようなフレームワークを夜間画像強調に応用し,実世界の夜間ハゼ劣化に対する耐性の高いネットワーク先行処理の高度化を実証する。 自己学習型夜間画像復調手法を提案する。 当社の主な斬新さは、厳格な拡張設計であり、モデルが堅牢な事前学習を可能にすることです。 マスクを使用するMAEとは異なり、夜間画像の2つの重要な難易度は、光効果とノイズの増大である。 トレーニング中は、明快な画像を光効果とブレンドし、ノイズを加えて意図的に劣化させ、その後、鮮明な画像を復元する。 これにより、私たちのモデルは明確な背景を学習できます。 光を照射した画像の画素強度値や光効果ブレンド画像のノイズ値が近づくと、増大が激しくなり、より強い先行性が得られる。 私たちの自己優先学習は、光を抑え、背景のシーンの詳細を明らかにするのにかなり効果的ですが、いくつかのケースでは、特に過剰な抑圧の形で、望ましくない人工物が残っています。 これらの成果物に対処するために,半教師型教員学生フレームワークに基づく自己補充モジュールを提案する。 私たちのNightHaze、特に私たちのMAEのような自己学習は、厳しい拡張で訓練されたモデルは、入力されたヘイズ画像の視認性を効果的に改善し、明確な夜間画像の明瞭さに近づいたことを示している。 大規模な実験により、我々のNightHazeは最先端のパフォーマンスを達成し、既存の夜間画像復調法をMUSIQで15.5%、ClipIQAで23.5%で上回った。

関連論文リスト

• Night-to-Day Translation via Illumination Degradation Disentanglement [51.77716565167767]
  ナイト・トゥ・デイの翻訳は、夜間のシーンの昼のようなビジョンを達成することを目的としている。 複雑な劣化を伴う夜間画像の処理は 未熟な条件下では 重要な課題です 夜間画像の劣化パターンを識別するためにtextbfN2D3 を提案する。
  論文  参考訳（メタデータ） (2024-11-21T08:51:32Z)
• DAP-LED: Learning Degradation-Aware Priors with CLIP for Joint Low-light Enhancement and Deblurring [14.003870853594972]
  DAP-LEDと呼ばれる新しい変圧器を用いた共同学習フレームワークを提案する。 低照度向上と劣化を共同で達成することができ、深度推定、セグメンテーション、暗黒での検知といった下流タスクの恩恵を受けることができる。 重要な洞察は、CLIPを活用して、夜間に画像から劣化レベルを適応的に学習することだ。
  論文  参考訳（メタデータ） (2024-09-20T13:37:53Z)
• FreeEnhance: Tuning-Free Image Enhancement via Content-Consistent Noising-and-Denoising Process [120.91393949012014]
  FreeEnhanceは、既製の画像拡散モデルを用いたコンテンツ一貫性のある画像強調のためのフレームワークである。 ノイズ発生段階では、FreeEnhanceは、元の画像の高頻度パターンを保存するために、より周波数の高い領域により軽いノイズを加えるように考案されている。 この段階では3つの目標特性を予測された雑音の規則化の制約として提示し,高精度で視覚的品質の高い画像の強調を行う。
  論文  参考訳（メタデータ） (2024-09-11T17:58:50Z)
• Self-Supervised Monocular Depth Estimation in the Dark: Towards Data Distribution Compensation [24.382795861986803]
  光度一貫性の仮定は、複雑な照明条件下で撮影されたビデオには通常違反するため、自己超越のために夜間画像を使用することは信頼できない。 本研究では,トレーニング中に夜間画像を使用しない夜間単眼深度推定手法を提案する。
  論文  参考訳（メタデータ） (2024-04-22T03:39:03Z)
• From Generation to Suppression: Towards Effective Irregular Glow Removal for Nighttime Visibility Enhancement [22.565044107631696]
  既存の低照度画像強調法 (LLIE) は、主に暗黒領域の明るさを改善するために設計されている。 これらの手法は、他の大きな視界の損傷である、夜間の夜景における光の影響を限定的に探究することができる。 大気点拡散関数(APSF)に基づく多重散乱推定による物理光発生の学習法を提案する。 提案手法はゼロショット学習に基づいており、ペアやアンペアのトレーニングデータに頼らず、光抑制と低照度強化の両方において提案手法の有効性を実証的に評価する。
  論文  参考訳（メタデータ） (2023-07-31T15:51:15Z)
• NightHazeFormer: Single Nighttime Haze Removal Using Prior Query Transformer [39.90066556289063]
  我々はナイトヘイズフォーマー(NightHazeFormer)と呼ばれる夜間ヘイズ除去のためのエンドツーエンドのトランスフォーマーベースのフレームワークを提案する。 提案手法は,教師付き事前学習と半教師付き微調整の2段階からなる。 いくつかの合成および実世界のデータセットの実験は、最先端の夜間ヘイズ除去法よりもNightHazeFormerの方が優れていることを示している。
  論文  参考訳（メタデータ） (2023-05-16T15:26:09Z)
• Masked Image Training for Generalizable Deep Image Denoising [53.03126421917465]
  本稿では,デノナイジングネットワークの一般化性能を高めるための新しい手法を提案する。 提案手法では,入力画像のランダムなピクセルをマスキングし,学習中に欠落した情報を再構成する。 提案手法は,他のディープラーニングモデルよりも優れた一般化能力を示し,実世界のシナリオに直接適用可能である。
  論文  参考訳（メタデータ） (2023-03-23T09:33:44Z)
• When the Sun Goes Down: Repairing Photometric Losses for All-Day Depth Estimation [47.617222712429026]
  既存の測光損失を昼夜両方の画像に有効にするための3つの手法の組み合わせについて述べる。 まず、連続するフレーム間で起こる光の変化を補うために、ピクセルごとの神経強度変換を導入する。 第2に,推定エゴモーションと深度によって引き起こされる再投影対応を補正するために,画素ごとの残留フローマップを推定する。
  論文  参考訳（メタデータ） (2022-06-28T09:29:55Z)
• Learning Flow-based Feature Warping for Face Frontalization with Illumination Inconsistent Supervision [73.18554605744842]
  Flow-based Feature Warping Model (FFWM) は、正面画像を保存するフォトリアリスティックおよび照明の合成を学ぶ。 Illumination Preserving Module (IPM) を提案する。 Warp Attention Module (WAM) は、機能レベルでのポーズの相違を低減するために導入された。
  論文  参考訳（メタデータ） (2020-08-16T06:07:00Z)
• Unsupervised Low-light Image Enhancement with Decoupled Networks [103.74355338972123]
  我々は、実世界の低照度画像を教師なしで拡張する2段階のGANベースのフレームワークを学習する。 提案手法は,照度向上と雑音低減の両面から,最先端の教師なし画像強調法より優れる。
  論文  参考訳（メタデータ） (2020-05-06T13:37:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。