論文の概要: NightHazeFormer: Single Nighttime Haze Removal Using Prior Query Transformer

• arxiv url: http://arxiv.org/abs/2305.09533v2
• Date: Sun, 6 Aug 2023 17:18:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-08 22:51:49.888868
• Title: NightHazeFormer: Single Nighttime Haze Removal Using Prior Query Transformer
• Title（参考訳）: NightHazeFormer: 事前クエリ変換器を用いた単一夜間ヘイズ除去
• Authors: Yun Liu, Zhongsheng Yan, Sixiang Chen, Tian Ye, Wenqi Ren and Erkang Chen
• Abstract要約: 我々はナイトヘイズフォーマー(NightHazeFormer)と呼ばれる夜間ヘイズ除去のためのエンドツーエンドのトランスフォーマーベースのフレームワークを提案する。 提案手法は,教師付き事前学習と半教師付き微調整の2段階からなる。 いくつかの合成および実世界のデータセットの実験は、最先端の夜間ヘイズ除去法よりもNightHazeFormerの方が優れていることを示している。
• 参考スコア（独自算出の注目度）: 31.27642433217606
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Nighttime image dehazing is a challenging task due to the presence of multiple types of adverse degrading effects including glow, haze, blurry, noise, color distortion, and so on. However, most previous studies mainly focus on daytime image dehazing or partial degradations presented in nighttime hazy scenes, which may lead to unsatisfactory restoration results. In this paper, we propose an end-to-end transformer-based framework for nighttime haze removal, called NightHazeFormer. Our proposed approach consists of two stages: supervised pre-training and semi-supervised fine-tuning. During the pre-training stage, we introduce two powerful priors into the transformer decoder to generate the non-learnable prior queries, which guide the model to extract specific degradations. For the fine-tuning, we combine the generated pseudo ground truths with input real-world nighttime hazy images as paired images and feed into the synthetic domain to fine-tune the pre-trained model. This semi-supervised fine-tuning paradigm helps improve the generalization to real domain. In addition, we also propose a large-scale synthetic dataset called UNREAL-NH, to simulate the real-world nighttime haze scenarios comprehensively. Extensive experiments on several synthetic and real-world datasets demonstrate the superiority of our NightHazeFormer over state-of-the-art nighttime haze removal methods in terms of both visually and quantitatively.
• Abstract（参考訳）: 夜間の消光は、光、迷路、ぼやけ、ノイズ、色歪みなど、さまざまな有害な劣化効果があるため、困難な課題である。 しかし, 従来の研究では, 夜間の嫌悪な場面で提示される日中の画像劣化や部分的な劣化が中心であり, 修復に不満足な結果をもたらす可能性がある。 本稿では,夜間ヘイズ除去のためのエンドツーエンドトランスフォーマーフレームワークであるnighthazeformerを提案する。 提案手法は,教師付き事前学習と半教師付き微調整の2段階からなる。 事前学習段階では、トランスフォーマーデコーダに2つの強力なプリエントを導入し、非学習可能なプリエントクエリを生成し、モデルに特定の劣化を抽出するよう指示する。 微調整では,生成した擬似基底真理と実世界の夜間空想画像とをペア画像として組み合わせて合成領域に入力し,事前学習したモデルを微調整する。 この半教師付き微調整パラダイムは、実領域への一般化を改善するのに役立つ。 さらに,実世界の夜間ヘイズシナリオを包括的にシミュレートするUNREAL-NHという大規模合成データセットも提案する。 いくつかの合成および実世界のデータセットに対する大規模な実験は、現状の夜間ヘイズ除去法よりも視覚的および定量的にNightHazeFormerの優位性を示している。

関連論文リスト

• Night-to-Day Translation via Illumination Degradation Disentanglement [51.77716565167767]
  ナイト・トゥ・デイの翻訳は、夜間のシーンの昼のようなビジョンを達成することを目的としている。 複雑な劣化を伴う夜間画像の処理は 未熟な条件下では 重要な課題です 夜間画像の劣化パターンを識別するためにtextbfN2D3 を提案する。
  論文  参考訳（メタデータ） (2024-11-21T08:51:32Z)
• Exploring Reliable Matching with Phase Enhancement for Night-time Semantic Segmentation [58.180226179087086]
  夜間セマンティックセマンティックセグメンテーションに適した新しいエンドツーエンド最適化手法であるNightFormerを提案する。 具体的には,画素レベルのテクスチャ・エンハンスメント・モジュールを設計し,フェーズ・エンハンスメントとアンプリメント・アテンションとともに階層的にテクスチャ・アウェア機能を取得する。 提案手法は、最先端の夜間セマンティックセグメンテーション手法に対して好意的に機能する。
  論文  参考訳（メタデータ） (2024-08-25T13:59:31Z)
• Self-Supervised Monocular Depth Estimation in the Dark: Towards Data Distribution Compensation [24.382795861986803]
  光度一貫性の仮定は、複雑な照明条件下で撮影されたビデオには通常違反するため、自己超越のために夜間画像を使用することは信頼できない。 本研究では,トレーニング中に夜間画像を使用しない夜間単眼深度推定手法を提案する。
  論文  参考訳（メタデータ） (2024-04-22T03:39:03Z)
• A Semi-supervised Nighttime Dehazing Baseline with Spatial-Frequency Aware and Realistic Brightness Constraint [19.723367790947684]
  実世界における夜間脱ハージングのための半教師付きモデルを提案する。 まず、空間的注意と周波数スペクトルフィルタリングを、空間周波数領域情報相互作用モジュールとして実装する。 第2に、半教師付きトレーニングプロセスにおける擬似ラベルに基づくリトレーニング戦略と局所窓ベースの輝度損失は、迷路や光を抑制するように設計されている。
  論文  参考訳（メタデータ） (2024-03-27T13:27:02Z)
• NightHaze: Nighttime Image Dehazing via Self-Prior Learning [30.395213789178275]
  Masked Autoencoder (MAE) は、訓練中の高度増強が高レベルのタスクに対して堅牢な表現をもたらすことを示す。 自己学習型夜間画像復調手法を提案する。 私たちのNightHaze、特に私たちのMAEのような自己学習は、厳しい拡張で訓練されたモデルが、入力されたヘイズ画像の視認性を効果的に改善することを示しています。
  論文  参考訳（メタデータ） (2024-03-12T08:35:42Z)
• ScatterNeRF: Seeing Through Fog with Physically-Based Inverse Neural Rendering [83.75284107397003]
  本稿では,シーンをレンダリングし,霧のない背景を分解するニューラルネットワークレンダリング手法であるScatterNeRFを紹介する。 本研究では,散乱量とシーンオブジェクトの非絡み合い表現を提案し,物理に着想を得た損失を伴ってシーン再構成を学習する。 マルチビューIn-the-Wildデータをキャプチャして,大規模な霧室内でのキャプチャを制御し,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2023-05-03T13:24:06Z)
• Non-Homogeneous Haze Removal via Artificial Scene Prior and Bidimensional Graph Reasoning [52.07698484363237]
  本研究では,人工シーンの前置と2次元グラフ推論による不均質なヘイズ除去ネットワーク(nhrn)を提案する。 本手法は,単一画像デハジングタスクとハイザイ画像理解タスクの両方において,最先端アルゴリズムよりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2021-04-05T13:04:44Z)
• Nighttime Dehazing with a Synthetic Benchmark [147.21955799938115]
  昼間の鮮明な画像から夜間のハズイ画像をシミュレートする3Rという新しい合成法を提案する。 実空間の光色を以前の経験的分布からサンプリングすることにより,現実的な夜間ハズイ画像を生成する。 実験結果は、画像の品質と実行時間の両方の観点から、最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-08-10T02:16:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。