論文の概要: Learning A Physical-aware Diffusion Model Based on Transformer for Underwater Image Enhancement

• arxiv url: http://arxiv.org/abs/2403.01497v2
• Date: Mon, 22 Apr 2024 17:13:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-23 23:24:19.095078
• Title: Learning A Physical-aware Diffusion Model Based on Transformer for Underwater Image Enhancement
• Title（参考訳）: 水中画像強調のための変圧器を用いた物理認識拡散モデル学習
• Authors: Chen Zhao, Chenyu Dong, Weiling Cai,
• Abstract要約: 本稿では,拡散過程の導出に物理知識を活用するための新しいUIEフレームワークであるPA-Diffを紹介する。 拡散過程を導くための物理の事前知識を利用することで、PDTブランチは水中認識能力を獲得し、現実世界の水中シーンにおける複雑な分布をモデル化することができる。 INRブランチは、暗黙の神経表現を通じて多様な水中画像から堅牢な特徴表現を学習することができるため、PDTブランチの復元が困難になる。
• 参考スコア（独自算出の注目度）: 5.553172974022233
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Underwater visuals undergo various complex degradations, inevitably influencing the efficiency of underwater vision tasks. Recently, diffusion models were employed to underwater image enhancement (UIE) tasks, and gained SOTA performance. However, these methods fail to consider the physical properties and underwater imaging mechanisms in the diffusion process, limiting information completion capacity of diffusion models. In this paper, we introduce a novel UIE framework, named PA-Diff, designed to exploiting the knowledge of physics to guide the diffusion process. PA-Diff consists of Physics Prior Generation (PPG) Branch, Implicit Neural Reconstruction (INR) Branch, and Physics-aware Diffusion Transformer (PDT) Branch. Our designed PPG branch aims to produce the prior knowledge of physics. With utilizing the physics prior knowledge to guide the diffusion process, PDT branch can obtain underwater-aware ability and model the complex distribution in real-world underwater scenes. INR Branch can learn robust feature representations from diverse underwater image via implicit neural representation, which reduces the difficulty of restoration for PDT branch. Extensive experiments prove that our method achieves best performance on UIE tasks.
• Abstract（参考訳）: 水中視覚は様々な複雑な劣化を起こし、必然的に水中視覚タスクの効率に影響を与える。 近年,水中画像強調(UIE)タスクに拡散モデルが採用され,SOTA性能が向上した。 しかし、これらの手法は拡散過程における物理的特性や水中イメージング機構を考慮せず、拡散モデルの情報完成能力を制限する。 本稿では,拡散過程の導出に物理知識を活用するための新しいUIEフレームワークであるPA-Diffを紹介する。 PA-Diffは、物理優先生成(PPG)ブランチ、インプシットニューラルネットワーク再構築(INR)ブランチ、物理対応拡散変換(PDT)ブランチで構成されている。 我々の設計したPSGブランチは、物理学の以前の知識を創出することを目的としている。 拡散過程を導くための物理の事前知識を利用することで、PDTブランチは水中認識能力を獲得し、現実世界の水中シーンにおける複雑な分布をモデル化することができる。 INRブランチは、暗黙の神経表現を通じて多様な水中画像から堅牢な特徴表現を学習することができるため、PDTブランチの復元が困難になる。 大規模な実験により,本手法がUIEタスク上で最高の性能を発揮することが証明された。

関連論文リスト

• Effective Diffusion Transformer Architecture for Image Super-Resolution [63.254644431016345]
  画像超解像のための効果的な拡散変換器(DiT-SR)を設計する。 実際には、DiT-SRは全体のU字型アーキテクチャを活用し、すべての変圧器ブロックに対して均一な等方性設計を採用する。 我々は、広く使われているAdaLNの制限を分析し、周波数適応型時間-ステップ条件付けモジュールを提案する。
  論文  参考訳（メタデータ） (2024-09-29T07:14:16Z)
• FAFA: Frequency-Aware Flow-Aided Self-Supervision for Underwater Object Pose Estimation [65.01601309903971]
  無人水中車両(UUV)の6次元ポーズ推定のための周波数認識フロー支援フレームワークであるFAFAを紹介する。 我々のフレームワークは、3DモデルとRGB画像のみに依存しており、実際のポーズアノテーションや奥行きのような非モダリティデータの必要性を軽減しています。 本研究では,一般的な水中オブジェクトポーズベンチマークにおけるFAFAの有効性を評価し,最先端手法と比較して顕著な性能向上を示した。
  論文  参考訳（メタデータ） (2024-09-25T03:54:01Z)
• UIE-UnFold: Deep Unfolding Network with Color Priors and Vision Transformer for Underwater Image Enhancement [27.535028176427623]
  水中画像強調(UIE)は様々な海洋用途において重要な役割を担っている。 現在の学習に基づくアプローチは、水中画像形成に関わる物理過程に関する明確な事前知識を欠いていることが多い。 そこで本稿では,UIEのカラープリエントとステージ間特徴付与を統合した新しいディープ・アンフォールディング・ネットワーク(DUN)を提案する。
  論文  参考訳（メタデータ） (2024-08-20T08:48:33Z)
• A Physical Model-Guided Framework for Underwater Image Enhancement and Depth Estimation [19.204227769408725]
  既存の水中画像強調手法では、深度や対光といった画像モデルパラメータを正確に推定することができない。 先進的なUIEモデルとDeep Degradation Modelを併用したモデル誘導フレームワークを提案する。 本フレームワークは水中の多様なシーンにまたがって顕著な拡張効果をもたらす。
  論文  参考訳（メタデータ） (2024-07-05T03:10:13Z)
• Vision-Informed Flow Image Super-Resolution with Quaternion Spatial Modeling and Dynamic Flow Convolution [49.45309818782329]
  フロー画像超解像(FISR)は、低分解能フロー画像から高分解能乱流速度場を復元することを目的としている。 既存のFISR法は主に自然画像パターンのフロー画像を処理する。 第一流れの視覚特性インフォームドFISRアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-01-29T06:48:16Z)
• DGNet: Dynamic Gradient-Guided Network for Water-Related Optics Image Enhancement [77.0360085530701]
  水中画像強調(UIE)は、水中環境によって引き起こされる複雑な劣化のために難しい課題である。 従来の手法では、劣化過程を理想化し、中音や物体の動きが画像の特徴の分布に与える影響を無視することが多い。 提案手法では,予測画像を用いて疑似ラベルを動的に更新し,動的勾配を加えてネットワークの勾配空間を最適化する。
  論文  参考訳（メタデータ） (2023-12-12T06:07:21Z)
• Semi-supervised Underwater Image Enhancement Using A Physics-Aware Triple-Stream Network [6.7932860553262415]
  我々は、物理に基づく画像形成モデル(IFM)と深層学習技術の両方を水中画像強調(UIE)に活用する。 PATS-UIENetは、直接信号伝送推定水蒸気(D-Stream)、後方信号伝送推定水蒸気(B-Stream)、アンビエント光推定水蒸気(A-Stream)からなる。 また、ラベル付き画像とラベルなし画像の両方を利用して、IFMにインスパイアされた半教師付き学習フレームワークを採用し、不十分なデータの問題に対処する。
  論文  参考訳（メタデータ） (2023-07-21T10:10:18Z)
• PUGAN: Physical Model-Guided Underwater Image Enhancement Using GAN with Dual-Discriminators [120.06891448820447]
  鮮明で視覚的に快適な画像を得る方法は、人々の共通の関心事となっている。 水中画像強調(UIE)の課題も、時間とともに現れた。 本稿では,UIE のための物理モデル誘導型 GAN モデルを提案する。 我々のPUGANは質的および定量的な測定値において最先端の手法より優れています。
  論文  参考訳（メタデータ） (2023-06-15T07:41:12Z)
• Low-Light Image Enhancement with Wavelet-based Diffusion Models [50.632343822790006]
  拡散モデルは画像復元作業において有望な結果を得たが、時間を要する、過剰な計算資源消費、不安定な復元に悩まされている。 本稿では,DiffLLと呼ばれる高能率かつ高能率な拡散型低光画像強調手法を提案する。
  論文  参考訳（メタデータ） (2023-06-01T03:08:28Z)
• Domain Adaptive Adversarial Learning Based on Physics Model Feedback for Underwater Image Enhancement [10.143025577499039]
  物理モデルに基づくフィードバック制御と,水中画像の高機能化のための領域適応機構を用いた,新しい頑健な対角学習フレームワークを提案する。 水中画像形成モデルを用いてRGB-Dデータから水中訓練データセットをシミュレーションする新しい手法を提案する。 合成および実水中画像の最終的な改良結果は,提案手法の優位性を示している。
  論文  参考訳（メタデータ） (2020-02-20T07:50:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。