論文の概要: A Physical Model-Guided Framework for Underwater Image Enhancement and Depth Estimation
- arxiv url: http://arxiv.org/abs/2407.04230v1
- Date: Fri, 5 Jul 2024 03:10:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-08 14:41:15.163481
- Title: A Physical Model-Guided Framework for Underwater Image Enhancement and Depth Estimation
- Title(参考訳): 水中画像の強調と深さ推定のための物理モデルガイドフレームワーク
- Authors: Dazhao Du, Enhan Li, Lingyu Si, Fanjiang Xu, Jianwei Niu, Fuchun Sun,
- Abstract要約: 既存の水中画像強調手法では、深度や対光といった画像モデルパラメータを正確に推定することができない。
先進的なUIEモデルとDeep Degradation Modelを併用したモデル誘導フレームワークを提案する。
本フレームワークは水中の多様なシーンにまたがって顕著な拡張効果をもたらす。
- 参考スコア(独自算出の注目度): 19.204227769408725
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Due to the selective absorption and scattering of light by diverse aquatic media, underwater images usually suffer from various visual degradations. Existing underwater image enhancement (UIE) approaches that combine underwater physical imaging models with neural networks often fail to accurately estimate imaging model parameters such as depth and veiling light, resulting in poor performance in certain scenarios. To address this issue, we propose a physical model-guided framework for jointly training a Deep Degradation Model (DDM) with any advanced UIE model. DDM includes three well-designed sub-networks to accurately estimate various imaging parameters: a veiling light estimation sub-network, a factors estimation sub-network, and a depth estimation sub-network. Based on the estimated parameters and the underwater physical imaging model, we impose physical constraints on the enhancement process by modeling the relationship between underwater images and desired clean images, i.e., outputs of the UIE model. Moreover, while our framework is compatible with any UIE model, we design a simple yet effective fully convolutional UIE model, termed UIEConv. UIEConv utilizes both global and local features for image enhancement through a dual-branch structure. UIEConv trained within our framework achieves remarkable enhancement results across diverse underwater scenes. Furthermore, as a byproduct of UIE, the trained depth estimation sub-network enables accurate underwater scene depth estimation. Extensive experiments conducted in various real underwater imaging scenarios, including deep-sea environments with artificial light sources, validate the effectiveness of our framework and the UIEConv model.
- Abstract(参考訳): 様々な水性媒質による光の選択的吸収と散乱のため、水中の画像は通常様々な視覚的劣化に悩まされる。
既存の水中画像強調(UIE)アプローチでは、水中の物理画像モデルとニューラルネットワークを組み合わせて、深度や対光といった画像モデルパラメータを正確に見積もることができず、特定のシナリオでは性能が低下する。
そこで本研究では,DDM(Deep Degradation Model)とUIE(Deep Degradation Model)を併用した物理モデル誘導フレームワークを提案する。
DDMには3つのよく設計されたサブネットワークが含まれており、様々な画像パラメータを正確に推定する: ベールリング光推定サブネットワーク、因子推定サブネットワーク、深さ推定サブネットワーク。
推定パラメータと水中物理画像モデルに基づいて、水中画像と所望のクリーン画像の関係、すなわちUIEモデルの出力をモデル化することにより、拡張プロセスに物理的制約を課す。
さらに、私たちのフレームワークはどんなUIEモデルとも互換性がありますが、UIEConvと呼ばれるシンプルで効果的な完全に畳み込みのUIEモデルを設計します。
UIEConvは、デュアルブランチ構造による画像拡張にグローバル機能とローカル機能の両方を使用する。
フレームワーク内でトレーニングされたUIEConvは、多様な水中シーンにまたがる顕著な拡張結果を達成する。
さらに、UIEの副産物として、トレーニングされた深度推定サブネットワークは、正確な海底深度推定を可能にする。
人工光源を用いた深海環境を含む様々な水中イメージングシナリオで実施された大規模な実験は、我々のフレームワークとUIEConvモデルの有効性を検証した。
関連論文リスト
- UMono: Physical Model Informed Hybrid CNN-Transformer Framework for Underwater Monocular Depth Estimation [5.596432047035205]
水中の単分子深度推定は、水中のシーンの3次元再構成などの作業の基礎となる。
既存の手法では、水中環境の特徴を考慮できない。
本稿では,UMonoと呼ばれる水中単分子深度推定のためのエンドツーエンド学習フレームワークについて述べる。
論文 参考訳(メタデータ) (2024-07-25T07:52:11Z) - ScaleDepth: Decomposing Metric Depth Estimation into Scale Prediction and Relative Depth Estimation [62.600382533322325]
本研究では,新しい単分子深度推定法であるScaleDepthを提案する。
提案手法は,距離深度をシーンスケールと相対深度に分解し,セマンティック・アウェア・スケール予測モジュールを用いて予測する。
本手法は,室内と屋外の両方のシーンを統一した枠組みで距離推定する。
論文 参考訳(メタデータ) (2024-07-11T05:11:56Z) - WaterMono: Teacher-Guided Anomaly Masking and Enhancement Boosting for Robust Underwater Self-Supervised Monocular Depth Estimation [4.909989222186828]
深度推定と画像強調のための新しいフレームワークであるWaterMonoを提案する。
1)教師が指導する異常マスクを用いて画像内の動的領域を識別し,(2)水中画像形成モデルと組み合わせた深度情報を用いて深度推定タスクに寄与する拡張画像を生成し,(3)回転蒸留手法を用いてモデルの回転ロバスト性を高める。
論文 参考訳(メタデータ) (2024-06-19T08:49:45Z) - DGNet: Dynamic Gradient-Guided Network for Water-Related Optics Image
Enhancement [77.0360085530701]
水中画像強調(UIE)は、水中環境によって引き起こされる複雑な劣化のために難しい課題である。
従来の手法では、劣化過程を理想化し、中音や物体の動きが画像の特徴の分布に与える影響を無視することが多い。
提案手法では,予測画像を用いて疑似ラベルを動的に更新し,動的勾配を加えてネットワークの勾配空間を最適化する。
論文 参考訳(メタデータ) (2023-12-12T06:07:21Z) - PUGAN: Physical Model-Guided Underwater Image Enhancement Using GAN with
Dual-Discriminators [120.06891448820447]
鮮明で視覚的に快適な画像を得る方法は、人々の共通の関心事となっている。
水中画像強調(UIE)の課題も、時間とともに現れた。
本稿では,UIE のための物理モデル誘導型 GAN モデルを提案する。
我々のPUGANは質的および定量的な測定値において最先端の手法より優れています。
論文 参考訳(メタデータ) (2023-06-15T07:41:12Z) - Fully Self-Supervised Depth Estimation from Defocus Clue [79.63579768496159]
スパース焦点スタックから深度を純粋に推定する自己教師型フレームワークを提案する。
筆者らのフレームワークは,深度とAIF画像の接地構造の必要性を回避し,より優れた予測を得られることを示す。
論文 参考訳(メタデータ) (2023-03-19T19:59:48Z) - Semantic-aware Texture-Structure Feature Collaboration for Underwater
Image Enhancement [58.075720488942125]
水中画像の強調は海洋工学や水生ロボット工学において重要な技術として注目されている。
我々は,高レベルな意味認識事前学習モデルと協調して,効率的でコンパクトな拡張ネットワークを開発する。
また,提案手法を水中の有意な物体検出タスクに適用し,高レベルの視覚タスクに適した意味認識能力を明らかにする。
論文 参考訳(メタデータ) (2022-11-19T07:50:34Z) - Learning Monocular Depth in Dynamic Scenes via Instance-Aware Projection
Consistency [114.02182755620784]
本稿では,複数の動的物体の6-DoF動作,エゴモーション,深度を,監督なしで一眼レフカメラで明示的にモデル化する,エンドツーエンドのジョイントトレーニングフレームワークを提案する。
筆者らのフレームワークは,最先端の深度・動き推定法より優れていた。
論文 参考訳(メタデータ) (2021-02-04T14:26:42Z) - Perceptual underwater image enhancement with deep learning and physical
priors [35.37760003463292]
本稿では,2つの知覚強調モデルを提案する。
トレーニングデータの欠如により, 物理的先行とデータ駆動的手がかりを融合したハイブリッド水中画像合成モデルが提案され, トレーニングデータを合成する。
実験結果から,提案手法は実環境および合成水中データセット上でのいくつかの最先端手法よりも優れていることが示された。
論文 参考訳(メタデータ) (2020-08-21T22:11:34Z) - Domain Adaptive Adversarial Learning Based on Physics Model Feedback for
Underwater Image Enhancement [10.143025577499039]
物理モデルに基づくフィードバック制御と,水中画像の高機能化のための領域適応機構を用いた,新しい頑健な対角学習フレームワークを提案する。
水中画像形成モデルを用いてRGB-Dデータから水中訓練データセットをシミュレーションする新しい手法を提案する。
合成および実水中画像の最終的な改良結果は,提案手法の優位性を示している。
論文 参考訳(メタデータ) (2020-02-20T07:50:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。