論文の概要: Enhancing Underwater Imaging with 4-D Light Fields: Dataset and Method
- arxiv url: http://arxiv.org/abs/2408.17339v1
- Date: Fri, 30 Aug 2024 15:06:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-02 14:56:24.010314
- Title: Enhancing Underwater Imaging with 4-D Light Fields: Dataset and Method
- Title(参考訳): 4次元光場による水中イメージングの強化:データセットと方法
- Authors: Yuji Lin, Xianqiang Lyu, Junhui Hou, Qian Zhao, Deyu Meng,
- Abstract要約: 4次元光場(LF)は、光吸収、散乱、その他の課題に悩まされる水中イメージングを強化する。
水中4次元LF画像強調と深度推定のためのプログレッシブフレームワークを提案する。
学習手法の定量的評価と教師あり訓練のための,最初の4次元LFに基づく水中画像データセットを構築した。
- 参考スコア(独自算出の注目度): 77.80712860663886
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we delve into the realm of 4-D light fields (LFs) to enhance underwater imaging plagued by light absorption, scattering, and other challenges. Contrasting with conventional 2-D RGB imaging, 4-D LF imaging excels in capturing scenes from multiple perspectives, thereby indirectly embedding geometric information. This intrinsic property is anticipated to effectively address the challenges associated with underwater imaging. By leveraging both explicit and implicit depth cues present in 4-D LF images, we propose a progressive, mutually reinforcing framework for underwater 4-D LF image enhancement and depth estimation. Specifically, our framework explicitly utilizes estimated depth information alongside implicit depth-related dynamic convolutional kernels to modulate output features. The entire framework decomposes this complex task, iteratively optimizing the enhanced image and depth information to progressively achieve optimal enhancement results. More importantly, we construct the first 4-D LF-based underwater image dataset for quantitative evaluation and supervised training of learning-based methods, comprising 75 underwater scenes and 3675 high-resolution 2K pairs. To craft vibrant and varied underwater scenes, we build underwater environments with various objects and adopt several types of degradation. Through extensive experimentation, we showcase the potential and superiority of 4-D LF-based underwater imaging vis-a-vis traditional 2-D RGB-based approaches. Moreover, our method effectively corrects color bias and achieves state-of-the-art performance. The dataset and code will be publicly available at https://github.com/linlos1234/LFUIE.
- Abstract(参考訳): 本稿では,4次元光場(LF)の領域を探索し,光吸収,散乱,その他の課題に悩まされる水中イメージングの高度化を図る。
従来の2次元RGB画像とは対照的に、4次元LF画像は複数の視点からシーンを捉え、幾何学的情報を間接的に埋め込む。
この本質的な性質は、水中イメージングに関連する課題に効果的に対処することが期待されている。
4次元LF画像に現れる暗黙の深度と暗黙の深度を両立させることにより,水中4次元LF画像強調と深度推定のための漸進的相互強化フレームワークを提案する。
具体的には、暗黙的な深度関連動的畳み込みカーネルと並行して推定深度情報を明示的に利用して出力特性を変調する。
フレームワーク全体がこの複雑なタスクを分解し、拡張された画像と深度情報を反復的に最適化し、段階的に最適な拡張結果を達成する。
さらに,75の水中シーンと3675の高分解能2K対からなる学習手法の定量的評価と教師付きトレーニングのための,最初の4次元LFに基づく水中画像データセットを構築した。
鮮やかで多様な水中シーンを製作するために、さまざまな物体で水中環境を構築し、いくつかの種類の劣化を適用します。
広汎な実験を通じて,従来の2次元RGBを用いた4次元LFを用いた水中イメージングの可能性と優位性を示す。
さらに,色バイアスを効果的に補正し,最先端の性能を実現する。
データセットとコードはhttps://github.com/linlos1234/LFUIEで公開される。
関連論文リスト
- Towards Single-Lens Controllable Depth-of-Field Imaging via All-in-Focus Aberration Correction and Monocular Depth Estimation [19.312034704019634]
コントロール可能なDepth-of-Field(DoF)イメージングは、重くて高価なハイエンドレンズをベースとした素晴らしい視覚効果を一般的に生み出す。
この研究は、MOS(Minimalist Optical Systems)の2つの大きな限界に焦点を合わせ、計算方法でシングルレンズ制御可能なDoFイメージングを実現する。
All-in-Focus (AiF) 収差補正と単眼深度推定を併用したDepth-aware Controllable DoF Imaging (DCDI) フレームワークを提案する。
Omni-Lens-Fieldにより推定される深度マップ、復元画像、深度対応PSFマップにより、シングルレンズ制御可能なDoFイメージングが可能となる。
論文 参考訳(メタデータ) (2024-09-15T14:52:16Z) - WaterMono: Teacher-Guided Anomaly Masking and Enhancement Boosting for Robust Underwater Self-Supervised Monocular Depth Estimation [4.909989222186828]
深度推定と画像強調のための新しいフレームワークであるWaterMonoを提案する。
1)教師が指導する異常マスクを用いて画像内の動的領域を識別し,(2)水中画像形成モデルと組み合わせた深度情報を用いて深度推定タスクに寄与する拡張画像を生成し,(3)回転蒸留手法を用いてモデルの回転ロバスト性を高める。
論文 参考訳(メタデータ) (2024-06-19T08:49:45Z) - Robust Depth Enhancement via Polarization Prompt Fusion Tuning [112.88371907047396]
様々な深度センサによる不正確な深度測定を改善するために偏光イメージングを利用するフレームワークを提案する。
まず、偏光データとセンサ深度マップから高密度で完全な深度マップを推定するために、ニューラルネットワークを訓練した学習ベースの戦略を採用する。
大規模データセット上で事前学習したRGBモデルを有効に活用するためのPPFT(Polarization Prompt Fusion Tuning)戦略を提案する。
論文 参考訳(メタデータ) (2024-04-05T17:55:33Z) - Atlantis: Enabling Underwater Depth Estimation with Stable Diffusion [30.122666238416716]
正確な地球深度データを用いて水中画像を生成する新しいパイプラインを提案する。
このアプローチは、水中深度推定のための教師付きモデルのトレーニングを容易にする。
我々は、特別に作成された水中、深度、テキストデータ三重項に基づいて訓練された独自のDepth2Underwater ControlNetを導入する。
論文 参考訳(メタデータ) (2023-12-19T08:56:33Z) - AGG-Net: Attention Guided Gated-convolutional Network for Depth Image
Completion [1.8820731605557168]
注意誘導ゲート畳み込みネットワーク(AGG-Net)に基づく深度画像補完のための新しいモデルを提案する。
符号化段階では、異なるスケールでの深度と色の特徴の融合を実現するために、AG-GConvモジュールが提案されている。
復号段階では、アテンションガイドスキップ接続(AG-SC)モジュールが提示され、再構成にあまりにも多くの深度に関係のない特徴を導入することを避ける。
論文 参考訳(メタデータ) (2023-09-04T14:16:08Z) - PUGAN: Physical Model-Guided Underwater Image Enhancement Using GAN with
Dual-Discriminators [120.06891448820447]
鮮明で視覚的に快適な画像を得る方法は、人々の共通の関心事となっている。
水中画像強調(UIE)の課題も、時間とともに現れた。
本稿では,UIE のための物理モデル誘導型 GAN モデルを提案する。
我々のPUGANは質的および定量的な測定値において最先端の手法より優れています。
論文 参考訳(メタデータ) (2023-06-15T07:41:12Z) - Probabilistic-based Feature Embedding of 4-D Light Fields for
Compressive Imaging and Denoising [62.347491141163225]
4次元光電場(LF)は、効率的で効果的な機能埋め込みを実現する上で大きな課題となる。
様々な低次元畳み込みパターンを組み立てることで特徴埋め込みアーキテクチャを学習する確率論的特徴埋め込み(PFE)を提案する。
実世界および合成4次元LF画像において,本手法の有意な優位性を実証した。
論文 参考訳(メタデータ) (2023-06-15T03:46:40Z) - Dual Pixel Exploration: Simultaneous Depth Estimation and Image
Restoration [77.1056200937214]
本研究では,ぼかしと深度情報をリンクするDPペアの形成について検討する。
本稿では,画像の深さを共同で推定し,復元するためのエンドツーエンドDDDNet(DPベースのDepth and De Network)を提案する。
論文 参考訳(メタデータ) (2020-12-01T06:53:57Z) - Video Depth Estimation by Fusing Flow-to-Depth Proposals [65.24533384679657]
本稿では,映像深度推定のためのフロー・ツー・ディープス・レイヤの異なる手法を提案する。
モデルは、フロー・トゥ・ディープス層、カメラ・ポーズ・リファインメント・モジュール、ディープ・フュージョン・ネットワークから構成される。
提案手法は,最先端の深度推定法より優れ,合理的なデータセット一般化能力を有する。
論文 参考訳(メタデータ) (2019-12-30T10:45:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。