論文の概要: UnDIVE: Generalized Underwater Video Enhancement Using Generative Priors
- arxiv url: http://arxiv.org/abs/2411.05886v1
- Date: Fri, 08 Nov 2024 11:16:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-12 14:08:11.668928
- Title: UnDIVE: Generalized Underwater Video Enhancement Using Generative Priors
- Title（参考訳）: UnDIVE:ジェネレーティブプライオリティを用いた汎用水中ビデオ強調
- Authors: Suhas Srinath, Aditya Chandrasekar, Hemang Jamadagni, Rajiv Soundararajan, Prathosh A P,
- Abstract要約: 水中ビデオの強化のための2段階フレームワークを提案する。
第1段階では、ラベルなしデータから生成前を学習するために、微分拡散記述モデルを用いている。
第2段階では、この前者は空間拡張のための物理ベースの画像定式化に組み込まれる。
提案手法は,低解像度の高解像度水中ビデオのリアルタイム・計算効率な処理を可能にする。
- 参考スコア（独自算出の注目度）: 9.438388237767105
- License:
- Abstract: With the rise of marine exploration, underwater imaging has gained significant attention as a research topic. Underwater video enhancement has become crucial for real-time computer vision tasks in marine exploration. However, most existing methods focus on enhancing individual frames and neglect video temporal dynamics, leading to visually poor enhancements. Furthermore, the lack of ground-truth references limits the use of abundant available underwater video data in many applications. To address these issues, we propose a two-stage framework for enhancing underwater videos. The first stage uses a denoising diffusion probabilistic model to learn a generative prior from unlabeled data, capturing robust and descriptive feature representations. In the second stage, this prior is incorporated into a physics-based image formulation for spatial enhancement, while also enforcing temporal consistency between video frames. Our method enables real-time and computationally-efficient processing of high-resolution underwater videos at lower resolutions, and offers efficient enhancement in the presence of diverse water-types. Extensive experiments on four datasets show that our approach generalizes well and outperforms existing enhancement methods. Our code is available at github.com/suhas-srinath/undive.
- Abstract（参考訳）: 海洋探査が盛んになると、水中イメージングが研究トピックとして注目されるようになった。
水中ビデオの強化は、海洋探査におけるリアルタイムコンピュータビジョンのタスクに欠かせないものとなっている。
しかし、既存のほとんどの手法は、個々のフレームの強化とビデオの時間的ダイナミクスの無視に焦点を当てており、視覚的に不十分な拡張につながっている。
さらに、地上記録の欠如により、多くのアプリケーションで利用可能な水中ビデオデータの利用が制限される。
これらの課題に対処するために,水中ビデオの高機能化のための2段階フレームワークを提案する。
第1段階では、拡散確率モデルを用いて、ラベルのないデータから生成前を学習し、堅牢で記述的な特徴表現をキャプチャする。
第2段階では、この前者は物理に基づく空間的拡張のための画像定式化に取り入れられ、ビデオフレーム間の時間的一貫性も強化される。
提案手法は,高解像度水中映像を低解像度でリアルタイム・計算効率に処理し,多種多様な水型の存在を効果的に向上する。
4つのデータセットに対する大規模な実験により、我々のアプローチはうまく一般化し、既存の拡張手法より優れていることが示された。
私たちのコードはgithub.com/suhas-srinath/undiveで利用可能です。
関連論文リスト
- Depth Any Video with Scalable Synthetic Data [98.42356740981839]
多様な合成環境からリアルタイムのビデオ深度データをキャプチャする,スケーラブルな合成データパイプラインを開発した。
我々は、生成的ビデオ拡散モデルの強力な先駆を生かして、実世界の動画を効果的に処理する。
我々のモデルは、空間的精度と時間的一貫性の観点から、過去のすべての生成深度モデルより優れている。
論文 参考訳（メタデータ） (2024-10-14T17:59:46Z) - IDOL: Unified Dual-Modal Latent Diffusion for Human-Centric Joint Video-Depth Generation [136.5813547244979]
高品質な人中心型ビデオ深度生成のためのIDOL(unIfied Dual-mOdal Latent diffusion)を提案する。
我々のIDOLは2つの新しい設計で構成されている。第一に、デュアルモーダル生成を可能にし、ビデオと深度生成の間の情報交換を最大化する。
次に,映像と深度特徴運動場との整合性を実現する動きの整合性損失を提案する。
論文 参考訳（メタデータ） (2024-07-15T17:36:54Z) - LU2Net: A Lightweight Network for Real-time Underwater Image Enhancement [4.353142366661057]
Lightweight Underwater Unet (LU2Net)は、水中画像のリアルタイムエンハンスメントのために設計された新しいU字型ネットワークである。
LU2Netは、現在最先端の水中画像強調法よりも8倍の速度で、十分に強化された水中画像を提供することができる。
論文 参考訳（メタデータ） (2024-06-21T08:33:13Z) - WaterMono: Teacher-Guided Anomaly Masking and Enhancement Boosting for Robust Underwater Self-Supervised Monocular Depth Estimation [4.909989222186828]
深度推定と画像強調のための新しいフレームワークであるWaterMonoを提案する。
1)教師が指導する異常マスクを用いて画像内の動的領域を識別し,(2)水中画像形成モデルと組み合わせた深度情報を用いて深度推定タスクに寄与する拡張画像を生成し,(3)回転蒸留手法を用いてモデルの回転ロバスト性を高める。
論文 参考訳（メタデータ） (2024-06-19T08:49:45Z) - Learning Temporally Consistent Video Depth from Video Diffusion Priors [57.929828486615605]
本研究は,映像深度推定の課題に対処する。
我々は予測タスクを条件付き生成問題に再構成する。
これにより、既存のビデオ生成モデルに埋め込まれた事前の知識を活用することができる。
論文 参考訳（メタデータ） (2024-06-03T16:20:24Z) - UVEB: A Large-scale Benchmark and Baseline Towards Real-World Underwater Video Enhancement [17.98919244870724]
最初の大規模高解像度水中ビデオ強調ベンチマーク(UVEB)を構築した。
1,308対のビデオシーケンスと453,000以上の高解像度のUHD(Ultra-High-Definition)4Kフレームペアを含んでいる。
UVE-Netは、現在のフレーム情報を畳み込みカーネルに変換し、隣接するフレームに渡して効率的なフレーム間情報交換を行う。
論文 参考訳（メタデータ） (2024-04-22T19:29:12Z) - End-To-End Underwater Video Enhancement: Dataset and Model [6.153714458213646]
水中ビデオエンハンスメント(UVE)は、水中ビデオの可視性とフレーム品質を改善することを目的としている。
既存の手法は主に、各フレームを独立して拡張する画像強調アルゴリズムの開発に重点を置いている。
この研究は、私たちの知識に対するUVEの総合的な探索である。
論文 参考訳（メタデータ） (2024-03-18T06:24:46Z) - PUGAN: Physical Model-Guided Underwater Image Enhancement Using GAN with
Dual-Discriminators [120.06891448820447]
鮮明で視覚的に快適な画像を得る方法は、人々の共通の関心事となっている。
水中画像強調(UIE)の課題も、時間とともに現れた。
本稿では,UIE のための物理モデル誘導型 GAN モデルを提案する。
我々のPUGANは質的および定量的な測定値において最先端の手法より優れています。
論文 参考訳（メタデータ） (2023-06-15T07:41:12Z) - Space-Time Crop & Attend: Improving Cross-modal Video Representation
Learning [88.71867887257274]
トリミングのような空間拡張はビデオでもうまく機能するが、以前の実装ではうまく機能するのに十分な規模でこれを行うことができなかった。
そこで本研究ではまず,このような拡張をより効率的にシミュレートする手法であるFeature Cropについて紹介する。
第2に,ナイーブ平均プーリングとは対照的に,変圧器に基づく注意性能が大幅に向上することを示す。
論文 参考訳（メタデータ） (2021-03-18T12:32:24Z) - Exploiting Raw Images for Real-Scene Super-Resolution [105.18021110372133]
本稿では,合成データと実撮影画像とのギャップを埋めるために,実シーンにおける単一画像の超解像化の問題について検討する。
本稿では,デジタルカメラの撮像過程を模倣して,よりリアルなトレーニングデータを生成する手法を提案する。
また、原画像に記録された放射情報を活用するために、2分岐畳み込みニューラルネットワークを開発した。
論文 参考訳（メタデータ） (2021-02-02T16:10:15Z) - Perceptual underwater image enhancement with deep learning and physical
priors [35.37760003463292]
本稿では,2つの知覚強調モデルを提案する。
トレーニングデータの欠如により, 物理的先行とデータ駆動的手がかりを融合したハイブリッド水中画像合成モデルが提案され, トレーニングデータを合成する。
実験結果から,提案手法は実環境および合成水中データセット上でのいくつかの最先端手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2020-08-21T22:11:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。