論文の概要: Real-World Atmospheric Turbulence Correction via Domain Adaptation
- arxiv url: http://arxiv.org/abs/2402.07371v1
- Date: Mon, 12 Feb 2024 02:09:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-13 15:56:45.637924
- Title: Real-World Atmospheric Turbulence Correction via Domain Adaptation
- Title（参考訳）: 領域適応による実世界の大気乱流補正
- Authors: Xijun Wang, Santiago L\'opez-Tapia, Aggelos K. Katsaggelos
- Abstract要約: 大気の乱流は、主に地球表面の均一な加熱によって引き起こされる。
この現象は、取得した画像やビデオが歪んだり、ぼやけたりする。
本稿では,ドメイン適応フレームワークに基づく実世界の大気乱流緩和モデルを提案する。
- 参考スコア（独自算出の注目度）: 13.043844930749964
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Atmospheric turbulence, a common phenomenon in daily life, is primarily
caused by the uneven heating of the Earth's surface. This phenomenon results in
distorted and blurred acquired images or videos and can significantly impact
downstream vision tasks, particularly those that rely on capturing clear,
stable images or videos from outdoor environments, such as accurately detecting
or recognizing objects. Therefore, people have proposed ways to simulate
atmospheric turbulence and designed effective deep learning-based methods to
remove the atmospheric turbulence effect. However, these synthesized turbulent
images can not cover all the range of real-world turbulence effects. Though the
models have achieved great performance for synthetic scenarios, there always
exists a performance drop when applied to real-world cases. Moreover, reducing
real-world turbulence is a more challenging task as there are no clean ground
truth counterparts provided to the models during training. In this paper, we
propose a real-world atmospheric turbulence mitigation model under a domain
adaptation framework, which links the supervised simulated atmospheric
turbulence correction with the unsupervised real-world atmospheric turbulence
correction. We will show our proposed method enhances performance in real-world
atmospheric turbulence scenarios, improving both image quality and downstream
vision tasks.
- Abstract（参考訳）: 日常生活で一般的な現象である大気の乱流は、主に地球表面の均一な加熱によって引き起こされる。
この現象は、取得した画像やビデオが歪んだりぼやけたりする結果となり、特にオブジェクトの正確な検出や認識などの屋外環境から、鮮明で安定した画像やビデオをキャプチャすることに依存する、下流の視覚タスクに大きな影響を与える。
そのため, 大気乱流をシミュレートする方法を提案し, 効果的な深層学習に基づく大気乱流効果の除去法を考案した。
しかし、これらの合成乱流画像は現実世界の乱流効果の全ての範囲をカバーできない。
モデルは、合成シナリオで素晴らしいパフォーマンスを達成しましたが、現実世界のケースに適用すると、常にパフォーマンスが低下します。
さらに、トレーニング中にモデルにクリーンな真実が提供されないため、現実の乱流を減らすことがより難しい作業である。
本稿では, 実世界の大気乱流補正と教師なし実世界の大気乱流補正を結びつける, ドメイン適応フレームワークに基づく実世界の大気乱流緩和モデルを提案する。
提案手法は,実世界の大気乱流シナリオにおける性能の向上を図り,画質と下流ビジョンの両タスクを改善した。
関連論文リスト
- Deep Learning Techniques for Atmospheric Turbulence Removal: A Review [7.0622384724837355]
大気の乱流が取得した画像に与える影響は、画像解釈とシーン解析を極めて困難にしている。
ディープラーニングアプローチは、より高速な操作を提供し、小さなデバイス上で実装することができる。
乱流時間歪みを軽減するために、Transformers、SWIN、Mambaなど、最先端のディープニューラルネットワークの性能を比較する。
論文 参考訳（メタデータ） (2024-09-03T15:53:22Z) - AT-DDPM: Restoring Faces degraded by Atmospheric Turbulence using
Denoising Diffusion Probabilistic Models [64.24948495708337]
大気の乱流は、ぼやけや幾何学的歪みを導入して画質を著しく劣化させる。
CNNベースやGANインバージョンベースなど,深層学習に基づく単一画像大気乱流低減手法が提案されている。
Denoising Diffusion Probabilistic Models (DDPMs) は、その安定したトレーニングプロセスと高品質な画像を生成する能力により、最近注目を集めている。
論文 参考訳（メタデータ） (2022-08-24T03:13:04Z) - Single Frame Atmospheric Turbulence Mitigation: A Benchmark Study and A
New Physics-Inspired Transformer Model [82.23276183684001]
本研究では,大気乱流の画像化のための物理インスピレーション付き変圧器モデルを提案する。
提案ネットワークは変圧器ブロックのパワーを利用して動的乱流歪みマップを共同で抽出する。
そこで本研究では,従来の客観的指標と,テキスト認識精度を用いたタスク駆動計測の両方で評価可能な,実世界の乱流データセットを新たに2つ提示する。
論文 参考訳（メタデータ） (2022-07-20T17:09:16Z) - Learning to restore images degraded by atmospheric turbulence using
uncertainty [93.72048616001064]
大気の乱流は、長距離イメージングシステムによって取得された画像の品質を著しく低下させることができる。
本研究では,大気乱流により劣化した1つの画像の復元のための深層学習に基づくアプローチを提案する。
論文 参考訳（メタデータ） (2022-07-07T17:24:52Z) - A comparison of different atmospheric turbulence simulation methods for
image restoration [64.24948495708337]
大気の乱流は、長距離イメージングシステムによって捉えられた画像の品質を悪化させる。
深層学習に基づく大気乱流緩和法が文献で提案されている。
様々な乱流シミュレーション手法が画像復元に与える影響を系統的に評価した。
論文 参考訳（メタデータ） (2022-04-19T16:21:36Z) - Augmentation of Atmospheric Turbulence Effects on Thermal Adapted Object
Detection Models [0.0]
大気の乱流は、長距離観測システムの画質に劣化効果がある。
我々は、幾何学的乱流モデルを用いて、中規模熱画像集合上での乱流効果をシミュレートする。
本稿では,オブジェクト検出器の性能向上のためのデータ拡張戦略を提案する。
論文 参考訳（メタデータ） (2022-04-19T08:40:00Z) - Thermal to Visible Image Synthesis under Atmospheric Turbulence [67.99407460140263]
バイオメトリックスや監視では、低照度と夜間の条件下での撮像に熱画像モダリティがしばしば用いられる。
このような画像システムは、しばしば大気の乱れに悩まされ、撮像された画像に激しいぼやけや変形のアーチファクトをもたらす。
熱画像を直接可視光画像に変換するエンド・ツー・エンドの再構成法を提案する。
論文 参考訳（メタデータ） (2022-04-06T19:47:41Z) - Learning to Restore a Single Face Image Degraded by Atmospheric
Turbulence using CNNs [93.72048616001064]
このような条件下で撮影された画像は、幾何学的変形と空間のぼかしの組合せに悩まされる。
乱流劣化顔画像の復元問題に対する深層学習に基づく解法を提案する。
論文 参考訳（メタデータ） (2020-07-16T15:25:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。