論文の概要: Single Frame Atmospheric Turbulence Mitigation: A Benchmark Study and A New Physics-Inspired Transformer Model

• arxiv url: http://arxiv.org/abs/2207.10040v1
• Date: Wed, 20 Jul 2022 17:09:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-21 14:16:03.887086
• Title: Single Frame Atmospheric Turbulence Mitigation: A Benchmark Study and A New Physics-Inspired Transformer Model
• Title（参考訳）: 単一フレーム大気乱流緩和:ベンチマーク研究と物理に触発された新しい変圧器モデル
• Authors: Zhiyuan Mao and Ajay Jaiswal and Zhangyang Wang and Stanley H. Chan
• Abstract要約: 本研究では,大気乱流の画像化のための物理インスピレーション付き変圧器モデルを提案する。 提案ネットワークは変圧器ブロックのパワーを利用して動的乱流歪みマップを共同で抽出する。 そこで本研究では,従来の客観的指標と,テキスト認識精度を用いたタスク駆動計測の両方で評価可能な,実世界の乱流データセットを新たに2つ提示する。
• 参考スコア（独自算出の注目度）: 82.23276183684001
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Image restoration algorithms for atmospheric turbulence are known to be much more challenging to design than traditional ones such as blur or noise because the distortion caused by the turbulence is an entanglement of spatially varying blur, geometric distortion, and sensor noise. Existing CNN-based restoration methods built upon convolutional kernels with static weights are insufficient to handle the spatially dynamical atmospheric turbulence effect. To address this problem, in this paper, we propose a physics-inspired transformer model for imaging through atmospheric turbulence. The proposed network utilizes the power of transformer blocks to jointly extract a dynamical turbulence distortion map and restore a turbulence-free image. In addition, recognizing the lack of a comprehensive dataset, we collect and present two new real-world turbulence datasets that allow for evaluation with both classical objective metrics (e.g., PSNR and SSIM) and a new task-driven metric using text recognition accuracy. Both real testing sets and all related code will be made publicly available.
• Abstract（参考訳）: 大気乱流に対する画像復元アルゴリズムは、乱れに起因する歪みが空間的に変化するぼかしや幾何学的歪み、センサノイズの絡み合いであるため、ぼかしやノイズのような従来のものよりも設計が難しいことが知られている。 畳み込みカーネル上に構築された既存のCNNベースの復元手法は、空間的ダイナミックな大気乱流効果に対処するには不十分である。 そこで本稿では, 大気乱流の画像化のための物理インスパイア・トランスフォーマモデルを提案する。 提案ネットワークは, 変圧器ブロックのパワーを利用して動的乱流歪みマップを共同抽出し, 乱流のない画像の復元を行う。 さらに、包括的なデータセットの欠如を認識し、従来の客観的指標(psnrやssimなど)と、テキスト認識精度を用いた新しいタスク駆動メトリクスの両方で評価可能な、新たな現実世界の乱流データセットを2つ収集して提示する。 実際のテストセットと関連するコードの両方が公開される予定だ。

関連論文リスト

• Turb-Seg-Res: A Segment-then-Restore Pipeline for Dynamic Videos with Atmospheric Turbulence [10.8380383565446]
  本稿では,乱流環境における動的シーンの映像を復元するための,最初のセグメント列復元パイプラインを提案する。 教師なしモーションセグメンテーション法による平均光学的流れを利用して、復元前に動的および静的なシーン成分を分離する。 既存の復元手法と比較し,幾何学的歪みのほとんどを復元し,映像のシャープネスを高める。
  論文  参考訳（メタデータ） (2024-04-21T10:28:34Z)
• Physics-Driven Turbulence Image Restoration with Stochastic Refinement [80.79900297089176]
  大気乱流による画像歪みは、長距離光学画像システムにおいて重要な問題である。 ディープラーニングモデルが現実世界の乱流条件に適応するために、高速で物理学的なシミュレーションツールが導入された。 本稿では,物理統合復元ネットワーク(PiRN)を提案する。
  論文  参考訳（メタデータ） (2023-07-20T05:49:21Z)
• AT-DDPM: Restoring Faces degraded by Atmospheric Turbulence using Denoising Diffusion Probabilistic Models [64.24948495708337]
  大気の乱流は、ぼやけや幾何学的歪みを導入して画質を著しく劣化させる。 CNNベースやGANインバージョンベースなど,深層学習に基づく単一画像大気乱流低減手法が提案されている。 Denoising Diffusion Probabilistic Models (DDPMs) は、その安定したトレーニングプロセスと高品質な画像を生成する能力により、最近注目を集めている。
  論文  参考訳（メタデータ） (2022-08-24T03:13:04Z)
• Learning to restore images degraded by atmospheric turbulence using uncertainty [93.72048616001064]
  大気の乱流は、長距離イメージングシステムによって取得された画像の品質を著しく低下させることができる。 本研究では,大気乱流により劣化した1つの画像の復元のための深層学習に基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2022-07-07T17:24:52Z)
• A comparison of different atmospheric turbulence simulation methods for image restoration [64.24948495708337]
  大気の乱流は、長距離イメージングシステムによって捉えられた画像の品質を悪化させる。 深層学習に基づく大気乱流緩和法が文献で提案されている。 様々な乱流シミュレーション手法が画像復元に与える影響を系統的に評価した。
  論文  参考訳（メタデータ） (2022-04-19T16:21:36Z)
• Atmospheric Turbulence Removal with Complex-Valued Convolutional Neural Network [2.657505380055164]
  大気の乱流は視覚的イメージを歪め、人間と機械の両方による情報解釈には常に問題となる。 ディープラーニングベースのアプローチが注目されているが、現在は静的シーンのみに効率よく機能している。 本稿では,動的シーンをサポートするための短時間の時間的スパンニングを提供する,新しい学習ベースフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-04-14T14:29:32Z)
• Image Reconstruction of Static and Dynamic Scenes through Anisoplanatic Turbulence [1.6114012813668934]
  静的および動的シーケンスの両方で大気乱流を緩和する統一的な手法を提案する。 我々は,新しい時空間非局所平均化手法を用いることで,既存手法と比較して優れた結果を得ることができる。
  論文  参考訳（メタデータ） (2020-08-31T19:20:46Z)
• Learning to Restore a Single Face Image Degraded by Atmospheric Turbulence using CNNs [93.72048616001064]
  このような条件下で撮影された画像は、幾何学的変形と空間のぼかしの組合せに悩まされる。 乱流劣化顔画像の復元問題に対する深層学習に基づく解法を提案する。
  論文  参考訳（メタデータ） (2020-07-16T15:25:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。