論文の概要: Physics-Driven Turbulence Image Restoration with Stochastic Refinement
- arxiv url: http://arxiv.org/abs/2307.10603v1
- Date: Thu, 20 Jul 2023 05:49:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-21 14:27:37.990331
- Title: Physics-Driven Turbulence Image Restoration with Stochastic Refinement
- Title（参考訳）: 確率的洗練による物理駆動乱流画像復元
- Authors: Ajay Jaiswal, Xingguang Zhang, Stanley H. Chan, Zhangyang Wang
- Abstract要約: 大気乱流による画像歪みは、長距離光学画像システムにおいて重要な問題である。
ディープラーニングモデルが現実世界の乱流条件に適応するために、高速で物理学的なシミュレーションツールが導入された。
本稿では,物理統合復元ネットワーク(PiRN)を提案する。
- 参考スコア（独自算出の注目度）: 80.79900297089176
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Image distortion by atmospheric turbulence is a stochastic degradation, which
is a critical problem in long-range optical imaging systems. A number of
research has been conducted during the past decades, including model-based and
emerging deep-learning solutions with the help of synthetic data. Although fast
and physics-grounded simulation tools have been introduced to help the
deep-learning models adapt to real-world turbulence conditions recently, the
training of such models only relies on the synthetic data and ground truth
pairs. This paper proposes the Physics-integrated Restoration Network (PiRN) to
bring the physics-based simulator directly into the training process to help
the network to disentangle the stochasticity from the degradation and the
underlying image. Furthermore, to overcome the ``average effect" introduced by
deterministic models and the domain gap between the synthetic and real-world
degradation, we further introduce PiRN with Stochastic Refinement (PiRN-SR) to
boost its perceptual quality. Overall, our PiRN and PiRN-SR improve the
generalization to real-world unknown turbulence conditions and provide a
state-of-the-art restoration in both pixel-wise accuracy and perceptual
quality. Our codes are available at \url{https://github.com/VITA-Group/PiRN}.
- Abstract（参考訳）: 大気乱流による画像歪みは確率的劣化であり、長距離光学イメージングシステムでは重要な問題である。
合成データの助けを借りて、モデルベースの新しいディープラーニングソリューションを含む、過去数十年間、数多くの研究が実施されてきた。
近年、ディープラーニングモデルが現実の乱流に適応するために、高速で物理学的なシミュレーションツールが導入されたが、そのようなモデルの訓練は、合成データと地上の真理対にのみ依存している。
本稿では,物理ベースのシミュレータを直接学習プロセスに導入し,ネットワークが確率性を劣化や基礎画像から切り離すのに役立つ物理統合復元ネットワーク(pirn)を提案する。
さらに、決定論的モデルによって導入された「平均効果」と、合成と実世界の劣化の間の領域ギャップを克服するために、我々はさらに、その知覚的品質を高めるために、確率的微細化(PiRN-SR)を用いたPiRNを導入する。
全体として、我々のPiRNとPiRN-SRは、実世界の未知の乱流条件への一般化を改善し、ピクセルの精度と知覚品質の両面で最先端の復元を提供する。
我々のコードは \url{https://github.com/VITA-Group/PiRN} で入手できる。
関連論文リスト
- DGNet: Dynamic Gradient-Guided Network for Water-Related Optics Image
Enhancement [77.0360085530701]
水中画像強調(UIE)は、水中環境によって引き起こされる複雑な劣化のために難しい課題である。
従来の手法では、劣化過程を理想化し、中音や物体の動きが画像の特徴の分布に与える影響を無視することが多い。
提案手法では,予測画像を用いて疑似ラベルを動的に更新し,動的勾配を加えてネットワークの勾配空間を最適化する。
論文 参考訳（メタデータ） (2023-12-12T06:07:21Z) - Deep Equilibrium Diffusion Restoration with Parallel Sampling [120.15039525209106]
拡散モデルに基づく画像復元(IR)は、拡散モデルを用いて劣化した画像から高品質な(本社)画像を復元し、有望な性能を達成することを目的としている。
既存のほとんどの手法では、HQイメージをステップバイステップで復元するために長いシリアルサンプリングチェーンが必要であるため、高価なサンプリング時間と高い計算コストがかかる。
本研究では,拡散モデルに基づくIRモデルを異なる視点,すなわちDeqIRと呼ばれるDeQ(Deep equilibrium)固定点系で再考することを目的とする。
論文 参考訳（メタデータ） (2023-11-20T08:27:56Z) - Single Frame Atmospheric Turbulence Mitigation: A Benchmark Study and A
New Physics-Inspired Transformer Model [82.23276183684001]
本研究では,大気乱流の画像化のための物理インスピレーション付き変圧器モデルを提案する。
提案ネットワークは変圧器ブロックのパワーを利用して動的乱流歪みマップを共同で抽出する。
そこで本研究では,従来の客観的指標と,テキスト認識精度を用いたタスク駆動計測の両方で評価可能な,実世界の乱流データセットを新たに2つ提示する。
論文 参考訳（メタデータ） (2022-07-20T17:09:16Z) - Physics to the Rescue: Deep Non-line-of-sight Reconstruction for
High-speed Imaging [13.271762773872476]
本稿では,高品位かつ堅牢なNLOS再構成のためのニューラルネットワークに,波動伝搬とボリュームレンダリングの相補的な物理を組み込んだ新しいディープモデルを提案する。
本手法は, 実測値と実測値の両方に基づいて, 従来の物理・学習手法よりも優れていた。
論文 参考訳（メタデータ） (2022-05-03T02:47:02Z) - A comparison of different atmospheric turbulence simulation methods for
image restoration [64.24948495708337]
大気の乱流は、長距離イメージングシステムによって捉えられた画像の品質を悪化させる。
深層学習に基づく大気乱流緩和法が文献で提案されている。
様々な乱流シミュレーション手法が画像復元に与える影響を系統的に評価した。
論文 参考訳（メタデータ） (2022-04-19T16:21:36Z) - Frequency-Aware Physics-Inspired Degradation Model for Real-World Image
Super-Resolution [18.328806055594576]
両光およびセンサ劣化を考慮した実世界の物理インスパイアされた劣化モデルについて定式化する。
我々は、畳み込みニューラルネットワーク(CNN)を用いて、現実世界の劣化過程の遮断周波数を学習することを提案する。
異なる撮像システムで撮像した実世界の画像に対して,提案した劣化モデルの有効性と一般化能力を評価する。
論文 参考訳（メタデータ） (2021-11-05T07:30:00Z) - Learning to Restore a Single Face Image Degraded by Atmospheric
Turbulence using CNNs [93.72048616001064]
このような条件下で撮影された画像は、幾何学的変形と空間のぼかしの組合せに悩まされる。
乱流劣化顔画像の復元問題に対する深層学習に基づく解法を提案する。
論文 参考訳（メタデータ） (2020-07-16T15:25:08Z) - Turbulence Enrichment using Physics-informed Generative Adversarial
Networks [0.0]
我々は乱流生成法を開発した。
損失関数の修正による物理インフォームド・ラーニング・アプローチを取り入れた。
物理インフォームドラーニングを用いることで、物理支配方程式を満たすデータを生成する際のモデルの能力が大幅に向上することを示す。
論文 参考訳（メタデータ） (2020-03-04T06:14:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。