論文の概要: Spatio-Temporal Turbulence Mitigation: A Translational Perspective
- arxiv url: http://arxiv.org/abs/2401.04244v2
- Date: Sun, 7 Apr 2024 20:13:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-10 01:36:21.557411
- Title: Spatio-Temporal Turbulence Mitigation: A Translational Perspective
- Title(参考訳): 時空間乱流緩和 : 翻訳的視点
- Authors: Xingguang Zhang, Nicholas Chimitt, Yiheng Chi, Zhiyuan Mao, Stanley H. Chan,
- Abstract要約: 深部大気乱流低減ネットワーク(DATUM)について紹介する。
DATUMは、古典的なアプローチからディープラーニングアプローチへの移行において、大きな課題を克服することを目指している。
大規模なトレーニングデータセットであるATSynは、実際の乱流における一般化を可能にする共発明として提示される。
- 参考スコア(独自算出の注目度): 13.978156774471744
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recovering images distorted by atmospheric turbulence is a challenging inverse problem due to the stochastic nature of turbulence. Although numerous turbulence mitigation (TM) algorithms have been proposed, their efficiency and generalization to real-world dynamic scenarios remain severely limited. Building upon the intuitions of classical TM algorithms, we present the Deep Atmospheric TUrbulence Mitigation network (DATUM). DATUM aims to overcome major challenges when transitioning from classical to deep learning approaches. By carefully integrating the merits of classical multi-frame TM methods into a deep network structure, we demonstrate that DATUM can efficiently perform long-range temporal aggregation using a recurrent fashion, while deformable attention and temporal-channel attention seamlessly facilitate pixel registration and lucky imaging. With additional supervision, tilt and blur degradation can be jointly mitigated. These inductive biases empower DATUM to significantly outperform existing methods while delivering a tenfold increase in processing speed. A large-scale training dataset, ATSyn, is presented as a co-invention to enable generalization in real turbulence. Our code and datasets are available at https://xg416.github.io/DATUM.
- Abstract(参考訳): 大気乱流によって歪んだ画像の復元は、乱流の確率的性質のために難しい逆問題である。
多くの乱流緩和(TM)アルゴリズムが提案されているが、その効率性と実世界の動的シナリオへの一般化は依然として著しく制限されている。
従来のTMアルゴリズムの直感に基づいて,DATUM(Deep Atmospheric TUrbulence Mitigation Network)を提案する。
DATUMは、古典的なアプローチからディープラーニングアプローチへの移行において、大きな課題を克服することを目指している。
従来のマルチフレームTM手法の利点をディープネットワーク構造に注意深く統合することにより、DATUMは、変形可能な注意と時間チャネルの注意がピクセル登録やラッキーイメージングをシームレスに促進しつつ、反復的な手法で、時間的時間的アグリゲーションを効率的に行うことができることを示す。
追加の監督により、傾きとぼかしの劣化を共同で緩和することができる。
これらの帰納バイアスにより、DATUMは、処理速度を10倍に向上させながら、既存の手法を大幅に上回ることができる。
大規模なトレーニングデータセットであるATSynは、実際の乱流における一般化を可能にする共発明として提示される。
私たちのコードとデータセットはhttps://xg416.github.io/DATUMで公開されています。
関連論文リスト
- Long-range Turbulence Mitigation: A Large-scale Dataset and A Coarse-to-fine Framework [12.869617522032986]
大規模実時間長距離大気乱流データセット(RLR-AT)を構築した。
このデータセットは、1Kmから13Kmまでの距離に1500の乱流配列を含む。
本研究では, 動的乱流と静的背景に協調して, 強歪みの処理を行う粗大なフレームワークを提案する。
論文 参考訳(メタデータ) (2024-07-11T10:38:02Z) - SFANet: Spatial-Frequency Attention Network for Weather Forecasting [54.470205739015434]
天気予報は様々な分野において重要な役割を担い、意思決定とリスク管理を推進している。
伝統的な手法は、しばしば気象系の複雑な力学を捉えるのに苦労する。
本稿では,これらの課題に対処し,天気予報の精度を高めるための新しい枠組みを提案する。
論文 参考訳(メタデータ) (2024-05-29T08:00:15Z) - CLeaRForecast: Contrastive Learning of High-Purity Representations for
Time Series Forecasting [2.5816901096123863]
時系列予測(TSF)は現代社会において重要であり、多くの領域にまたがっている。
従来の表現学習に基づくTSFアルゴリズムは、典型的には、分離された傾向周期表現を特徴とする対照的な学習パラダイムを取り入れている。
CLeaRForecastは,高純度時系列表現をサンプル,特徴量,アーキテクチャ浄化手法を用いて学習するための,新しいコントラスト学習フレームワークである。
論文 参考訳(メタデータ) (2023-12-10T04:37:43Z) - Typhoon Intensity Prediction with Vision Transformer [51.84456610977905]
台風強度を正確に予測するために「台風強度変換器(Tint)」を導入する。
Tintは、層ごとにグローバルな受容野を持つ自己認識機構を使用する。
公開されている台風ベンチマークの実験は、Tintの有効性を検証する。
論文 参考訳(メタデータ) (2023-11-28T03:11:33Z) - AT-DDPM: Restoring Faces degraded by Atmospheric Turbulence using
Denoising Diffusion Probabilistic Models [64.24948495708337]
大気の乱流は、ぼやけや幾何学的歪みを導入して画質を著しく劣化させる。
CNNベースやGANインバージョンベースなど,深層学習に基づく単一画像大気乱流低減手法が提案されている。
Denoising Diffusion Probabilistic Models (DDPMs) は、その安定したトレーニングプロセスと高品質な画像を生成する能力により、最近注目を集めている。
論文 参考訳(メタデータ) (2022-08-24T03:13:04Z) - Single Frame Atmospheric Turbulence Mitigation: A Benchmark Study and A
New Physics-Inspired Transformer Model [82.23276183684001]
本研究では,大気乱流の画像化のための物理インスピレーション付き変圧器モデルを提案する。
提案ネットワークは変圧器ブロックのパワーを利用して動的乱流歪みマップを共同で抽出する。
そこで本研究では,従来の客観的指標と,テキスト認識精度を用いたタスク駆動計測の両方で評価可能な,実世界の乱流データセットを新たに2つ提示する。
論文 参考訳(メタデータ) (2022-07-20T17:09:16Z) - Imaging through the Atmosphere using Turbulence Mitigation Transformer [15.56320865332645]
大気の乱流によって歪んだ画像の復元は、長距離イメージングの応用において、ユビキタスな問題である。
既存のディープラーニングベースの手法は、特定のテスト条件において有望な結果を示している。
本稿では,これらの問題に対処する乱流緩和トランス (TMT) を提案する。
論文 参考訳(メタデータ) (2022-07-13T18:33:26Z) - Atmospheric Turbulence Removal with Complex-Valued Convolutional Neural
Network [2.657505380055164]
大気の乱流は視覚的イメージを歪め、人間と機械の両方による情報解釈には常に問題となる。
ディープラーニングベースのアプローチが注目されているが、現在は静的シーンのみに効率よく機能している。
本稿では,動的シーンをサポートするための短時間の時間的スパンニングを提供する,新しい学習ベースフレームワークを提案する。
論文 参考訳(メタデータ) (2022-04-14T14:29:32Z) - T$^2$-Net: A Semi-supervised Deep Model for Turbulence Forecasting [65.498967509424]
空気の乱気流予測は、乗客の安全を保ち、効率を最大化し、コストを下げるガイドルートである有害な乱気流を避けるのに役立つ。
従来の予測手法は、動的で複雑な気象条件では効果の低い、高度にカスタマイズされた乱流指数に依存している。
本研究では,(1)複雑な時間的相関関係と(2)希少性,非常に限られた乱流ラベルが得られるという2つの課題から,機械学習による乱流予測システムを提案する。
論文 参考訳(メタデータ) (2020-10-26T21:14:15Z) - Learn to cycle: Time-consistent feature discovery for action recognition [83.43682368129072]
時間的変動を一般化することは、ビデオにおける効果的な行動認識の前提条件である。
Squeeze Re Temporal Gates (SRTG) を導入する。
SRTPGブロックを使用する場合,GFLOの数は最小限に抑えられ,一貫した改善が見られた。
論文 参考訳(メタデータ) (2020-06-15T09:36:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。