論文の概要: Spatio-Temporal Turbulence Mitigation: A Translational Perspective
- arxiv url: http://arxiv.org/abs/2401.04244v2
- Date: Sun, 7 Apr 2024 20:13:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-04-10 01:36:21.557411
- Title: Spatio-Temporal Turbulence Mitigation: A Translational Perspective
- Title(参考訳): 時空間乱流緩和 : 翻訳的視点
- Authors: Xingguang Zhang, Nicholas Chimitt, Yiheng Chi, Zhiyuan Mao, Stanley H. Chan,
- Abstract要約: 深部大気乱流低減ネットワーク(DATUM)について紹介する。
DATUMは、古典的なアプローチからディープラーニングアプローチへの移行において、大きな課題を克服することを目指している。
大規模なトレーニングデータセットであるATSynは、実際の乱流における一般化を可能にする共発明として提示される。
- 参考スコア(独自算出の注目度): 13.978156774471744
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recovering images distorted by atmospheric turbulence is a challenging inverse problem due to the stochastic nature of turbulence. Although numerous turbulence mitigation (TM) algorithms have been proposed, their efficiency and generalization to real-world dynamic scenarios remain severely limited. Building upon the intuitions of classical TM algorithms, we present the Deep Atmospheric TUrbulence Mitigation network (DATUM). DATUM aims to overcome major challenges when transitioning from classical to deep learning approaches. By carefully integrating the merits of classical multi-frame TM methods into a deep network structure, we demonstrate that DATUM can efficiently perform long-range temporal aggregation using a recurrent fashion, while deformable attention and temporal-channel attention seamlessly facilitate pixel registration and lucky imaging. With additional supervision, tilt and blur degradation can be jointly mitigated. These inductive biases empower DATUM to significantly outperform existing methods while delivering a tenfold increase in processing speed. A large-scale training dataset, ATSyn, is presented as a co-invention to enable generalization in real turbulence. Our code and datasets are available at https://xg416.github.io/DATUM.
- Abstract(参考訳): 大気乱流によって歪んだ画像の復元は、乱流の確率的性質のために難しい逆問題である。
多くの乱流緩和(TM)アルゴリズムが提案されているが、その効率性と実世界の動的シナリオへの一般化は依然として著しく制限されている。
従来のTMアルゴリズムの直感に基づいて,DATUM(Deep Atmospheric TUrbulence Mitigation Network)を提案する。
DATUMは、古典的なアプローチからディープラーニングアプローチへの移行において、大きな課題を克服することを目指している。
従来のマルチフレームTM手法の利点をディープネットワーク構造に注意深く統合することにより、DATUMは、変形可能な注意と時間チャネルの注意がピクセル登録やラッキーイメージングをシームレスに促進しつつ、反復的な手法で、時間的時間的アグリゲーションを効率的に行うことができることを示す。
追加の監督により、傾きとぼかしの劣化を共同で緩和することができる。
これらの帰納バイアスにより、DATUMは、処理速度を10倍に向上させながら、既存の手法を大幅に上回ることができる。
大規模なトレーニングデータセットであるATSynは、実際の乱流における一般化を可能にする共発明として提示される。
私たちのコードとデータセットはhttps://xg416.github.io/DATUMで公開されています。
関連論文リスト
- Continuous Exposure-Time Modeling for Realistic Atmospheric Turbulence Synthesis [65.19146708498346]
大気の乱流は、幾何学的なワープと露光時間依存のぼかしを導入することで、長距離イメージングを著しく劣化させる。
既存の乱流効果の方法は、しばしばぼやけと露出時間の関係を単純化する。
我々は,連続露光時間モデリングを明示的に組み込んだ大規模合成乱流データセットET-Turbを構築した。
論文 参考訳(メタデータ) (2026-03-02T02:58:44Z) - MEMTS: Internalizing Domain Knowledge via Parameterized Memory for Retrieval-Free Domain Adaptation of Time Series Foundation Models [51.506429027626005]
Memory for Time Series (MEMTS) は、時系列予測における検索不要領域適応のための軽量かつプラグアンドプレイ方式である。
MEMTSの鍵となるコンポーネントは知識永続化モジュール(KPM)であり、ドメイン固有の時間力学を内部化する。
このパラダイムシフトにより、MEMTSは定数時間推論とニアゼロレイテンシによる正確なドメイン適応を実現することができる。
論文 参考訳(メタデータ) (2026-02-14T14:00:06Z) - RainDiff: End-to-end Precipitation Nowcasting Via Token-wise Attention Diffusion [64.49056527678606]
本稿では,U-Net拡散モデルだけでなく,レーダ時間エンコーダにも統合されたトークンワイドアテンションを提案する。
従来の手法とは異なり,本手法は,画素空間拡散の典型的な高資源コストを発生させることなく,アーキテクチャに注意を集中させる。
実験と評価により,提案手法は複雑な降水予測シナリオにおいて,最先端の手法,ロバストネスの局所的忠実度,一般化,優位性を著しく上回ることを示した。
論文 参考訳(メタデータ) (2025-10-16T17:59:13Z) - EGTM: Event-guided Efficient Turbulence Mitigation [19.09752432962073]
乱流緩和(TM)は、大気の乱流によってもたらされる歪みやぼやけをフレームカメラに除去することを目的としている。
本稿では, 時間的ラッキー融合のために, ノイズの多い乱流イベントから, 画素レベルの信頼性の高い乱れのないガイダンスを抽出する新しいEGTMフレームワークを提案する。
実世界のイベント駆動TMデータセットにコントリビュートするための,最初の乱流データ取得システムを構築した。
論文 参考訳(メタデータ) (2025-09-04T01:49:13Z) - RMFAT: Recurrent Multi-scale Feature Atmospheric Turbulence Mitigator [4.021926055330021]
大気の乱流は、幾何学的歪み、ぼかし、時間的ひねりなどの歪みを導入することで、映像の品質を著しく低下させる。
我々は,AT条件下での高効率かつ時間的に一貫したビデオ復元を目的としたRMFAT: Recurrent Multi-scale Feature Atmospheric Turbulence Mitigatorを提案する。
論文 参考訳(メタデータ) (2025-08-15T11:20:18Z) - StPR: Spatiotemporal Preservation and Routing for Exemplar-Free Video Class-Incremental Learning [51.003833566279006]
CIL(Class-Incremental Learning)は、以前取得した知識を使わずに、時間とともに新しいアクションカテゴリを継続的に学習するモデルの開発を目指している。
既存のアプローチでは、メモリとプライバシに関する懸念を忘れたり、あるいは時間的モデリングを無視する静的なイメージベースのメソッドを適用したりする。
本稿では,情報を明示的に切り離して保存する,統一的で非定型なVCILフレームワークを提案する。
論文 参考訳(メタデータ) (2025-05-20T06:46:51Z) - Learning Phase Distortion with Selective State Space Models for Video Turbulence Mitigation [13.073844945948132]
大気の乱流は、長距離イメージングシステムにおける画像劣化の主な原因である。
多くの深層学習に基づく乱流緩和法 (TM) が提案されているが, それらは遅い, メモリ不足であり, 一般化が不十分である。
本稿では,(1)選択状態空間モデル(MambaTM)に基づく乱流緩和ネットワークと(2)学習遅延位相歪み(LPD)の2つの概念に基づく新しいTM法を提案する。
提案手法は,様々な合成および実世界のTMベンチマークにおいて,推定速度が大幅に向上した現状のネットワークを超越した手法である。
論文 参考訳(メタデータ) (2025-04-03T15:33:18Z) - Long-range Turbulence Mitigation: A Large-scale Dataset and A Coarse-to-fine Framework [12.869617522032986]
大規模実時間長距離大気乱流データセット(RLR-AT)を構築した。
このデータセットは、1Kmから13Kmまでの距離に1500の乱流配列を含む。
本研究では, 動的乱流と静的背景に協調して, 強歪みの処理を行う粗大なフレームワークを提案する。
論文 参考訳(メタデータ) (2024-07-11T10:38:02Z) - SFANet: Spatial-Frequency Attention Network for Weather Forecasting [54.470205739015434]
天気予報は様々な分野において重要な役割を担い、意思決定とリスク管理を推進している。
伝統的な手法は、しばしば気象系の複雑な力学を捉えるのに苦労する。
本稿では,これらの課題に対処し,天気予報の精度を高めるための新しい枠組みを提案する。
論文 参考訳(メタデータ) (2024-05-29T08:00:15Z) - CLeaRForecast: Contrastive Learning of High-Purity Representations for
Time Series Forecasting [2.5816901096123863]
時系列予測(TSF)は現代社会において重要であり、多くの領域にまたがっている。
従来の表現学習に基づくTSFアルゴリズムは、典型的には、分離された傾向周期表現を特徴とする対照的な学習パラダイムを取り入れている。
CLeaRForecastは,高純度時系列表現をサンプル,特徴量,アーキテクチャ浄化手法を用いて学習するための,新しいコントラスト学習フレームワークである。
論文 参考訳(メタデータ) (2023-12-10T04:37:43Z) - Typhoon Intensity Prediction with Vision Transformer [51.84456610977905]
台風強度を正確に予測するために「台風強度変換器(Tint)」を導入する。
Tintは、層ごとにグローバルな受容野を持つ自己認識機構を使用する。
公開されている台風ベンチマークの実験は、Tintの有効性を検証する。
論文 参考訳(メタデータ) (2023-11-28T03:11:33Z) - AT-DDPM: Restoring Faces degraded by Atmospheric Turbulence using
Denoising Diffusion Probabilistic Models [64.24948495708337]
大気の乱流は、ぼやけや幾何学的歪みを導入して画質を著しく劣化させる。
CNNベースやGANインバージョンベースなど,深層学習に基づく単一画像大気乱流低減手法が提案されている。
Denoising Diffusion Probabilistic Models (DDPMs) は、その安定したトレーニングプロセスと高品質な画像を生成する能力により、最近注目を集めている。
論文 参考訳(メタデータ) (2022-08-24T03:13:04Z) - Single Frame Atmospheric Turbulence Mitigation: A Benchmark Study and A
New Physics-Inspired Transformer Model [82.23276183684001]
本研究では,大気乱流の画像化のための物理インスピレーション付き変圧器モデルを提案する。
提案ネットワークは変圧器ブロックのパワーを利用して動的乱流歪みマップを共同で抽出する。
そこで本研究では,従来の客観的指標と,テキスト認識精度を用いたタスク駆動計測の両方で評価可能な,実世界の乱流データセットを新たに2つ提示する。
論文 参考訳(メタデータ) (2022-07-20T17:09:16Z) - Imaging through the Atmosphere using Turbulence Mitigation Transformer [15.56320865332645]
大気の乱流によって歪んだ画像の復元は、長距離イメージングの応用において、ユビキタスな問題である。
既存のディープラーニングベースの手法は、特定のテスト条件において有望な結果を示している。
本稿では,これらの問題に対処する乱流緩和トランス (TMT) を提案する。
論文 参考訳(メタデータ) (2022-07-13T18:33:26Z) - Atmospheric Turbulence Removal with Complex-Valued Convolutional Neural
Network [2.657505380055164]
大気の乱流は視覚的イメージを歪め、人間と機械の両方による情報解釈には常に問題となる。
ディープラーニングベースのアプローチが注目されているが、現在は静的シーンのみに効率よく機能している。
本稿では,動的シーンをサポートするための短時間の時間的スパンニングを提供する,新しい学習ベースフレームワークを提案する。
論文 参考訳(メタデータ) (2022-04-14T14:29:32Z) - T$^2$-Net: A Semi-supervised Deep Model for Turbulence Forecasting [65.498967509424]
空気の乱気流予測は、乗客の安全を保ち、効率を最大化し、コストを下げるガイドルートである有害な乱気流を避けるのに役立つ。
従来の予測手法は、動的で複雑な気象条件では効果の低い、高度にカスタマイズされた乱流指数に依存している。
本研究では,(1)複雑な時間的相関関係と(2)希少性,非常に限られた乱流ラベルが得られるという2つの課題から,機械学習による乱流予測システムを提案する。
論文 参考訳(メタデータ) (2020-10-26T21:14:15Z) - Learn to cycle: Time-consistent feature discovery for action recognition [83.43682368129072]
時間的変動を一般化することは、ビデオにおける効果的な行動認識の前提条件である。
Squeeze Re Temporal Gates (SRTG) を導入する。
SRTPGブロックを使用する場合,GFLOの数は最小限に抑えられ,一貫した改善が見られた。
論文 参考訳(メタデータ) (2020-06-15T09:36:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。