論文の概要: RMFAT: Recurrent Multi-scale Feature Atmospheric Turbulence Mitigator
- arxiv url: http://arxiv.org/abs/2508.11409v1
- Date: Fri, 15 Aug 2025 11:20:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-18 14:51:23.934056
- Title: RMFAT: Recurrent Multi-scale Feature Atmospheric Turbulence Mitigator
- Title(参考訳): RMFAT: マルチスケール大気乱流ミチゲータ
- Authors: Zhiming Liu, Nantheera Anantrasirichai,
- Abstract要約: 大気の乱流は、幾何学的歪み、ぼかし、時間的ひねりなどの歪みを導入することで、映像の品質を著しく低下させる。
我々は,AT条件下での高効率かつ時間的に一貫したビデオ復元を目的としたRMFAT: Recurrent Multi-scale Feature Atmospheric Turbulence Mitigatorを提案する。
- 参考スコア(独自算出の注目度): 4.021926055330021
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Atmospheric turbulence severely degrades video quality by introducing distortions such as geometric warping, blur, and temporal flickering, posing significant challenges to both visual clarity and temporal consistency. Current state-of-the-art methods are based on transformer and 3D architectures and require multi-frame input, but their large computational cost and memory usage limit real-time deployment, especially in resource-constrained scenarios. In this work, we propose RMFAT: Recurrent Multi-scale Feature Atmospheric Turbulence Mitigator, designed for efficient and temporally consistent video restoration under AT conditions. RMFAT adopts a lightweight recurrent framework that restores each frame using only two inputs at a time, significantly reducing temporal window size and computational burden. It further integrates multi-scale feature encoding and decoding with temporal warping modules at both encoder and decoder stages to enhance spatial detail and temporal coherence. Extensive experiments on synthetic and real-world atmospheric turbulence datasets demonstrate that RMFAT not only outperforms existing methods in terms of clarity restoration (with nearly a 9\% improvement in SSIM) but also achieves significantly improved inference speed (more than a fourfold reduction in runtime), making it particularly suitable for real-time atmospheric turbulence suppression tasks.
- Abstract(参考訳): 大気の乱流は、幾何学的歪み、ぼかし、時間的ひねりなどの歪みを導入し、映像の質を著しく低下させ、視覚的明瞭さと時間的一貫性の両方に重大な課題を生じさせる。
現在の最先端の手法はトランスフォーマーと3Dアーキテクチャに基づいており、多フレーム入力を必要とするが、計算コストとメモリ使用量が大きいため、特に資源制約のあるシナリオではリアルタイムデプロイメントが制限される。
本研究では,AT条件下での高効率かつ時間的に一貫した映像復元を目的としたRMFAT: Recurrent Multi-scale Feature Atmospheric Turbulence Mitigatorを提案する。
RMFATは2つの入力のみを使用して各フレームを復元する軽量なリカレントフレームワークを採用し、時間的ウィンドウサイズと計算負荷を大幅に削減する。
さらに、空間的ディテールと時間的コヒーレンスを高めるために、エンコーダとデコーダの両方で時間的ワープモジュールとマルチスケールな特徴符号化とデコードを統合する。
合成および実世界の大気乱流データセットに関する大規模な実験は、RMFATが既存の方法よりも明瞭さの回復(SSIMの約9倍の改善)に優れるだけでなく、推論速度(ランタイムの4倍以上の削減)が大幅に向上し、特にリアルタイムの大気乱流抑制タスクに適していることを証明している。
関連論文リスト
- FCA2: Frame Compression-Aware Autoencoder for Modular and Fast Compressed Video Super-Resolution [68.77813885751308]
最先端(SOTA)圧縮ビデオ超解像(CVSR)モデルは、長期の推論時間、複雑なトレーニングパイプライン、補助情報への依存など、永続的な課題に直面している。
ハイパースペクトル画像(HSI)とビデオデータの構造的および統計的類似性から着想を得た,効率的でスケーラブルなソリューションを提案する。
提案手法では,計算複雑性を低減し,推論を高速化し,フレーム間の時間情報の抽出を促進する圧縮駆動型次元減少戦略を導入する。
論文 参考訳(メタデータ) (2025-06-13T07:59:52Z) - Learning Phase Distortion with Selective State Space Models for Video Turbulence Mitigation [13.073844945948132]
大気の乱流は、長距離イメージングシステムにおける画像劣化の主な原因である。
多くの深層学習に基づく乱流緩和法 (TM) が提案されているが, それらは遅い, メモリ不足であり, 一般化が不十分である。
本稿では,(1)選択状態空間モデル(MambaTM)に基づく乱流緩和ネットワークと(2)学習遅延位相歪み(LPD)の2つの概念に基づく新しいTM法を提案する。
提案手法は,様々な合成および実世界のTMベンチマークにおいて,推定速度が大幅に向上した現状のネットワークを超越した手法である。
論文 参考訳(メタデータ) (2025-04-03T15:33:18Z) - Temporal-Consistent Video Restoration with Pre-trained Diffusion Models [51.47188802535954]
ビデオ復元(VR)は、劣化したビデオから高品質なビデオを復元することを目的としている。
事前訓練拡散モデル(DM)を用いた最近のゼロショットVR法は,逆拡散時の近似誤差と時間的整合性の欠如に悩まされている。
本稿では,DMのシード空間におけるビデオフレームを直接パラメータ化し,近似誤差を排除した新しいMAP(Posterior Maximum)フレームワークを提案する。
論文 参考訳(メタデータ) (2025-03-19T03:41:56Z) - Temporal Feature Matters: A Framework for Diffusion Model Quantization [105.3033493564844]
拡散モデルはマルチラウンド・デノナイジングの時間ステップに依存している。
3つの戦略を含む新しい量子化フレームワークを導入する。
このフレームワークは時間情報のほとんどを保存し、高品質なエンドツーエンド生成を保証する。
論文 参考訳(メタデータ) (2024-07-28T17:46:15Z) - Spatio-Temporal Turbulence Mitigation: A Translational Perspective [13.978156774471744]
深部大気乱流低減ネットワーク(DATUM)について紹介する。
DATUMは、古典的なアプローチからディープラーニングアプローチへの移行において、大きな課題を克服することを目指している。
大規模なトレーニングデータセットであるATSynは、実際の乱流における一般化を可能にする共発明として提示される。
論文 参考訳(メタデータ) (2024-01-08T21:35:05Z) - StreamFlow: Streamlined Multi-Frame Optical Flow Estimation for Video
Sequences [31.210626775505407]
連続するフレーム間のオクルージョンは、長い間、光学的フロー推定において重要な課題を提起してきた。
本稿では,ビデオ入力に適したストリーム・イン・バッチ・マルチフレーム(SIM)パイプラインを提案する。
StreamFlowは、挑戦的なKITTIとSintelデータセットのパフォーマンスだけでなく、排他的領域でも特に改善されている。
論文 参考訳(メタデータ) (2023-11-28T07:53:51Z) - Single Frame Atmospheric Turbulence Mitigation: A Benchmark Study and A
New Physics-Inspired Transformer Model [82.23276183684001]
本研究では,大気乱流の画像化のための物理インスピレーション付き変圧器モデルを提案する。
提案ネットワークは変圧器ブロックのパワーを利用して動的乱流歪みマップを共同で抽出する。
そこで本研究では,従来の客観的指標と,テキスト認識精度を用いたタスク駆動計測の両方で評価可能な,実世界の乱流データセットを新たに2つ提示する。
論文 参考訳(メタデータ) (2022-07-20T17:09:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。