論文の概要: EGTM: Event-guided Efficient Turbulence Mitigation

• arxiv url: http://arxiv.org/abs/2509.03808v1
• Date: Thu, 04 Sep 2025 01:49:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-05 20:21:10.012507
• Title: EGTM: Event-guided Efficient Turbulence Mitigation
• Title（参考訳）: EGTM:イベント誘導型効率的な乱流緩和
• Authors: Huanan Li, Rui Fan, Juntao Guan, Weidong Hao, Lai Rui, Tong Wu, Yikai Wang, Lin Gu,
• Abstract要約: 乱流緩和(TM)は、大気の乱流によってもたらされる歪みやぼやけをフレームカメラに除去することを目的としている。 本稿では, 時間的ラッキー融合のために, ノイズの多い乱流イベントから, 画素レベルの信頼性の高い乱れのないガイダンスを抽出する新しいEGTMフレームワークを提案する。 実世界のイベント駆動TMデータセットにコントリビュートするための,最初の乱流データ取得システムを構築した。
• 参考スコア（独自算出の注目度）: 19.09752432962073
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Turbulence mitigation (TM) aims to remove the stochastic distortions and blurs introduced by atmospheric turbulence into frame cameras. Existing state-of-the-art deep-learning TM methods extract turbulence cues from multiple degraded frames to find the so-called "lucky'', not distorted patch, for "lucky fusion''. However, it requires high-capacity network to learn from coarse-grained turbulence dynamics between synchronous frames with limited frame-rate, thus fall short in computational and storage efficiency. Event cameras, with microsecond-level temporal resolution, have the potential to fundamentally address this bottleneck with efficient sparse and asynchronous imaging mechanism. In light of this, we (i) present the fundamental \textbf{``event-lucky insight''} to reveal the correlation between turbulence distortions and inverse spatiotemporal distribution of event streams. Then, build upon this insight, we (ii) propose a novel EGTM framework that extracts pixel-level reliable turbulence-free guidance from the explicit but noisy turbulent events for temporal lucky fusion. Moreover, we (iii) build the first turbulence data acquisition system to contribute the first real-world event-driven TM dataset. Extensive experimental results demonstrate that our approach significantly surpass the existing SOTA TM method by 710 times, 214 times and 224 times in model size, inference latency and model complexity respectively, while achieving the state-of-the-art in restoration quality (+0.94 PSNR and +0.08 SSIM) on our real-world EGTM dataset. This demonstrating the great efficiency merit of introducing event modality into TM task. Demo code and data have been uploaded in supplementary material and will be released once accepted.
• Abstract（参考訳）: 乱流緩和(TM)は、大気の乱流によって引き起こされる確率的歪みとぼかしをフレームカメラに除去することを目的としている。 既存の最先端のディープラーニングTM手法では、複数の劣化フレームから乱流キューを抽出して、歪んだパッチではなく、"lucky'"と呼ばれる、"lucky fusion"と呼ばれるパッチを見つける。 しかし、フレームレートが制限された同期フレーム間の粗粒度乱流のダイナミクスから学習するためには、高容量ネットワークが必要であるため、計算と記憶効率が不足する。 マイクロ秒レベルの時間分解能を持つイベントカメラは、このボトルネックを効率的なスパースと非同期イメージング機構で根本的に解決する可能性を秘めている。 これを踏まえて、私たちは i) イベントストリームの乱流歪みと逆時空間分布との相関を明らかにするため, 基本的「textbf{``event-lucky insights'」を提示する。 そして、この洞察に基づいて、私たちは (II) 時間的ラッキー融合のための明示的だがノイズの多い乱流イベントから, 画素レベルの信頼性の高い乱れのないガイダンスを抽出する新しいEGTMフレームワークを提案する。 さらに私達は 3) 実世界のイベント駆動TMデータセットに貢献するために,最初の乱流データ取得システムを構築する。 実験結果から,本手法が既存のSOTA TM法を710倍, 214倍, 224倍のモデルサイズ, 推論遅延, モデル複雑性に比例し, 実世界のEGTMデータセット上での復元精度(+0.94 PSNR, +0.08 SSIM)を達成できた。 これは、イベントモダリティをTMタスクに導入する際の大きな効率性を示す。 デモコードとデータは補足資料にアップロードされ、承認されればリリースされる。

関連論文リスト

• Learning Phase Distortion with Selective State Space Models for Video Turbulence Mitigation [13.073844945948132]
  大気の乱流は、長距離イメージングシステムにおける画像劣化の主な原因である。 多くの深層学習に基づく乱流緩和法 (TM) が提案されているが, それらは遅い, メモリ不足であり, 一般化が不十分である。 本稿では,(1)選択状態空間モデル(MambaTM)に基づく乱流緩和ネットワークと(2)学習遅延位相歪み(LPD)の2つの概念に基づく新しいTM法を提案する。 提案手法は,様々な合成および実世界のTMベンチマークにおいて,推定速度が大幅に向上した現状のネットワークを超越した手法である。
  論文  参考訳（メタデータ） (2025-04-03T15:33:18Z)
• FUSE: Label-Free Image-Event Joint Monocular Depth Estimation via Frequency-Decoupled Alignment and Degradation-Robust Fusion [63.87313550399871]
  画像強調共同深度推定法は、頑健な知覚に相補的なモダリティを利用するが、一般化可能性の課題に直面している。 自己監督型転送(PST)と周波数デカップリング型フュージョンモジュール(FreDF)を提案する。 PSTは、画像基礎モデルと潜在空間アライメントによるクロスモーダルな知識伝達を確立する。 FreDFは、低周波構造成分から高周波エッジ特性を明示的に分離し、モード比周波数ミスマッチを解消する。
  論文  参考訳（メタデータ） (2025-03-25T15:04:53Z)
• Spatio-Temporal Turbulence Mitigation: A Translational Perspective [13.978156774471744]
  深部大気乱流低減ネットワーク(DATUM)について紹介する。 DATUMは、古典的なアプローチからディープラーニングアプローチへの移行において、大きな課題を克服することを目指している。 大規模なトレーニングデータセットであるATSynは、実際の乱流における一般化を可能にする共発明として提示される。
  論文  参考訳（メタデータ） (2024-01-08T21:35:05Z)
• Blur Interpolation Transformer for Real-World Motion from Blur [52.10523711510876]
  本稿では, ボケの時間的相関を解き明かすために, 符号化されたブラー変換器(BiT)を提案する。 マルチスケール残留スウィン変圧器ブロックに基づいて、両端の時間的監督と時間対称なアンサンブル戦略を導入する。 さらに,1対1のぼやけたビデオペアの最初の実世界のデータセットを収集するハイブリッドカメラシステムを設計する。
  論文  参考訳（メタデータ） (2022-11-21T13:10:10Z)
• AT-DDPM: Restoring Faces degraded by Atmospheric Turbulence using Denoising Diffusion Probabilistic Models [64.24948495708337]
  大気の乱流は、ぼやけや幾何学的歪みを導入して画質を著しく劣化させる。 CNNベースやGANインバージョンベースなど,深層学習に基づく単一画像大気乱流低減手法が提案されている。 Denoising Diffusion Probabilistic Models (DDPMs) は、その安定したトレーニングプロセスと高品質な画像を生成する能力により、最近注目を集めている。
  論文  参考訳（メタデータ） (2022-08-24T03:13:04Z)
• Single Frame Atmospheric Turbulence Mitigation: A Benchmark Study and A New Physics-Inspired Transformer Model [82.23276183684001]
  本研究では,大気乱流の画像化のための物理インスピレーション付き変圧器モデルを提案する。 提案ネットワークは変圧器ブロックのパワーを利用して動的乱流歪みマップを共同で抽出する。 そこで本研究では,従来の客観的指標と,テキスト認識精度を用いたタスク駆動計測の両方で評価可能な,実世界の乱流データセットを新たに2つ提示する。
  論文  参考訳（メタデータ） (2022-07-20T17:09:16Z)
• Imaging through the Atmosphere using Turbulence Mitigation Transformer [15.56320865332645]
  大気の乱流によって歪んだ画像の復元は、長距離イメージングの応用において、ユビキタスな問題である。 既存のディープラーニングベースの手法は、特定のテスト条件において有望な結果を示している。 本稿では,これらの問題に対処する乱流緩和トランス (TMT) を提案する。
  論文  参考訳（メタデータ） (2022-07-13T18:33:26Z)
• T$^2$-Net: A Semi-supervised Deep Model for Turbulence Forecasting [65.498967509424]
  空気の乱気流予測は、乗客の安全を保ち、効率を最大化し、コストを下げるガイドルートである有害な乱気流を避けるのに役立つ。 従来の予測手法は、動的で複雑な気象条件では効果の低い、高度にカスタマイズされた乱流指数に依存している。 本研究では,(1)複雑な時間的相関関係と(2)希少性,非常に限られた乱流ラベルが得られるという2つの課題から,機械学習による乱流予測システムを提案する。
  論文  参考訳（メタデータ） (2020-10-26T21:14:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。