論文の概要: Learning Phase Distortion with Selective State Space Models for Video Turbulence Mitigation

• arxiv url: http://arxiv.org/abs/2504.02697v1
• Date: Thu, 03 Apr 2025 15:33:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-11 16:08:55.670041
• Title: Learning Phase Distortion with Selective State Space Models for Video Turbulence Mitigation
• Title（参考訳）: ビデオ乱流緩和のための選択状態空間モデルによる位相歪みの学習
• Authors: Xingguang Zhang, Nicholas Chimitt, Xijun Wang, Yu Yuan, Stanley H. Chan,
• Abstract要約: 大気の乱流は、長距離イメージングシステムにおける画像劣化の主な原因である。 多くの深層学習に基づく乱流緩和法 (TM) が提案されているが, それらは遅い, メモリ不足であり, 一般化が不十分である。 本稿では,(1)選択状態空間モデル(MambaTM)に基づく乱流緩和ネットワークと(2)学習遅延位相歪み(LPD)の2つの概念に基づく新しいTM法を提案する。 提案手法は,様々な合成および実世界のTMベンチマークにおいて,推定速度が大幅に向上した現状のネットワークを超越した手法である。
• 参考スコア（独自算出の注目度）: 13.073844945948132
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Atmospheric turbulence is a major source of image degradation in long-range imaging systems. Although numerous deep learning-based turbulence mitigation (TM) methods have been proposed, many are slow, memory-hungry, and do not generalize well. In the spatial domain, methods based on convolutional operators have a limited receptive field, so they cannot handle a large spatial dependency required by turbulence. In the temporal domain, methods relying on self-attention can, in theory, leverage the lucky effects of turbulence, but their quadratic complexity makes it difficult to scale to many frames. Traditional recurrent aggregation methods face parallelization challenges. In this paper, we present a new TM method based on two concepts: (1) A turbulence mitigation network based on the Selective State Space Model (MambaTM). MambaTM provides a global receptive field in each layer across spatial and temporal dimensions while maintaining linear computational complexity. (2) Learned Latent Phase Distortion (LPD). LPD guides the state space model. Unlike classical Zernike-based representations of phase distortion, the new LPD map uniquely captures the actual effects of turbulence, significantly improving the model's capability to estimate degradation by reducing the ill-posedness. Our proposed method exceeds current state-of-the-art networks on various synthetic and real-world TM benchmarks with significantly faster inference speed. The code is available at http://github.com/xg416/MambaTM.
• Abstract（参考訳）: 大気の乱流は、長距離イメージングシステムにおける画像劣化の主な原因である。 深層学習に基づく乱流緩和法 (TM) が多数提案されているが, 多くは遅く, メモリ不足であり, 一般化が不十分である。 空間領域では、畳み込み作用素に基づく手法は受容場が限られており、乱流によって要求される大きな空間依存性を扱えない。 時間領域では、自己注意に依存する手法は、理論的には乱流のラッキーな効果を利用することができるが、その二次的な複雑さは多くのフレームにスケールすることが困難である。 従来のリカレントアグリゲーション手法は並列化の課題に直面している。 本稿では,(1)選択状態空間モデル(MambaTM)に基づく乱流緩和ネットワークを提案する。 MambaTMは、線形計算複雑性を維持しつつ、空間次元と時間次元をまたいだ各層に大域的受容場を提供する。 2)Learned Latent Phase Distortion (LPD)。 LPDは状態空間モデルを導く。 古典的なザーニークに基づく位相歪みの表現とは異なり、新しいPDマップは乱流の実際の効果を一意に捉え、不測の低減により劣化を推定するモデルの能力を著しく改善する。 提案手法は,様々な合成および実世界のTMベンチマークにおいて,推定速度が大幅に向上した現状のネットワークを超越した手法である。 コードはhttp://github.com/xg416/MambaTMで入手できる。

関連論文リスト

• One-Step Diffusion Model for Image Motion-Deblurring [85.76149042561507]
  本稿では,脱臭過程を1段階に短縮する新しいフレームワークである脱臭拡散モデル(OSDD)を提案する。 拡散モデルにおける忠実度損失に対処するために,構造復元を改善する改良された変分オートエンコーダ(eVAE)を導入する。 提案手法は,実測値と非参照値の両方で高い性能を達成する。
  論文  参考訳（メタデータ） (2025-03-09T09:39:57Z)
• STNMamba: Mamba-based Spatial-Temporal Normality Learning for Video Anomaly Detection [48.997518615379995]
  ビデオ異常検出(VAD)は、インテリジェントなビデオシステムの可能性から広く研究されている。 CNNやトランスフォーマーをベースとした既存の手法の多くは、依然としてかなりの計算負荷に悩まされている。 空間的時間的正規性の学習を促進するために,STNMambaという軽量で効果的なネットワークを提案する。
  論文  参考訳（メタデータ） (2024-12-28T08:49:23Z)
• Multi-Agent Path Finding in Continuous Spaces with Projected Diffusion Models [57.45019514036948]
  MAPF(Multi-Agent Path Finding)は、ロボット工学における基本的な問題である。 連続空間におけるMAPFの拡散モデルと制約付き最適化を統合する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-12-23T21:27:19Z)
• Spatio-Temporal Turbulence Mitigation: A Translational Perspective [13.978156774471744]
  深部大気乱流低減ネットワーク(DATUM)について紹介する。 DATUMは、古典的なアプローチからディープラーニングアプローチへの移行において、大きな課題を克服することを目指している。 大規模なトレーニングデータセットであるATSynは、実際の乱流における一般化を可能にする共発明として提示される。
  論文  参考訳（メタデータ） (2024-01-08T21:35:05Z)
• AT-DDPM: Restoring Faces degraded by Atmospheric Turbulence using Denoising Diffusion Probabilistic Models [64.24948495708337]
  大気の乱流は、ぼやけや幾何学的歪みを導入して画質を著しく劣化させる。 CNNベースやGANインバージョンベースなど,深層学習に基づく単一画像大気乱流低減手法が提案されている。 Denoising Diffusion Probabilistic Models (DDPMs) は、その安定したトレーニングプロセスと高品質な画像を生成する能力により、最近注目を集めている。
  論文  参考訳（メタデータ） (2022-08-24T03:13:04Z)
• Single Frame Atmospheric Turbulence Mitigation: A Benchmark Study and A New Physics-Inspired Transformer Model [82.23276183684001]
  本研究では,大気乱流の画像化のための物理インスピレーション付き変圧器モデルを提案する。 提案ネットワークは変圧器ブロックのパワーを利用して動的乱流歪みマップを共同で抽出する。 そこで本研究では,従来の客観的指標と,テキスト認識精度を用いたタスク駆動計測の両方で評価可能な,実世界の乱流データセットを新たに2つ提示する。
  論文  参考訳（メタデータ） (2022-07-20T17:09:16Z)
• Imaging through the Atmosphere using Turbulence Mitigation Transformer [15.56320865332645]
  大気の乱流によって歪んだ画像の復元は、長距離イメージングの応用において、ユビキタスな問題である。 既存のディープラーニングベースの手法は、特定のテスト条件において有望な結果を示している。 本稿では,これらの問題に対処する乱流緩和トランス (TMT) を提案する。
  論文  参考訳（メタデータ） (2022-07-13T18:33:26Z)
• Atmospheric Turbulence Removal with Complex-Valued Convolutional Neural Network [2.657505380055164]
  大気の乱流は視覚的イメージを歪め、人間と機械の両方による情報解釈には常に問題となる。 ディープラーニングベースのアプローチが注目されているが、現在は静的シーンのみに効率よく機能している。 本稿では,動的シーンをサポートするための短時間の時間的スパンニングを提供する,新しい学習ベースフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-04-14T14:29:32Z)
• Learning to Restore a Single Face Image Degraded by Atmospheric Turbulence using CNNs [93.72048616001064]
  このような条件下で撮影された画像は、幾何学的変形と空間のぼかしの組合せに悩まされる。 乱流劣化顔画像の復元問題に対する深層学習に基づく解法を提案する。
  論文  参考訳（メタデータ） (2020-07-16T15:25:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。