論文の概要: DeTurb: Atmospheric Turbulence Mitigation with Deformable 3D Convolutions and 3D Swin Transformers

• arxiv url: http://arxiv.org/abs/2407.20855v1
• Date: Tue, 30 Jul 2024 14:31:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-31 17:00:05.470272
• Title: DeTurb: Atmospheric Turbulence Mitigation with Deformable 3D Convolutions and 3D Swin Transformers
• Title（参考訳）: DeTurb: 変形可能な3Dコンボリューションと3Dスウィントランスによる大気乱流緩和
• Authors: Zhicheng Zou, Nantheera Anantrasirichai,
• Abstract要約: 長距離撮影における大気の乱流は、空間次元と時間次元のランダムな変動により、撮影シーンの品質と忠実度を著しく低下させる。 本稿では,幾何復元と拡張モジュールを組み合わせた新しいフレームワークを提案する。 提案手法は, 適切な速度とモデルサイズで, 合成および実大気乱流効果の両面において, 技術の現状よりも優れた性能を示すものである。
• 参考スコア（独自算出の注目度）: 2.9695823613761316
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Atmospheric turbulence in long-range imaging significantly degrades the quality and fidelity of captured scenes due to random variations in both spatial and temporal dimensions. These distortions present a formidable challenge across various applications, from surveillance to astronomy, necessitating robust mitigation strategies. While model-based approaches achieve good results, they are very slow. Deep learning approaches show promise in image and video restoration but have struggled to address these spatiotemporal variant distortions effectively. This paper proposes a new framework that combines geometric restoration with an enhancement module. Random perturbations and geometric distortion are removed using a pyramid architecture with deformable 3D convolutions, resulting in aligned frames. These frames are then used to reconstruct a sharp, clear image via a multi-scale architecture of 3D Swin Transformers. The proposed framework demonstrates superior performance over the state of the art for both synthetic and real atmospheric turbulence effects, with reasonable speed and model size.
• Abstract（参考訳）: 長距離撮影における大気乱流は、空間次元と時間次元の両方のランダムな変動により、捕獲されたシーンの品質と忠実度を著しく低下させる。 これらの歪みは、監視から天文学まで様々な応用において、堅牢な緩和戦略を必要としている。 モデルベースのアプローチは良い結果をもたらすが、それらは非常に遅い。 深層学習アプローチは、画像とビデオの復元において有望であるが、これらの時空間変動の歪みを効果的に解決するのに苦労してきた。 本稿では,幾何復元と拡張モジュールを組み合わせた新しいフレームワークを提案する。 ランダムな摂動と幾何学的歪みは、変形可能な3次元畳み込みを持つピラミッドアーキテクチャを用いて取り除かれ、整列フレームとなる。 これらのフレームは、3Dスウィントランスのマルチスケールアーキテクチャを用いて、シャープで鮮明な画像を再構成するために使用される。 提案手法は, 合成および実大気乱流効果の両面において, 適正な速度とモデルサイズで, 現状よりも優れた性能を示すものである。

関連論文リスト

• Unique3D: High-Quality and Efficient 3D Mesh Generation from a Single Image [28.759158325097093]
  Unique3Dは、シングルビュー画像から高品質な3Dメッシュを効率的に生成するための、新しい画像間3Dフレームワークである。 我々のフレームワークは、最先端世代の忠実さと強力な一般化性を備えている。
  論文  参考訳（メタデータ） (2024-05-30T17:59:54Z)
• VastGaussian: Vast 3D Gaussians for Large Scene Reconstruction [59.40711222096875]
  VastGaussianは3次元ガウススティングに基づく大規模シーンにおける高品質な再構成とリアルタイムレンダリングのための最初の方法である。 提案手法は既存のNeRF手法より優れており,複数の大規模シーンデータセットの最先端結果が得られる。
  論文  参考訳（メタデータ） (2024-02-27T11:40:50Z)
• TriHuman : A Real-time and Controllable Tri-plane Representation for Detailed Human Geometry and Appearance Synthesis [76.73338151115253]
  TriHumanは、人間によって調整され、変形可能で、効率的な三面体表現である。 我々は、未変形の三面体テクスチャ空間に、地球規模のサンプルを厳格にワープする。 このような三面的特徴表現が骨格運動でどのように条件付けされ、動的外観や幾何学的変化を考慮に入れられるかを示す。
  論文  参考訳（メタデータ） (2023-12-08T16:40:38Z)
• AT-DDPM: Restoring Faces degraded by Atmospheric Turbulence using Denoising Diffusion Probabilistic Models [64.24948495708337]
  大気の乱流は、ぼやけや幾何学的歪みを導入して画質を著しく劣化させる。 CNNベースやGANインバージョンベースなど,深層学習に基づく単一画像大気乱流低減手法が提案されている。 Denoising Diffusion Probabilistic Models (DDPMs) は、その安定したトレーニングプロセスと高品質な画像を生成する能力により、最近注目を集めている。
  論文  参考訳（メタデータ） (2022-08-24T03:13:04Z)
• Single Frame Atmospheric Turbulence Mitigation: A Benchmark Study and A New Physics-Inspired Transformer Model [82.23276183684001]
  本研究では,大気乱流の画像化のための物理インスピレーション付き変圧器モデルを提案する。 提案ネットワークは変圧器ブロックのパワーを利用して動的乱流歪みマップを共同で抽出する。 そこで本研究では,従来の客観的指標と,テキスト認識精度を用いたタスク駆動計測の両方で評価可能な,実世界の乱流データセットを新たに2つ提示する。
  論文  参考訳（メタデータ） (2022-07-20T17:09:16Z)
• Atmospheric Turbulence Removal with Complex-Valued Convolutional Neural Network [2.657505380055164]
  大気の乱流は視覚的イメージを歪め、人間と機械の両方による情報解釈には常に問題となる。 ディープラーニングベースのアプローチが注目されているが、現在は静的シーンのみに効率よく機能している。 本稿では,動的シーンをサポートするための短時間の時間的スパンニングを提供する,新しい学習ベースフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-04-14T14:29:32Z)
• Beyond 3DMM: Learning to Capture High-fidelity 3D Face Shape [77.95154911528365]
  3Dモーフィブルモデル(3DMM)の適合性は、その強力な3D先行性のため、顔解析に広く有用である。 以前に再建された3次元顔は、微細な形状が失われるため、視差の低下に悩まされていた。 本論文は, パーソナライズされた形状が対応する人物と同一に見えるよう, パーソナライズされた形状を捉えるための完全な解を提案する。
  論文  参考訳（メタデータ） (2022-04-09T03:46:18Z)
• Image Reconstruction of Static and Dynamic Scenes through Anisoplanatic Turbulence [1.6114012813668934]
  静的および動的シーケンスの両方で大気乱流を緩和する統一的な手法を提案する。 我々は,新しい時空間非局所平均化手法を用いることで,既存手法と比較して優れた結果を得ることができる。
  論文  参考訳（メタデータ） (2020-08-31T19:20:46Z)
• Learning to Restore a Single Face Image Degraded by Atmospheric Turbulence using CNNs [93.72048616001064]
  このような条件下で撮影された画像は、幾何学的変形と空間のぼかしの組合せに悩まされる。 乱流劣化顔画像の復元問題に対する深層学習に基づく解法を提案する。
  論文  参考訳（メタデータ） (2020-07-16T15:25:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。