論文の概要: Imaging through the Atmosphere using Turbulence Mitigation Transformer

• arxiv url: http://arxiv.org/abs/2207.06465v2
• Date: Mon, 11 Dec 2023 06:29:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-13 03:31:35.638553
• Title: Imaging through the Atmosphere using Turbulence Mitigation Transformer
• Title（参考訳）: 乱流緩和変換器を用いた大気中イメージング
• Authors: Xingguang Zhang, Zhiyuan Mao, Nicholas Chimitt, Stanley H. Chan
• Abstract要約: 大気の乱流によって歪んだ画像の復元は、長距離イメージングの応用において、ユビキタスな問題である。 既存のディープラーニングベースの手法は、特定のテスト条件において有望な結果を示している。 本稿では,これらの問題に対処する乱流緩和トランス (TMT) を提案する。
• 参考スコア（独自算出の注目度）: 15.56320865332645
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Restoring images distorted by atmospheric turbulence is a ubiquitous problem in long-range imaging applications. While existing deep-learning-based methods have demonstrated promising results in specific testing conditions, they suffer from three limitations: (1) lack of generalization capability from synthetic training data to real turbulence data; (2) failure to scale, hence causing memory and speed challenges when extending the idea to a large number of frames; (3) lack of a fast and accurate simulator to generate data for training neural networks. In this paper, we introduce the turbulence mitigation transformer (TMT) that explicitly addresses these issues. TMT brings three contributions: Firstly, TMT explicitly uses turbulence physics by decoupling the turbulence degradation and introducing a multi-scale loss for removing distortion, thus improving effectiveness. Secondly, TMT presents a new attention module along the temporal axis to extract extra features efficiently, thus improving memory and speed. Thirdly, TMT introduces a new simulator based on the Fourier sampler, temporal correlation, and flexible kernel size, thus improving our capability to synthesize better training data. TMT outperforms state-of-the-art video restoration models, especially in generalizing from synthetic to real turbulence data. Code, videos, and datasets are available at \href{https://xg416.github.io/TMT}{https://xg416.github.io/TMT}.
• Abstract（参考訳）: 大気乱流によって歪んだ画像の復元は、長距離イメージング応用においてユビキタスな問題である。 既存のディープラーニングベースの手法は、特定のテスト条件において有望な結果を示しているが、(1) 合成訓練データから実際の乱流データへの一般化能力の欠如、(2) スケールの失敗、そして、アイデアを多数のフレームに拡張する際のメモリと速度の課題、(3) ニューラルネットワークをトレーニングするためのデータを生成する高速で正確なシミュレータの欠如、の3つの制限に苦しめられている。 本稿では,これらの問題に対処する乱流緩和トランス (TMT) を提案する。 第一に、TMTは乱流の分解を分離し、歪みを取り除くためのマルチスケールの損失を導入し、有効性を向上させることで、乱流物理学を明示的に利用する。 第2に、TMTは時間軸に沿った新しいアテンションモジュールを示し、余分な特徴を効率的に抽出し、メモリと速度を改善する。 第3に、TMTは、フーリエサンプリング、時間相関、フレキシブルカーネルサイズに基づく新しいシミュレータを導入し、より良いトレーニングデータを合成する能力を改善した。 TMTは、特に合成から実際の乱流データへの一般化において、最先端のビデオ復元モデルより優れている。 コード、ビデオ、データセットは \href{https://xg416.github.io/TMT}{https://xg416.github.io/TMT} で公開されている。

関連論文リスト

• Spatio-Temporal Turbulence Mitigation: A Translational Perspective [13.978156774471744]
  深部大気乱流低減ネットワーク(DATUM)について紹介する。 DATUMは、古典的なアプローチからディープラーニングアプローチへの移行において、大きな課題を克服することを目指している。 大規模なトレーニングデータセットであるATSynは、実際の乱流における一般化を可能にする共発明として提示される。
  論文  参考訳（メタデータ） (2024-01-08T21:35:05Z)
• F3-Pruning: A Training-Free and Generalized Pruning Strategy towards Faster and Finer Text-to-Video Synthesis [94.10861578387443]
  変圧器と拡散モデルを用いた2つの主流T2Vモデルの推論過程について検討する。 本稿では、時間的余分な注意重みを突破するF3プルーニングと呼ばれるトレーニングフリーで一般化されたプルーニング戦略を提案する。 古典的なトランスフォーマーベースモデルCogVideoと典型的な拡散ベースモデルTune-A-Videoを用いた3つのデータセットの大規模な実験により、F3-Pruningの有効性が検証された。
  論文  参考訳（メタデータ） (2023-12-06T12:34:47Z)
• Physics-Driven Turbulence Image Restoration with Stochastic Refinement [80.79900297089176]
  大気乱流による画像歪みは、長距離光学画像システムにおいて重要な問題である。 ディープラーニングモデルが現実世界の乱流条件に適応するために、高速で物理学的なシミュレーションツールが導入された。 本稿では,物理統合復元ネットワーク(PiRN)を提案する。
  論文  参考訳（メタデータ） (2023-07-20T05:49:21Z)
• Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution [57.71199089609161]
  長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。 トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。 LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-05T13:59:29Z)
• Transform Once: Efficient Operator Learning in Frequency Domain [69.74509540521397]
  本研究では、周波数領域の構造を利用して、空間や時間における長距離相関を効率的に学習するために設計されたディープニューラルネットワークについて検討する。 この研究は、単一変換による周波数領域学習のための青写真を導入している。
  論文  参考訳（メタデータ） (2022-11-26T01:56:05Z)
• Single Frame Atmospheric Turbulence Mitigation: A Benchmark Study and A New Physics-Inspired Transformer Model [82.23276183684001]
  本研究では,大気乱流の画像化のための物理インスピレーション付き変圧器モデルを提案する。 提案ネットワークは変圧器ブロックのパワーを利用して動的乱流歪みマップを共同で抽出する。 そこで本研究では,従来の客観的指標と,テキスト認識精度を用いたタスク駆動計測の両方で評価可能な,実世界の乱流データセットを新たに2つ提示する。
  論文  参考訳（メタデータ） (2022-07-20T17:09:16Z)
• Truncated tensor Schatten p-norm based approach for spatiotemporal traffic data imputation with complicated missing patterns [77.34726150561087]
  本研究は, モード駆動繊維による3症例の欠失を含む, 4症例の欠失パターンについて紹介する。 本モデルでは, 目的関数の非性にもかかわらず, 乗算器の交互データ演算法を統合することにより, 最適解を導出する。
  論文  参考訳（メタデータ） (2022-05-19T08:37:56Z)
• Atmospheric Turbulence Removal with Complex-Valued Convolutional Neural Network [2.657505380055164]
  大気の乱流は視覚的イメージを歪め、人間と機械の両方による情報解釈には常に問題となる。 ディープラーニングベースのアプローチが注目されているが、現在は静的シーンのみに効率よく機能している。 本稿では,動的シーンをサポートするための短時間の時間的スパンニングを提供する,新しい学習ベースフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-04-14T14:29:32Z)
• TCCT: Tightly-Coupled Convolutional Transformer on Time Series Forecasting [6.393659160890665]
  本稿では, 密結合型畳み込み変換器(TCCT)と3つのTCCTアーキテクチャを提案する。 実世界のデータセットに対する我々の実験は、我々のTCCTアーキテクチャが既存の最先端トランスフォーマーモデルの性能を大幅に改善できることを示している。
  論文  参考訳（メタデータ） (2021-08-29T08:49:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。