論文の概要: Imaging through the Atmosphere using Turbulence Mitigation Transformer
- arxiv url: http://arxiv.org/abs/2207.06465v1
- Date: Wed, 13 Jul 2022 18:33:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-15 14:59:29.572497
- Title: Imaging through the Atmosphere using Turbulence Mitigation Transformer
- Title（参考訳）: 乱流緩和変換器を用いた大気中イメージング
- Authors: Xingguang Zhang, Zhiyuan Mao, Nicholas Chimitt, Stanley H. Chan
- Abstract要約: 大気の乱流によって歪んだ画像の復元は、長年の課題である。
既存の手法はしばしば歪みモデルに強い統計的仮定を持つ。
本稿では,実世界の乱流に対して効率よく一般化可能な,エンドツーエンドの物理駆動型アプローチを提案する。
- 参考スコア（独自算出の注目度）: 13.412336271323918
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Restoring images distorted by atmospheric turbulence is a long-standing
problem due to the spatially varying nature of the distortion, nonlinearity of
the image formation process, and scarcity of training and testing data.
Existing methods often have strong statistical assumptions on the distortion
model which in many cases will lead to a limited performance in real-world
scenarios as they do not generalize. To overcome the challenge, this paper
presents an end-to-end physics-driven approach that is efficient and can
generalize to real-world turbulence. On the data synthesis front, we
significantly increase the image resolution that can be handled by the SOTA
turbulence simulator by approximating the random field via wide-sense
stationarity. The new data synthesis process enables the generation of
large-scale multi-level turbulence and ground truth pairs for training. On the
network design front, we propose the turbulence mitigation transformer (TMT), a
two stage U-Net shaped multi-frame restoration network which has a noval
efficient self-attention mechanism named temporal channel joint attention
(TCJA). We also introduce a new training scheme that is enabled by the new
simulator, and we design new transformer units to reduce the memory
consumption. Experimental results on both static and dynamic scenes are
promising, including various real turbulence scenarios.
- Abstract（参考訳）: 大気の乱流によって歪んだ画像の復元は、歪みの空間的変化、画像形成過程の非線形性、トレーニングやテストデータの不足など、長年の問題である。
既存の手法は歪モデルに強い統計的仮定をしばしば持ち、多くの場合、一般化しない現実のシナリオでは性能が制限される。
この課題を克服するため,本稿では,実世界の乱流に一般化可能な,エンドツーエンドの物理駆動アプローチを提案する。
データ合成の面では、広義の定常性によりランダム場を近似することにより、SOTA乱流シミュレータで処理できる画像解像度を大幅に向上する。
新たなデータ合成プロセスにより,大規模マルチレベル乱流と基底真理ペアの生成が可能となった。
ネットワーク設計面では, 時間チャネル共同注意 (TCJA) と呼ばれる非効率な自己保持機構を有する2段階U-Net形状の多フレーム復元ネットワークである乱流緩和トランス (TMT) を提案する。
また,新しいシミュレータによって実現される新しいトレーニングスキームを導入し,メモリ消費を減らすために新しいトランスフォーマーユニットを設計する。
様々な実際の乱流シナリオを含む静的および動的両方のシーンの実験結果が期待できる。
関連論文リスト
- Spatio-Temporal Turbulence Mitigation: A Translational Perspective [13.978156774471744]
深部大気乱流低減ネットワーク(DATUM)について紹介する。
DATUMは、古典的なアプローチからディープラーニングアプローチへの移行において、大きな課題を克服することを目指している。
大規模なトレーニングデータセットであるATSynは、実際の乱流における一般化を可能にする共発明として提示される。
論文 参考訳（メタデータ） (2024-01-08T21:35:05Z) - F3-Pruning: A Training-Free and Generalized Pruning Strategy towards
Faster and Finer Text-to-Video Synthesis [94.10861578387443]
変圧器と拡散モデルを用いた2つの主流T2Vモデルの推論過程について検討する。
本稿では、時間的余分な注意重みを突破するF3プルーニングと呼ばれるトレーニングフリーで一般化されたプルーニング戦略を提案する。
古典的なトランスフォーマーベースモデルCogVideoと典型的な拡散ベースモデルTune-A-Videoを用いた3つのデータセットの大規模な実験により、F3-Pruningの有効性が検証された。
論文 参考訳（メタデータ） (2023-12-06T12:34:47Z) - Physics-Driven Turbulence Image Restoration with Stochastic Refinement [80.79900297089176]
大気乱流による画像歪みは、長距離光学画像システムにおいて重要な問題である。
ディープラーニングモデルが現実世界の乱流条件に適応するために、高速で物理学的なシミュレーションツールが導入された。
本稿では,物理統合復元ネットワーク(PiRN)を提案する。
論文 参考訳（メタデータ） (2023-07-20T05:49:21Z) - Towards Long-Term Time-Series Forecasting: Feature, Pattern, and
Distribution [57.71199089609161]
長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。
トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。
LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
論文 参考訳（メタデータ） (2023-01-05T13:59:29Z) - Transform Once: Efficient Operator Learning in Frequency Domain [69.74509540521397]
本研究では、周波数領域の構造を利用して、空間や時間における長距離相関を効率的に学習するために設計されたディープニューラルネットワークについて検討する。
この研究は、単一変換による周波数領域学習のための青写真を導入している。
論文 参考訳（メタデータ） (2022-11-26T01:56:05Z) - Single Frame Atmospheric Turbulence Mitigation: A Benchmark Study and A
New Physics-Inspired Transformer Model [82.23276183684001]
本研究では,大気乱流の画像化のための物理インスピレーション付き変圧器モデルを提案する。
提案ネットワークは変圧器ブロックのパワーを利用して動的乱流歪みマップを共同で抽出する。
そこで本研究では,従来の客観的指標と,テキスト認識精度を用いたタスク駆動計測の両方で評価可能な,実世界の乱流データセットを新たに2つ提示する。
論文 参考訳（メタデータ） (2022-07-20T17:09:16Z) - Truncated tensor Schatten p-norm based approach for spatiotemporal
traffic data imputation with complicated missing patterns [77.34726150561087]
本研究は, モード駆動繊維による3症例の欠失を含む, 4症例の欠失パターンについて紹介する。
本モデルでは, 目的関数の非性にもかかわらず, 乗算器の交互データ演算法を統合することにより, 最適解を導出する。
論文 参考訳（メタデータ） (2022-05-19T08:37:56Z) - Atmospheric Turbulence Removal with Complex-Valued Convolutional Neural
Network [2.657505380055164]
大気の乱流は視覚的イメージを歪め、人間と機械の両方による情報解釈には常に問題となる。
ディープラーニングベースのアプローチが注目されているが、現在は静的シーンのみに効率よく機能している。
本稿では,動的シーンをサポートするための短時間の時間的スパンニングを提供する,新しい学習ベースフレームワークを提案する。
論文 参考訳（メタデータ） (2022-04-14T14:29:32Z) - TCCT: Tightly-Coupled Convolutional Transformer on Time Series
Forecasting [6.393659160890665]
本稿では, 密結合型畳み込み変換器(TCCT)と3つのTCCTアーキテクチャを提案する。
実世界のデータセットに対する我々の実験は、我々のTCCTアーキテクチャが既存の最先端トランスフォーマーモデルの性能を大幅に改善できることを示している。
論文 参考訳（メタデータ） (2021-08-29T08:49:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。