論文の概要: Frequency-Aware Vision Transformers for High-Fidelity Super-Resolution of Earth System Models
- arxiv url: http://arxiv.org/abs/2502.12427v4
- Date: Tue, 28 Oct 2025 16:06:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-29 17:50:19.983857
- Title: Frequency-Aware Vision Transformers for High-Fidelity Super-Resolution of Earth System Models
- Title(参考訳): 高精度高分解能地球モデルのための周波数認識型視覚変換器
- Authors: Ehsan Zeraatkar, Salah A Faroughi, Jelena Tešić,
- Abstract要約: 超解像法はスペクトルバイアスを示し、貴重な高周波の詳細よりも容易に低周波コンテンツを再構成する。
本稿では、ViSIR(Vision Transformer-Tuned Sinusoidal Implicit Representation)とViFOR(Vi Vision Transformer Fourier Representation Network)の2つの周波数対応フレームワークを紹介する。
その結果、ViFORは、気候データダウンスケーリングのための最先端でスケーラブルなソリューションとして確立された。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Super-resolution (SR) is crucial for enhancing the spatial fidelity of Earth System Model (ESM) outputs, allowing fine-scale structures vital to climate science to be recovered from coarse simulations. However, traditional deep super-resolution methods, including convolutional and transformer-based models, tend to exhibit spectral bias, reconstructing low-frequency content more readily than valuable high-frequency details. In this work, we introduce two frequency-aware frameworks: the Vision Transformer-Tuned Sinusoidal Implicit Representation (ViSIR), combining Vision Transformers and sinusoidal activations to mitigate spectral bias, and the Vision Transformer Fourier Representation Network (ViFOR), which integrates explicit Fourier-based filtering for independent low- and high-frequency learning. Evaluated on the E3SM-HR Earth system dataset across surface temperature, shortwave, and longwave fluxes, these models outperform leading CNN, GAN, and vanilla transformer baselines, with ViFOR demonstrating up to 2.6~dB improvements in PSNR and significantly higher SSIM. Detailed ablation and scaling studies highlight the benefit of full-field training, the impact of frequency hyperparameters, and the potential for generalization. The results establish ViFOR as a state-of-the-art, scalable solution for climate data downscaling. Future extensions will address temporal super-resolution, multimodal climate variables, automated parameter selection, and integration of physical conservation constraints to broaden scientific applicability.
- Abstract(参考訳): 超解像(SR)は、地球系モデル(ESM)の出力の空間忠実度を高めるために重要であり、気候科学に不可欠な微細な構造を粗いシミュレーションから復元することができる。
しかし、畳み込みモデルやトランスフォーマーモデルを含む従来のディープ超解像法は、スペクトルバイアスを示し、貴重な高周波の詳細よりも容易に低周波コンテンツを再構成する傾向にある。
本研究では,視覚変換器と正弦波のアクティベーションを組み合わせてスペクトルバイアスを緩和するViSIR(Vision Transformer-Tuned Sinusoidal Implicit Representation)と,独立した低周波・高周波学習のための明示的なフーリエフィルタを統合するViFOR(Vision Transformer Fourier Representation Network)の2つの周波数認識フレームワークを紹介する。
地表温度、短波、長波束にわたるE3SM-HR地球系のデータセットに基づいて評価され、これらのモデルはCNN、GAN、バニラトランスフォーマーベースラインよりも優れており、VFORはPSNRの2.6〜dBの改善とSSIMの大幅な向上を実証している。
詳細なアブレーションとスケーリングの研究は、フルフィールドトレーニングの利点、周波数ハイパーパラメータの影響、一般化の可能性を強調している。
その結果、ViFORは、気候データダウンスケーリングのための最先端でスケーラブルなソリューションとして確立された。
将来の拡張は、時間的超解像、マルチモーダル気候変数、自動パラメータ選択、科学的適用性を高めるための物理的保護制約の統合に対処する。
関連論文リスト
- ViSIR: Vision Transformer Single Image Reconstruction Method for Earth System Models [0.0]
地球系モデル (ESM) は、大気、海、陸、氷、生物圏の相互作用を統合し、地域気候と地球気候の状態を推定する。
本研究では,視覚変換器の正弦波表現ネットワーク(ViSIR)を提案する。
論文 参考訳(メタデータ) (2025-02-10T18:09:45Z) - GDSR: Global-Detail Integration through Dual-Branch Network with Wavelet Losses for Remote Sensing Image Super-Resolution [30.21425157733119]
リモートセンシング画像(RSI)にRWKV(Receptance Weighted Key Value)を導入する。
本稿では,RWKVと畳み込み操作を並列化してSR再構成を行うGDSRを提案する。
さらに,画像中の高頻度の詳細情報を効果的にキャプチャし,特にディテール再構成におけるSRの視覚的品質を向上させる損失関数であるWavelet Lossを提案する。
論文 参考訳(メタデータ) (2024-12-31T10:43:19Z) - Local Implicit Wavelet Transformer for Arbitrary-Scale Super-Resolution [15.610136214020947]
暗黙の神経表現は、最近、画像の任意のスケールの超解像(SR)において有望な可能性を証明している。
既存のほとんどの手法は、クエリされた座標と近くの特徴のアンサンブルに基づいて、SR画像中のピクセルを予測する。
本稿では,高周波テクスチャの再現性を高めるために,LIWT(Local Implicit Wavelet Transformer)を提案する。
論文 参考訳(メタデータ) (2024-11-10T12:21:14Z) - Efficient Visual State Space Model for Image Deblurring [99.54894198086852]
畳み込みニューラルネットワーク(CNN)とビジョントランスフォーマー(ViT)は、画像復元において優れた性能を発揮している。
本稿では,画像のデブロアに対する簡易かつ効果的な視覚状態空間モデル(EVSSM)を提案する。
提案したEVSSMは、ベンチマークデータセットや実世界の画像に対する最先端の手法に対して好意的に機能する。
論文 参考訳(メタデータ) (2024-05-23T09:13:36Z) - Training Transformer Models by Wavelet Losses Improves Quantitative and Visual Performance in Single Image Super-Resolution [6.367865391518726]
トランスフォーマーベースモデルは、画像超解像(SR)を含む低レベル視覚タスクにおいて顕著な結果を得た
グローバルにより多くの入力ピクセルを活性化するために、ハイブリッドアテンションモデルが提案されている。
ウェーブレット損失を利用してTransformerモデルをトレーニングし、定量的および主観的性能を向上させる。
論文 参考訳(メタデータ) (2024-04-17T11:25:19Z) - Physics-Driven Turbulence Image Restoration with Stochastic Refinement [80.79900297089176]
大気乱流による画像歪みは、長距離光学画像システムにおいて重要な問題である。
ディープラーニングモデルが現実世界の乱流条件に適応するために、高速で物理学的なシミュレーションツールが導入された。
本稿では,物理統合復元ネットワーク(PiRN)を提案する。
論文 参考訳(メタデータ) (2023-07-20T05:49:21Z) - Recursive Generalization Transformer for Image Super-Resolution [108.67898547357127]
本稿では,大域空間情報を捕捉し,高分解能画像に適した画像SRのための再帰一般化変換器(RGT)を提案する。
我々は,RG-SAと局所的自己意識を組み合わせることで,グローバルな文脈の活用を促進する。
我々のRGTは最近の最先端の手法よりも定量的に質的に優れている。
論文 参考訳(メタデータ) (2023-03-11T10:44:44Z) - DCS-RISR: Dynamic Channel Splitting for Efficient Real-world Image
Super-Resolution [15.694407977871341]
実世界の画像超解像(RISR)は、未知の複雑な劣化下でのSR画像の品質向上に重点を置いている。
既存の手法は、分解レベルが異なる低解像度(LR)画像を強化するために重いSRモデルに依存している。
本稿では,DCS-RISRと呼ばれる高効率リアルタイム画像超解法のための動的チャネル分割方式を提案する。
論文 参考訳(メタデータ) (2022-12-15T04:34:57Z) - Contextual Learning in Fourier Complex Field for VHR Remote Sensing
Images [64.84260544255477]
変圧器を用いたモデルでは、一般解像度(224x224ピクセル)の自然画像から高次文脈関係を学習する優れた可能性を示した
そこで本研究では,高次文脈情報のモデル化を行う複雑な自己意識(CSA)機構を提案する。
CSAブロックの様々な層を積み重ねることで、VHR空中画像からグローバルな文脈情報を学習するFourier Complex Transformer(FCT)モデルを提案する。
論文 参考訳(メタデータ) (2022-10-28T08:13:33Z) - Cross-Modality High-Frequency Transformer for MR Image Super-Resolution [100.50972513285598]
我々はTransformerベースのMR画像超解像フレームワークを構築するための初期の取り組みを構築した。
我々は、高周波構造とモード間コンテキストを含む2つの領域先行について考察する。
我々は,Cross-modality High- frequency Transformer (Cohf-T)と呼ばれる新しいTransformerアーキテクチャを構築し,低解像度画像の超解像化を実現する。
論文 参考訳(メタデータ) (2022-03-29T07:56:55Z) - HDNet: High-resolution Dual-domain Learning for Spectral Compressive
Imaging [138.04956118993934]
HSI再構成のための高分解能デュアルドメイン学習ネットワーク(HDNet)を提案する。
一方、高効率な特徴融合によるHR空間スペクトルアテンションモジュールは、連続的かつ微細な画素レベルの特徴を提供する。
一方、HSI再構成のために周波数領域学習(FDL)を導入し、周波数領域の差を狭める。
論文 参考訳(メタデータ) (2022-03-04T06:37:45Z) - Fourier Space Losses for Efficient Perceptual Image Super-Resolution [131.50099891772598]
提案した損失関数の適用のみで,最近導入された効率的なジェネレータアーキテクチャの性能向上が可能であることを示す。
フーリエ空間における周波数に対する損失の直接的強調は知覚的画質を著しく向上させることを示す。
訓練されたジェネレータは、最先端の知覚的SR法である RankSRGAN と SRFlow よりも2.4倍、48倍高速である。
論文 参考訳(メタデータ) (2021-06-01T20:34:52Z) - Boosting Image Super-Resolution Via Fusion of Complementary Information
Captured by Multi-Modal Sensors [21.264746234523678]
イメージスーパーレゾリューション(sr)は、低解像度光センサの画質を向上させる有望な技術である。
本稿では,安価なチャネル(可視・深度)からの補完情報を活用して,少ないパラメータを用いて高価なチャネル(熱)の画像品質を向上させる。
論文 参考訳(メタデータ) (2020-12-07T02:15:28Z) - Deep Cyclic Generative Adversarial Residual Convolutional Networks for
Real Image Super-Resolution [20.537597542144916]
我々は、LRとHRデータ分布間の領域整合性を維持するために、深い循環ネットワーク構造を考える。
本稿では,LRからHRドメインへの変換のためのGAN(Generative Adversarial Network)フレームワークを用いた学習により,超解像残留周期生成逆ネットワーク(SRResCycGAN)を提案する。
論文 参考訳(メタデータ) (2020-09-07T11:11:18Z) - Hyperspectral Image Super-resolution via Deep Progressive Zero-centric
Residual Learning [62.52242684874278]
空間情報とスペクトル情報の相互モダリティ分布が問題となる。
本稿では,PZRes-Netという,新しいテクスライトウェイトなディープニューラルネットワークベースのフレームワークを提案する。
本フレームワークは,高分解能かつテクテッセロ中心の残像を学習し,シーンの空間的詳細を高頻度で表現する。
論文 参考訳(メタデータ) (2020-06-18T06:32:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。