論文の概要: Frequency-Aware Vision Transformers for High-Fidelity Super-Resolution of Earth System Models
- arxiv url: http://arxiv.org/abs/2502.12427v4
- Date: Tue, 28 Oct 2025 16:06:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-29 17:50:19.983857
- Title: Frequency-Aware Vision Transformers for High-Fidelity Super-Resolution of Earth System Models
- Title(参考訳): 高精度高分解能地球モデルのための周波数認識型視覚変換器
- Authors: Ehsan Zeraatkar, Salah A Faroughi, Jelena Tešić,
- Abstract要約: 超解像法はスペクトルバイアスを示し、貴重な高周波の詳細よりも容易に低周波コンテンツを再構成する。
本稿では、ViSIR(Vision Transformer-Tuned Sinusoidal Implicit Representation)とViFOR(Vi Vision Transformer Fourier Representation Network)の2つの周波数対応フレームワークを紹介する。
その結果、ViFORは、気候データダウンスケーリングのための最先端でスケーラブルなソリューションとして確立された。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Super-resolution (SR) is crucial for enhancing the spatial fidelity of Earth System Model (ESM) outputs, allowing fine-scale structures vital to climate science to be recovered from coarse simulations. However, traditional deep super-resolution methods, including convolutional and transformer-based models, tend to exhibit spectral bias, reconstructing low-frequency content more readily than valuable high-frequency details. In this work, we introduce two frequency-aware frameworks: the Vision Transformer-Tuned Sinusoidal Implicit Representation (ViSIR), combining Vision Transformers and sinusoidal activations to mitigate spectral bias, and the Vision Transformer Fourier Representation Network (ViFOR), which integrates explicit Fourier-based filtering for independent low- and high-frequency learning. Evaluated on the E3SM-HR Earth system dataset across surface temperature, shortwave, and longwave fluxes, these models outperform leading CNN, GAN, and vanilla transformer baselines, with ViFOR demonstrating up to 2.6~dB improvements in PSNR and significantly higher SSIM. Detailed ablation and scaling studies highlight the benefit of full-field training, the impact of frequency hyperparameters, and the potential for generalization. The results establish ViFOR as a state-of-the-art, scalable solution for climate data downscaling. Future extensions will address temporal super-resolution, multimodal climate variables, automated parameter selection, and integration of physical conservation constraints to broaden scientific applicability.
- Abstract(参考訳): 超解像(SR)は、地球系モデル(ESM)の出力の空間忠実度を高めるために重要であり、気候科学に不可欠な微細な構造を粗いシミュレーションから復元することができる。
しかし、畳み込みモデルやトランスフォーマーモデルを含む従来のディープ超解像法は、スペクトルバイアスを示し、貴重な高周波の詳細よりも容易に低周波コンテンツを再構成する傾向にある。
本研究では,視覚変換器と正弦波のアクティベーションを組み合わせてスペクトルバイアスを緩和するViSIR(Vision Transformer-Tuned Sinusoidal Implicit Representation)と,独立した低周波・高周波学習のための明示的なフーリエフィルタを統合するViFOR(Vision Transformer Fourier Representation Network)の2つの周波数認識フレームワークを紹介する。
地表温度、短波、長波束にわたるE3SM-HR地球系のデータセットに基づいて評価され、これらのモデルはCNN、GAN、バニラトランスフォーマーベースラインよりも優れており、VFORはPSNRの2.6〜dBの改善とSSIMの大幅な向上を実証している。
詳細なアブレーションとスケーリングの研究は、フルフィールドトレーニングの利点、周波数ハイパーパラメータの影響、一般化の可能性を強調している。
その結果、ViFORは、気候データダウンスケーリングのための最先端でスケーラブルなソリューションとして確立された。
将来の拡張は、時間的超解像、マルチモーダル気候変数、自動パラメータ選択、科学的適用性を高めるための物理的保護制約の統合に対処する。
関連論文リスト
- Explainable Transformer-CNN Fusion for Noise-Robust Speech Emotion Recognition [2.0391237204597363]
音声感情認識システムは、予測不能な音響干渉にさらされると、しばしば性能が低下する。
本稿では,Wav2Vec 2.0のコンテキストモデリングと1次元畳み込みニューラルネットワークのスペクトル安定性を融合したHybrid Transformer-CNNフレームワークを提案する。
論文 参考訳(メタデータ) (2025-12-20T10:05:58Z) - FAIM: Frequency-Aware Interactive Mamba for Time Series Classification [87.84511960413715]
時系列分類(TSC)は、環境モニタリング、診断、姿勢認識など、多くの実世界の応用において重要である。
本稿では,周波数対応対話型マンバモデルであるFAIMを提案する。
FAIMは既存の最先端(SOTA)手法を一貫して上回り、精度と効率のトレードオフが優れていることを示す。
論文 参考訳(メタデータ) (2025-11-26T08:36:33Z) - From Attention to Frequency: Integration of Vision Transformer and FFT-ReLU for Enhanced Image Deblurring [0.9728664856449597]
本稿では、周波数領域FFT-ReLUモジュールで視覚変換器を統一する新しいデュアルドメインアーキテクチャを提案する。
この構造では、ViTバックボーンはローカルおよびグローバルな依存関係をキャプチャし、FFT-ReLUコンポーネントは、ブラー関連アーティファクトを抑えるために周波数領域の間隔を強制する。
ベンチマークデータセットの実験により、このアーキテクチャは最先端のモデルと比較してPSNR、SSIM、知覚品質が優れていることが示された。
論文 参考訳(メタデータ) (2025-11-13T21:19:57Z) - Wavelet-Guided Dual-Frequency Encoding for Remote Sensing Change Detection [67.84730634802204]
リモートセンシング画像の変化検出は,自然災害監視,都市拡張追跡,インフラ管理など,さまざまな工学的応用において重要な役割を担っている。
既存のほとんどの手法は空間領域モデリングに依存しており、特徴表現の限られた多様性は微妙な変化領域の検出を妨げる。
本研究では、特にウェーブレット領域における周波数領域の特徴モデリングが周波数成分の微細な違いを増幅し、空間領域において捉えにくいエッジ変化の知覚を高めることを観察する。
論文 参考訳(メタデータ) (2025-08-07T11:14:16Z) - FADPNet: Frequency-Aware Dual-Path Network for Face Super-Resolution [70.61549422952193]
計算コストの制限による顔超解像(FSR)は未解決の問題である。
既存のアプローチでは、全ての顔のピクセルを等しく扱い、計算資源を最適以下に割り当てる。
本稿では、低周波成分と高周波成分に顔の特徴を分解する周波数対応デュアルパスネットワークであるFADPNetを提案する。
論文 参考訳(メタデータ) (2025-06-17T02:33:42Z) - SSTAF: Spatial-Spectral-Temporal Attention Fusion Transformer for Motor Imagery Classification [0.0]
脳電図に基づく運動画像分類における脳-コンピュータインタフェース(BCI)は、神経リハビリテーションと補助技術において有望な解決策を提供する。
脳波信号の非定常特性と重要な物体間変動は、頑健な物体間分類モデルを開発する上で大きな課題を引き起こす。
本稿では,上肢運動画像分類に特化して設計されたSSTAF変換器を提案する。
論文 参考訳(メタデータ) (2025-04-17T07:45:14Z) - ViSIR: Vision Transformer Single Image Reconstruction Method for Earth System Models [0.0]
地球系モデル (ESM) は、大気、海、陸、氷、生物圏の相互作用を統合し、地域気候と地球気候の状態を推定する。
本研究では,視覚変換器の正弦波表現ネットワーク(ViSIR)を提案する。
論文 参考訳(メタデータ) (2025-02-10T18:09:45Z) - GDSR: Global-Detail Integration through Dual-Branch Network with Wavelet Losses for Remote Sensing Image Super-Resolution [30.21425157733119]
リモートセンシング画像(RSI)にRWKV(Receptance Weighted Key Value)を導入する。
本稿では,RWKVと畳み込み操作を並列化してSR再構成を行うGDSRを提案する。
さらに,画像中の高頻度の詳細情報を効果的にキャプチャし,特にディテール再構成におけるSRの視覚的品質を向上させる損失関数であるWavelet Lossを提案する。
論文 参考訳(メタデータ) (2024-12-31T10:43:19Z) - Local Implicit Wavelet Transformer for Arbitrary-Scale Super-Resolution [15.610136214020947]
暗黙の神経表現は、最近、画像の任意のスケールの超解像(SR)において有望な可能性を証明している。
既存のほとんどの手法は、クエリされた座標と近くの特徴のアンサンブルに基づいて、SR画像中のピクセルを予測する。
本稿では,高周波テクスチャの再現性を高めるために,LIWT(Local Implicit Wavelet Transformer)を提案する。
論文 参考訳(メタデータ) (2024-11-10T12:21:14Z) - Efficient Visual State Space Model for Image Deblurring [99.54894198086852]
畳み込みニューラルネットワーク(CNN)とビジョントランスフォーマー(ViT)は、画像復元において優れた性能を発揮している。
本稿では,画像のデブロアに対する簡易かつ効果的な視覚状態空間モデル(EVSSM)を提案する。
提案したEVSSMは、ベンチマークデータセットや実世界の画像に対する最先端の手法に対して好意的に機能する。
論文 参考訳(メタデータ) (2024-05-23T09:13:36Z) - Training Transformer Models by Wavelet Losses Improves Quantitative and Visual Performance in Single Image Super-Resolution [6.367865391518726]
トランスフォーマーベースモデルは、画像超解像(SR)を含む低レベル視覚タスクにおいて顕著な結果を得た
グローバルにより多くの入力ピクセルを活性化するために、ハイブリッドアテンションモデルが提案されている。
ウェーブレット損失を利用してTransformerモデルをトレーニングし、定量的および主観的性能を向上させる。
論文 参考訳(メタデータ) (2024-04-17T11:25:19Z) - FactoFormer: Factorized Hyperspectral Transformers with Self-Supervised
Pretraining [36.44039681893334]
ハイパースペクトル画像(HSI)は、豊富なスペクトルと空間情報を含む。
現在の最先端ハイパースペクトル変換器は、入力されたHSIサンプルをスペクトル次元に沿ってトークン化するのみである。
本稿では、自己教師付き事前学習手順を取り入れた新しい分解スペクトル空間変換器を提案する。
論文 参考訳(メタデータ) (2023-09-18T02:05:52Z) - Exploring Frequency-Inspired Optimization in Transformer for Efficient Single Image Super-Resolution [32.29219284419944]
クロスリファインメント適応型特徴変調トランス(CRAFT)
CRAFTの効率向上を目的とした周波数誘導後量子化(PTQ)手法を提案する。
以上の結果より, CRAFTは現状の方法よりも優れていることが示唆された。
論文 参考訳(メタデータ) (2023-08-09T15:38:36Z) - Physics-Driven Turbulence Image Restoration with Stochastic Refinement [80.79900297089176]
大気乱流による画像歪みは、長距離光学画像システムにおいて重要な問題である。
ディープラーニングモデルが現実世界の乱流条件に適応するために、高速で物理学的なシミュレーションツールが導入された。
本稿では,物理統合復元ネットワーク(PiRN)を提案する。
論文 参考訳(メタデータ) (2023-07-20T05:49:21Z) - Recursive Generalization Transformer for Image Super-Resolution [108.67898547357127]
本稿では,大域空間情報を捕捉し,高分解能画像に適した画像SRのための再帰一般化変換器(RGT)を提案する。
我々は,RG-SAと局所的自己意識を組み合わせることで,グローバルな文脈の活用を促進する。
我々のRGTは最近の最先端の手法よりも定量的に質的に優れている。
論文 参考訳(メタデータ) (2023-03-11T10:44:44Z) - DCS-RISR: Dynamic Channel Splitting for Efficient Real-world Image
Super-Resolution [15.694407977871341]
実世界の画像超解像(RISR)は、未知の複雑な劣化下でのSR画像の品質向上に重点を置いている。
既存の手法は、分解レベルが異なる低解像度(LR)画像を強化するために重いSRモデルに依存している。
本稿では,DCS-RISRと呼ばれる高効率リアルタイム画像超解法のための動的チャネル分割方式を提案する。
論文 参考訳(メタデータ) (2022-12-15T04:34:57Z) - Contextual Learning in Fourier Complex Field for VHR Remote Sensing
Images [64.84260544255477]
変圧器を用いたモデルでは、一般解像度(224x224ピクセル)の自然画像から高次文脈関係を学習する優れた可能性を示した
そこで本研究では,高次文脈情報のモデル化を行う複雑な自己意識(CSA)機構を提案する。
CSAブロックの様々な層を積み重ねることで、VHR空中画像からグローバルな文脈情報を学習するFourier Complex Transformer(FCT)モデルを提案する。
論文 参考訳(メタデータ) (2022-10-28T08:13:33Z) - Cross-Modality High-Frequency Transformer for MR Image Super-Resolution [100.50972513285598]
我々はTransformerベースのMR画像超解像フレームワークを構築するための初期の取り組みを構築した。
我々は、高周波構造とモード間コンテキストを含む2つの領域先行について考察する。
我々は,Cross-modality High- frequency Transformer (Cohf-T)と呼ばれる新しいTransformerアーキテクチャを構築し,低解像度画像の超解像化を実現する。
論文 参考訳(メタデータ) (2022-03-29T07:56:55Z) - FAMLP: A Frequency-Aware MLP-Like Architecture For Domain Generalization [73.41395947275473]
本稿では、変換周波数領域において、ドメイン固有の特徴をフィルタリングする新しい周波数認識アーキテクチャを提案する。
3つのベンチマークの実験では、最先端の手法をそれぞれ3%、4%、9%のマージンで上回った。
論文 参考訳(メタデータ) (2022-03-24T07:26:29Z) - HDNet: High-resolution Dual-domain Learning for Spectral Compressive
Imaging [138.04956118993934]
HSI再構成のための高分解能デュアルドメイン学習ネットワーク(HDNet)を提案する。
一方、高効率な特徴融合によるHR空間スペクトルアテンションモジュールは、連続的かつ微細な画素レベルの特徴を提供する。
一方、HSI再構成のために周波数領域学習(FDL)を導入し、周波数領域の差を狭める。
論文 参考訳(メタデータ) (2022-03-04T06:37:45Z) - Fourier Space Losses for Efficient Perceptual Image Super-Resolution [131.50099891772598]
提案した損失関数の適用のみで,最近導入された効率的なジェネレータアーキテクチャの性能向上が可能であることを示す。
フーリエ空間における周波数に対する損失の直接的強調は知覚的画質を著しく向上させることを示す。
訓練されたジェネレータは、最先端の知覚的SR法である RankSRGAN と SRFlow よりも2.4倍、48倍高速である。
論文 参考訳(メタデータ) (2021-06-01T20:34:52Z) - Boosting Image Super-Resolution Via Fusion of Complementary Information
Captured by Multi-Modal Sensors [21.264746234523678]
イメージスーパーレゾリューション(sr)は、低解像度光センサの画質を向上させる有望な技術である。
本稿では,安価なチャネル(可視・深度)からの補完情報を活用して,少ないパラメータを用いて高価なチャネル(熱)の画像品質を向上させる。
論文 参考訳(メタデータ) (2020-12-07T02:15:28Z) - Deep Cyclic Generative Adversarial Residual Convolutional Networks for
Real Image Super-Resolution [20.537597542144916]
我々は、LRとHRデータ分布間の領域整合性を維持するために、深い循環ネットワーク構造を考える。
本稿では,LRからHRドメインへの変換のためのGAN(Generative Adversarial Network)フレームワークを用いた学習により,超解像残留周期生成逆ネットワーク(SRResCycGAN)を提案する。
論文 参考訳(メタデータ) (2020-09-07T11:11:18Z) - Hyperspectral Image Super-resolution via Deep Progressive Zero-centric
Residual Learning [62.52242684874278]
空間情報とスペクトル情報の相互モダリティ分布が問題となる。
本稿では,PZRes-Netという,新しいテクスライトウェイトなディープニューラルネットワークベースのフレームワークを提案する。
本フレームワークは,高分解能かつテクテッセロ中心の残像を学習し,シーンの空間的詳細を高頻度で表現する。
論文 参考訳(メタデータ) (2020-06-18T06:32:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。