論文の概要: RS-vHeat: Heat Conduction Guided Efficient Remote Sensing Foundation Model
- arxiv url: http://arxiv.org/abs/2411.17984v2
- Date: Fri, 07 Mar 2025 13:24:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-10 15:01:10.220989
- Title: RS-vHeat: Heat Conduction Guided Efficient Remote Sensing Foundation Model
- Title（参考訳）: RS-vHeat:高効率リモートセンシング基礎モデルによる熱伝導誘導
- Authors: Huiyang Hu, Peijin Wang, Hanbo Bi, Boyuan Tong, Zhaozhi Wang, Wenhui Diao, Hao Chang, Yingchao Feng, Ziqi Zhang, Yaowei Wang, Qixiang Ye, Kun Fu, Xian Sun,
- Abstract要約: 本稿では,効率的なマルチモーダルリモートセンシング基盤モデルであるRS-vHeatを紹介する。
具体的には、RS-vHeatは、O(N1.5)$の複雑さを持つ熱伝導演算子(HCO)と、大域的受容場を適用している。
注意に基づくリモートセンシング基礎モデルと比較して、メモリ使用量を84%削減し、FLOPを24%削減し、スループットを2.7倍改善する。
- 参考スコア（独自算出の注目度）: 59.37279559684668
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Remote sensing foundation models largely break away from the traditional paradigm of designing task-specific models, offering greater scalability across multiple tasks. However, they face challenges such as low computational efficiency and limited interpretability, especially when dealing with large-scale remote sensing images. To overcome these, we draw inspiration from heat conduction, a physical process modeling local heat diffusion. Building on this idea, we are the first to explore the potential of using the parallel computing model of heat conduction to simulate the local region correlations in high-resolution remote sensing images, and introduce RS-vHeat, an efficient multi-modal remote sensing foundation model. Specifically, RS-vHeat 1) applies the Heat Conduction Operator (HCO) with a complexity of $O(N^{1.5})$ and a global receptive field, reducing computational overhead while capturing remote sensing object structure information to guide heat diffusion; 2) learns the frequency distribution representations of various scenes through a self-supervised strategy based on frequency domain hierarchical masking and multi-domain reconstruction; 3) significantly improves efficiency and performance over state-of-the-art techniques across 4 tasks and 10 datasets. Compared to attention-based remote sensing foundation models, we reduce memory usage by 84\%, FLOPs by 24\% and improves throughput by 2.7 times. The code will be made publicly available.
- Abstract（参考訳）: リモートセンシング基盤モデルは、タスク固有のモデルの設計という伝統的なパラダイムから大きく切り離され、複数のタスクにまたがるスケーラビリティを提供する。
しかし、特に大規模なリモートセンシング画像を扱う場合、計算効率の低下や解釈可能性の制限といった課題に直面している。
これらを克服するために,局所的な熱拡散をモデル化した物理過程である熱伝導から着想を得た。
このアイデアに基づいて,我々は,高解像度リモートセンシング画像における局所領域相関をシミュレートするために,熱伝導の並列計算モデルを用いることの可能性を探究し,効率的なマルチモーダルリモートセンシング基盤モデルであるRS-vHeatを導入する。
特にRS-vHeat
1) 熱伝導演算子(HCO)をO(N^{1.5})$の複雑さと大域的受容場とで適用することにより, リモートセンシング対象構造情報を捕捉して熱拡散を誘導し, 計算オーバーヘッドを低減させる。
2)周波数領域階層マスキングと多領域再構成に基づく自己監督戦略により,様々な場面の周波数分布表現を学習する。
3) 4つのタスクと10のデータセットにわたる最先端技術よりも効率とパフォーマンスが大幅に向上する。
注意に基づくリモートセンシング基礎モデルと比較して、メモリ使用量を84 %削減し、FLOPを24 %削減し、スループットを2.7 倍改善する。
コードは公開されます。
関連論文リスト
- Any Image Restoration via Efficient Spatial-Frequency Degradation Adaptation [158.37640586809187]
劣化した画像を1つのモデルで効率的に復元することは、ますます重要になっている。
我々のアプローチはAnyIRと呼ばれ、様々な劣化にまたがる固有の類似性を活用する統一された経路をとっています。
劣化認識と文脈的注意を融合させるため,空間周波数並列融合戦略を提案する。
論文 参考訳（メタデータ） (2025-04-19T09:54:46Z) - LDGNet: A Lightweight Difference Guiding Network for Remote Sensing Change Detection [6.554696547472252]
光リモートセンシングによる変化検出を誘導する軽量差分誘導ネットワーク(LDGNet)を提案する。
まず、軽量バックボーンネットワークの特徴表現能力を高めるために、差分誘導モジュール(DGM)を提案する。
次に,Visual State Space Model (VSSM) を用いたDADFモジュールを提案する。
論文 参考訳（メタデータ） (2025-04-07T13:33:54Z) - DEAL: Data-Efficient Adversarial Learning for High-Quality Infrared Imaging [47.22313650077835]
温度劣化シミュレーションをミニマックス最適化によりトレーニングプロセスに統合する。
シミュレーションは、目的関数を最大化するために動的であり、これにより、劣化したデータ分布の幅広いスペクトルをキャプチャする。
このアプローチにより、限られたデータによるトレーニングが可能になり、モデルのパフォーマンスが向上する。
論文 参考訳（メタデータ） (2025-03-02T14:15:44Z) - BAFNet: Bilateral Attention Fusion Network for Lightweight Semantic Segmentation of Urban Remote Sensing Images [6.153725909241752]
本研究では,高分解能な都市リモートセンシング画像の分割を効率的に行うために,両側注意融合ネットワーク(BAFNet)と呼ばれる軽量なセマンティックセマンティックセマンティクスネットワークを提案する。
BAFNetは高度な軽量モデルを精度で上回るが、2つのデータセット上の非軽量な最先端メソッドに匹敵するパフォーマンスを示す。
論文 参考訳（メタデータ） (2024-09-16T13:25:42Z) - vHeat: Building Vision Models upon Heat Conduction [63.00030330898876]
vHeatは、高い計算効率とグローバルな受容場の両方を同時に達成する、新しいビジョンバックボーンモデルである。
基本的な考え方は、画像パッチを熱源として概念化し、それらの相関の計算を熱エネルギーの拡散としてモデル化することである。
論文 参考訳（メタデータ） (2024-05-26T12:58:04Z) - Spatial-frequency Dual-Domain Feature Fusion Network for Low-Light Remote Sensing Image Enhancement [49.15531684596958]
低照度リモートセンシング画像強調のためのDFFN(Dual-Domain Feature Fusion Network)を提案する。
第1フェーズは振幅情報を学習して画像輝度を復元し、第2フェーズは位相情報を学習して詳細を洗練させる。
我々は、現在の暗光リモートセンシング画像強調におけるデータセットの欠如に対応するために、2つの暗光リモートセンシングデータセットを構築した。
論文 参考訳（メタデータ） (2024-04-26T13:21:31Z) - Diffusion Models Without Attention [110.5623058129782]
Diffusion State Space Model (DiffuSSM) は、よりスケーラブルな状態空間モデルバックボーンで注目メカニズムを置き換えるアーキテクチャである。
拡散訓練におけるFLOP効率の高いアーキテクチャへの注力は、大きな前進となる。
論文 参考訳（メタデータ） (2023-11-30T05:15:35Z) - LATIS: Lambda Abstraction-based Thermal Image Super-resolution [10.375865762847347]
低解像度熱画像の品質向上には, SISR(Single Image Super- resolution)が有効である。
抽象化に基づく熱画像超解像(LATIS)は、熱画像のSISRのための新しい軽量アーキテクチャである。
論文 参考訳（メタデータ） (2023-11-18T02:55:04Z) - Inference from Real-World Sparse Measurements [21.194357028394226]
実世界の問題は、しばしば複雑で非構造的な測定セットが伴うが、これはセンサーが空間または時間に狭く配置されているときに起こる。
セットからセットまで様々な位置で測定セットを処理し、どこででも読み出しを抽出できるディープラーニングアーキテクチャは、方法論的に困難である。
本稿では,適用性と実用的堅牢性に着目したアテンションベースモデルを提案する。
論文 参考訳（メタデータ） (2022-10-20T13:42:20Z) - Fourier Space Losses for Efficient Perceptual Image Super-Resolution [131.50099891772598]
提案した損失関数の適用のみで,最近導入された効率的なジェネレータアーキテクチャの性能向上が可能であることを示す。
フーリエ空間における周波数に対する損失の直接的強調は知覚的画質を著しく向上させることを示す。
訓練されたジェネレータは、最先端の知覚的SR法である RankSRGAN と SRFlow よりも2.4倍、48倍高速である。
論文 参考訳（メタデータ） (2021-06-01T20:34:52Z) - Anchor-free Small-scale Multispectral Pedestrian Detection [88.7497134369344]
適応型単一段アンカーフリーベースアーキテクチャにおける2つのモードの効果的かつ効率的な多重スペクトル融合法を提案する。
我々は,直接的境界ボックス予測ではなく,対象の中心と規模に基づく歩行者表現の学習を目指す。
その結果,小型歩行者の検出における本手法の有効性が示唆された。
論文 参考訳（メタデータ） (2020-08-19T13:13:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。