論文の概要: RS-vHeat: Heat Conduction Guided Efficient Remote Sensing Foundation Model

• arxiv url: http://arxiv.org/abs/2411.17984v1
• Date: Wed, 27 Nov 2024 01:43:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 15:26:52.100720
• Title: RS-vHeat: Heat Conduction Guided Efficient Remote Sensing Foundation Model
• Title（参考訳）: RS-vHeat:高効率リモートセンシング基礎モデルによる熱伝導誘導
• Authors: Huiyang Hu, Peijin Wang, Hanbo Bi, Boyuan Tong, Zhaozhi Wang, Wenhui Diao, Hao Chang, Yingchao Feng, Ziqi Zhang, Qixiang Ye, Kun Fu, Xian Sun,
• Abstract要約: 本稿では,効率的なマルチモーダルリモートセンシング基盤モデルであるRS-vHeatを紹介する。 具体的には、RS-vHeatは、O(N1.5)$の複雑さを持つ熱伝導演算子(HCO)と、大域的受容場を適用している。 注意に基づくリモートセンシング基礎モデルと比較して、メモリ消費を84%減らし、FLOPを24%減らし、スループットを2.7倍改善する。
• 参考スコア（独自算出の注目度）: 41.70039494644282
• License:
• Abstract: Remote sensing foundation models largely break away from the traditional paradigm of designing task-specific models, offering greater scalability across multiple tasks. However, they face challenges such as low computational efficiency and limited interpretability, especially when dealing with high-resolution remote sensing images. To overcome these, we draw inspiration from heat conduction, a physical process modeling local heat diffusion. Building on this idea, we are the first to explore the potential of using the parallel computing model of heat conduction to simulate the local region correlations in high-resolution remote sensing images, and introduce RS-vHeat, an efficient multi-modal remote sensing foundation model. Specifically, RS-vHeat 1) applies the Heat Conduction Operator (HCO) with a complexity of $O(N^{1.5})$ and a global receptive field, reducing computational overhead while capturing remote sensing object structure information to guide heat diffusion; 2) learns the frequency distribution representations of various scenes through a self-supervised strategy based on frequency domain hierarchical masking and multi-domain reconstruction; 3) significantly improves efficiency and performance over state-of-the-art techniques across 4 tasks and 10 datasets. Compared to attention-based remote sensing foundation models, we reduces memory consumption by 84%, decreases FLOPs by 24% and improves throughput by 2.7 times.
• Abstract（参考訳）: リモートセンシング基盤モデルは、タスク固有のモデルの設計という伝統的なパラダイムから大きく切り離され、複数のタスクにまたがるスケーラビリティを提供する。 しかし、特に高解像度のリモートセンシング画像を扱う場合、計算効率の低下や解釈可能性の制限といった課題に直面している。 これらを克服するために,局所的な熱拡散をモデル化した物理過程である熱伝導から着想を得た。 このアイデアに基づいて,我々は,高解像度リモートセンシング画像における局所領域相関をシミュレートするために,熱伝導の並列計算モデルを用いることの可能性を探究し,効率的なマルチモーダルリモートセンシング基盤モデルであるRS-vHeatを導入する。 特にRS-vHeat 1) 熱伝導演算子(HCO)をO(N^{1.5})$の複雑さと大域的受容場とで適用することにより, リモートセンシング対象構造情報を捕捉して熱拡散を誘導し, 計算オーバーヘッドを低減させる。 2)周波数領域階層マスキングと多領域再構成に基づく自己監督戦略により,様々な場面の周波数分布表現を学習する。 3) 4つのタスクと10のデータセットにわたる最先端技術よりも効率とパフォーマンスが大幅に向上する。 注意に基づくリモートセンシング基礎モデルと比較して、メモリ消費を84%減らし、FLOPを24%減らし、スループットを2.7倍改善する。

関連論文リスト

• ProbeSDF: Light Field Probes for Neural Surface Reconstruction [4.0130618054041385]
  SDFベースのディファレンシャルレンダリングフレームワークは、最先端のマルチビュー3次元形状再構成を実現している。 我々は、その中核的な外観モデルを最小限に修正することで、このアプローチの族を再検討する。 この性能は、広く異なる2つの一般的なアプリケーションフィールド上の実データ上で一貫して達成されることを示す。
  論文  参考訳（メタデータ） (2024-12-13T12:18:26Z)
• vHeat: Building Vision Models upon Heat Conduction [63.00030330898876]
  vHeatは、高い計算効率とグローバルな受容場の両方を同時に達成する、新しいビジョンバックボーンモデルである。 基本的な考え方は、画像パッチを熱源として概念化し、それらの相関の計算を熱エネルギーの拡散としてモデル化することである。
  論文  参考訳（メタデータ） (2024-05-26T12:58:04Z)
• Spatial-frequency Dual-Domain Feature Fusion Network for Low-Light Remote Sensing Image Enhancement [49.15531684596958]
  低照度リモートセンシング画像強調のためのDFFN(Dual-Domain Feature Fusion Network)を提案する。 第1フェーズは振幅情報を学習して画像輝度を復元し、第2フェーズは位相情報を学習して詳細を洗練させる。 我々は、現在の暗光リモートセンシング画像強調におけるデータセットの欠如に対応するために、2つの暗光リモートセンシングデータセットを構築した。
  論文  参考訳（メタデータ） (2024-04-26T13:21:31Z)
• Diffusion Models Without Attention [110.5623058129782]
  Diffusion State Space Model (DiffuSSM) は、よりスケーラブルな状態空間モデルバックボーンで注目メカニズムを置き換えるアーキテクチャである。 拡散訓練におけるFLOP効率の高いアーキテクチャへの注力は、大きな前進となる。
  論文  参考訳（メタデータ） (2023-11-30T05:15:35Z)
• LATIS: Lambda Abstraction-based Thermal Image Super-resolution [10.375865762847347]
  低解像度熱画像の品質向上には, SISR(Single Image Super- resolution)が有効である。 抽象化に基づく熱画像超解像(LATIS)は、熱画像のSISRのための新しい軽量アーキテクチャである。
  論文  参考訳（メタデータ） (2023-11-18T02:55:04Z)
• Fourier Space Losses for Efficient Perceptual Image Super-Resolution [131.50099891772598]
  提案した損失関数の適用のみで,最近導入された効率的なジェネレータアーキテクチャの性能向上が可能であることを示す。 フーリエ空間における周波数に対する損失の直接的強調は知覚的画質を著しく向上させることを示す。 訓練されたジェネレータは、最先端の知覚的SR法である RankSRGAN と SRFlow よりも2.4倍、48倍高速である。
  論文  参考訳（メタデータ） (2021-06-01T20:34:52Z)
• Learning Frequency-aware Dynamic Network for Efficient Super-Resolution [56.98668484450857]
  本稿では、離散コサイン変換(dct)領域の係数に応じて入力を複数の部分に分割する新しい周波数認識動的ネットワークについて検討する。 実際、高周波部は高価な操作で処理され、低周波部は計算負荷を軽減するために安価な操作が割り当てられる。 ベンチマークSISRモデルおよびデータセット上での実験は、周波数認識動的ネットワークが様々なSISRニューラルネットワークに使用できることを示している。
  論文  参考訳（メタデータ） (2021-03-15T12:54:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。