論文の概要: Parameter-Efficient Adaptation of Geospatial Foundation Models through Embedding Deflection
- arxiv url: http://arxiv.org/abs/2503.09493v1
- Date: Wed, 12 Mar 2025 15:53:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-13 15:38:59.463851
- Title: Parameter-Efficient Adaptation of Geospatial Foundation Models through Embedding Deflection
- Title（参考訳）: 埋め込みデフレクションによる地空間基礎モデルのパラメータ効率の良い適応
- Authors: Romain Thoreau, Valerio Marsocci, Dawa Derksen,
- Abstract要約: DEFLECTは、非常に少数のパラメータを持つマルチスペクトル衛星画像にGFMを適用するための新しい戦略である。
5-10$times$より少ないパラメータで、オンパーまたはより高い精度で分類とセグメンテーションタスクを実現する。
- 参考スコア（独自算出の注目度）: 2.8220015774219567
- License:
- Abstract: As large-scale heterogeneous data sets become increasingly available, adapting foundation models at low cost has become a key issue. Seminal works in natural language processing, e.g. Low-Rank Adaptation (LoRA), leverage the low "intrinsic rank" of parameter updates during adaptation. In this paper, we argue that incorporating stronger inductive biases in both data and models can enhance the adaptation of Geospatial Foundation Models (GFMs), pretrained on RGB satellite images, to other types of optical satellite data. Specifically, the pretrained parameters of GFMs serve as a strong prior for the spatial structure of multispectral images. For this reason, we introduce DEFLECT (Deflecting Embeddings for Finetuning Latent representations for Earth and Climate Tasks), a novel strategy for adapting GFMs to multispectral satellite imagery with very few additional parameters. DEFLECT improves the representation capabilities of the extracted features, particularly enhancing spectral information, which is essential for geoscience and environmental-related tasks. We demonstrate the effectiveness of our method across three different GFMs and five diverse datasets, ranging from forest monitoring to marine environment segmentation. Compared to competing methods, DEFLECT achieves on-par or higher accuracy with 5-10$\times$ fewer parameters for classification and segmentation tasks. The code will be made publicly available.
- Abstract（参考訳）: 大規模な異種データセットが利用可能になるにつれて、低コストで基礎モデルを適用することが重要な問題となっている。
セミナーは自然言語処理、例えばローランク適応(LoRA)において、適応中のパラメータ更新の低 "内在的なランク" を活用する。
本稿では,データとモデルの両方により強い帰納バイアスを組み込むことで,RGB衛星画像上で事前訓練された地球空間基盤モデル(GFM)の他の種類の光学衛星データへの適応性を高めることができると論じる。
具体的には、GFMの事前学習パラメータは、マルチスペクトル画像の空間構造に対する強い先行要因となる。
そこで本稿では,地球・気候タスクの遅延表現を微調整するDeflect(Deflecting Embeddings for Finetuning Latent representations for Earth and Climate Tasks)を導入する。
DEFLECTは抽出した特徴の表現能力を改善し、特に地球科学や環境関連タスクに欠かせないスペクトル情報を強化する。
本手法の有効性を,森林モニタリングから海洋環境セグメンテーションまで,3つの異なるGFMと5つの多様なデータセットで示す。
競合する手法と比較して、DEFLECTは5-10$\times$より少ないパラメータでオンパーまたはより高い精度を達成する。
コードは公開されます。
関連論文リスト
- No Location Left Behind: Measuring and Improving the Fairness of Implicit Representations for Earth Data [13.412573082645096]
暗黙の神経表現(INR)は、地球表象の課題に対処する上での公約が増大している。
既存の手法はグローバルな平均性能を不均等に優先する。
FAIR-Earthは、地球表象の不等式を調べ、挑戦するための第一種データセットである。
論文 参考訳（メタデータ） (2025-02-05T16:51:13Z) - SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。
SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。
画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
論文 参考訳（メタデータ） (2024-08-19T17:32:15Z) - GenBench: A Benchmarking Suite for Systematic Evaluation of Genomic Foundation Models [56.63218531256961]
我々はGenomic Foundation Modelsの有効性を評価するためのベンチマークスイートであるGenBenchを紹介する。
GenBenchはモジュラーで拡張可能なフレームワークを提供し、様々な最先端の方法論をカプセル化している。
本稿では,タスク固有性能におけるモデルアーキテクチャとデータセット特性の相互作用のニュアンス解析を行う。
論文 参考訳（メタデータ） (2024-06-01T08:01:05Z) - SatSynth: Augmenting Image-Mask Pairs through Diffusion Models for Aerial Semantic Segmentation [69.42764583465508]
我々は,地球観測における注釈付きデータの不足に対処するために,生成的画像拡散の可能性を探る。
我々の知る限りでは、衛星セグメンテーションのための画像と対応するマスクの両方を最初に生成する。
論文 参考訳（メタデータ） (2024-03-25T10:30:22Z) - Position: Graph Foundation Models are Already Here [53.737868336014735]
グラフ基礎モデル(GFM)は、グラフ領域において重要な研究トピックとして浮上している。
グラフ語彙の提唱によるGFM開発のための新しい視点」を提案する。
この観点は、将来のGFM設計を、ニューラルネットワークのスケーリング法則に従って前進させる可能性がある。
論文 参考訳（メタデータ） (2024-02-03T17:24:36Z) - Few-shot Image Generation via Information Transfer from the Built
Geodesic Surface [2.617962830559083]
構築地表面からの情報伝達法(ITBGS)を提案する。
FAGSモジュールでは、トレーニングデータセットからPre-Shape Spaceにイメージ機能を投影することで、擬似ソースドメインが生成される。
提案手法は,多種多様なセマンティックなデータセットにまたがって,最適な,あるいは同等な結果が得られることを実証する。
論文 参考訳（メタデータ） (2024-01-03T13:57:09Z) - A Parameterized Generative Adversarial Network Using Cyclic Projection
for Explainable Medical Image Classification [17.26012062961371]
ParaGANは、ドメイン間の合成サンプルの変化を効果的に制御し、下流分類のための注意領域を強調するパラメータ化GANである。
実験の結果,ParaGANは2つの小規模医療データセットに対して説明可能な分類を行い,既存の拡張手法より一貫して優れていることがわかった。
論文 参考訳（メタデータ） (2023-11-24T10:07:14Z) - SatDM: Synthesizing Realistic Satellite Image with Semantic Layout
Conditioning using Diffusion Models [0.0]
Denoising Diffusion Probabilistic Models (DDPM) は意味的レイアウトから現実的なイメージを合成する上で大きな可能性を証明している。
本稿では,セマンティックマップを用いて高品質で多様な衛星画像を生成する条件付きDDPMモデルを提案する。
提案モデルの有効性は,本研究の文脈内で導入した詳細なラベル付きデータセットを用いて検証する。
論文 参考訳（メタデータ） (2023-09-28T19:39:13Z) - GIFD: A Generative Gradient Inversion Method with Feature Domain
Optimization [52.55628139825667]
Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。
近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。
textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
論文 参考訳（メタデータ） (2023-08-09T04:34:21Z) - SSL-SoilNet: A Hybrid Transformer-based Framework with Self-Supervised Learning for Large-scale Soil Organic Carbon Prediction [2.554658234030785]
本研究は,自己指導型コントラスト学習を通じて,マルチモーダル特徴間の地理的関連を学習することを目的とした,新しいアプローチを提案する。
提案手法は、2つの異なる大規模データセットに対して厳密なテストを行っている。
論文 参考訳（メタデータ） (2023-08-07T13:44:44Z) - Understanding Overparameterization in Generative Adversarial Networks [56.57403335510056]
generative adversarial network (gans) は、非凹型ミニマックス最適化問題を訓練するために用いられる。
ある理論は、グローバル最適解に対する勾配降下 (gd) の重要性を示している。
ニューラルネットワークジェネレータと線形判別器を併用した多層GANにおいて、GDAは、基礎となる非凹面min-max問題の大域的なサドル点に収束することを示す。
論文 参考訳（メタデータ） (2021-04-12T16:23:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。