論文の概要: Fine-tune Smarter, Not Harder: Parameter-Efficient Fine-Tuning for Geospatial Foundation Models

• arxiv url: http://arxiv.org/abs/2504.17397v1
• Date: Thu, 24 Apr 2025 09:37:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:53.314561
• Title: Fine-tune Smarter, Not Harder: Parameter-Efficient Fine-Tuning for Geospatial Foundation Models
• Title（参考訳）: より賢く、より硬く:地球空間基礎モデルのためのパラメータ効率の良い微調整
• Authors: Francesc Marti-Escofet, Benedikt Blumenstiel, Linus Scheibenreif, Paolo Fraccaro, Konrad Schindler,
• Abstract要約: 地球観測は、環境変化の監視、災害への対応、天然資源の管理に不可欠である。 基礎モデルにより、リモートセンシング画像解析により、関係する地理情報を正確かつ効率的に取得することができる。 これらのモデルのサイズが大きくなるにつれて、関連する計算資源とコストのために微調整がますます困難になる。
• 参考スコア（独自算出の注目度）: 16.522696273752835
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Earth observation (EO) is crucial for monitoring environmental changes, responding to disasters, and managing natural resources. In this context, foundation models facilitate remote sensing image analysis to retrieve relevant geoinformation accurately and efficiently. However, as these models grow in size, fine-tuning becomes increasingly challenging due to the associated computational resources and costs, limiting their accessibility and scalability. Furthermore, full fine-tuning can lead to forgetting pre-trained features and even degrade model generalization. To address this, Parameter-Efficient Fine-Tuning (PEFT) techniques offer a promising solution. In this paper, we conduct extensive experiments with various foundation model architectures and PEFT techniques to evaluate their effectiveness on five different EO datasets. Our results provide a comprehensive comparison, offering insights into when and how PEFT methods support the adaptation of pre-trained geospatial models. We demonstrate that PEFT techniques match or even exceed full fine-tuning performance and enhance model generalisation to unseen geographic regions, while reducing training time and memory requirements. Additional experiments investigate the effect of architecture choices such as the decoder type or the use of metadata, suggesting UNet decoders and fine-tuning without metadata as the recommended configuration. We have integrated all evaluated foundation models and techniques into the open-source package TerraTorch to support quick, scalable, and cost-effective model adaptation.
• Abstract（参考訳）: 地球観測(EO)は、環境変化のモニタリング、災害への対応、天然資源の管理に不可欠である。 この文脈において、ファンデーションモデルは、リモートセンシング画像解析により、関係する地理情報を正確かつ効率的に検索することを可能にする。 しかし、これらのモデルのサイズが大きくなるにつれて、関連する計算資源とコストのために微調整がますます難しくなり、アクセシビリティとスケーラビリティが制限される。 さらに、完全な微調整は、事前訓練された特徴を忘れたり、モデルの一般化を低下させたりする可能性がある。 これを解決するために、パラメータ効率の良いファインチューニング(PEFT)技術は有望な解決策を提供する。 本稿では,5つのEOデータセットにおいて,様々な基礎モデルアーキテクチャとPEFT技術を用いた広範囲な実験を行い,その有効性を評価する。 その結果,PEFT法が事前学習した地理空間モデルの適応をいつ,どのようにサポートするのかを総合的に比較した。 我々は,PEFT技術が完全微調整性能に適合するか,あるいは超越しているかを示し,学習時間とメモリ要件を低減しつつ,未知の地理的領域へのモデル一般化を促進することを実証した。 追加実験では、デコーダタイプやメタデータの使用などのアーキテクチャ選択の影響を調査し、UNetデコーダとメタデータを推奨設定として含まない微調整を提案する。 評価された基盤モデルとテクニックをすべてオープンソースパッケージのTerraTorchに統合し、迅速でスケーラブルで費用対効果の高いモデル適応をサポートしています。

関連論文リスト

• A Survey on Parameter-Efficient Fine-Tuning for Foundation Models in Federated Learning [5.280048850098648]
  ファンデーションモデルは、大規模データセットで事前トレーニングされた堅牢で汎用的なアーキテクチャを提供することによって、人工知能に革命をもたらした。 これらの巨大なモデルを特定の下流タスクに適用するには、微調整が必要である。 本調査は,フェデレート学習環境におけるPEFT技術の統合に関する総合的なレビューを提供する。
  論文  参考訳（メタデータ） (2025-04-29T18:18:39Z)
• A Systematic Literature Review of Parameter-Efficient Fine-Tuning for Large Code Models [2.171120568435925]
  コードのための大規模言語モデル(LLM)は、訓練と微調整のためにかなりの計算資源を必要とする。 この問題に対処するため,研究コミュニティは,より効率的なファインチューニング(PEFT)へと移行している。 PEFTは、モデル全体ではなく、パラメータの小さなサブセットだけを更新することで、大きなモデルの適応を可能にする。 本研究は,27件の査読論文から得られた知見を合成し,構成戦略のパターンと適応トレードオフを同定する。
  論文  参考訳（メタデータ） (2025-04-29T16:19:25Z)
• PEFT A2Z: Parameter-Efficient Fine-Tuning Survey for Large Language and Vision Models [0.0]
  LLM(Large Language Models)やVLM(Vision Language Models)のような大規模モデルは、人工知能を変革した。 これらのモデルの微調整は高価であり、膨大な計算資源、メモリ、タスク固有のデータを必要とする。 PEFT(Efficient Fine-Tuning)は、少数のパラメータだけを更新することで、大規模なモデルを下流タスクに適応できる有望なソリューションとして登場した。
  論文  参考訳（メタデータ） (2025-04-19T00:33:16Z)
• SMPLest-X: Ultimate Scaling for Expressive Human Pose and Shape Estimation [81.36747103102459]
  表現的人間のポーズと形状推定(EHPS)は、身体、手、顔の動きを多数の応用で統合する。 現在の最先端の手法は、限定されたデータセット上で革新的なアーキテクチャ設計を訓練することに焦点を当てている。 本稿では,EHPSのスケールアップが一般基盤モデルのファミリに与える影響について検討する。
  論文  参考訳（メタデータ） (2025-01-16T18:59:46Z)
• A Survey on Inference Optimization Techniques for Mixture of Experts Models [50.40325411764262]
  大規模Mixture of Experts(MoE)モデルは、条件計算によるモデル容量と計算効率の向上を提供する。 これらのモデル上で推論をデプロイし実行することは、計算資源、レイテンシ、エネルギー効率において大きな課題を示す。 本調査では,システムスタック全体にわたるMoEモデルの最適化手法について分析する。
  論文  参考訳（メタデータ） (2024-12-18T14:11:15Z)
• See Further for Parameter Efficient Fine-tuning by Standing on the Shoulders of Decomposition [56.87609859444084]
  パラメータ効率の細かいチューニング(PEFT)は、パラメータの選択したサブセットを最適化し、残りを固定し、計算とストレージのオーバーヘッドを大幅に削減することに焦点を当てている。 分解の観点からそれらを分離することで、すべてのアプローチを統一する第一歩を踏み出します。 本稿では,PEFT技術の性能向上を目的とした,単純かつ効果的なフレームワークとともに,新しい2つのPEFT手法を提案する。
  論文  参考訳（メタデータ） (2024-07-07T15:44:42Z)
• When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
  PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。 実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-16T17:13:08Z)
• Towards Efficient Task-Driven Model Reprogramming with Foundation Models [52.411508216448716]
  ビジョンファウンデーションモデルは、非常に大きなモデルキャパシティと幅広いトレーニングデータから恩恵を受け、印象的なパワーを示す。 しかし、実際には、下流のシナリオは限られた計算資源や効率上の考慮のため、小さなモデルしかサポートできない。 これは、ファンデーションモデルの現実的な応用に重要な課題をもたらします。
  論文  参考訳（メタデータ） (2023-04-05T07:28:33Z)
• Scaling Pre-trained Language Models to Deeper via Parameter-efficient Architecture [68.13678918660872]
  行列積演算子(MPO)に基づくより有能なパラメータ共有アーキテクチャを設計する。 MPO分解はパラメータ行列の情報を再編成し、2つの部分に分解することができる。 私たちのアーキテクチャは、モデルのサイズを減らすために、すべてのレイヤで中央テンソルを共有しています。
  論文  参考訳（メタデータ） (2023-03-27T02:34:09Z)
• Towards Geospatial Foundation Models via Continual Pretraining [22.825065739563296]
  資源コストと炭素の影響を最小限に抑えた高効率基礎モデルを構築するための新しいパラダイムを提案する。 まず、複数のソースからコンパクトだが多様なデータセットを構築し、GeoPileと呼ぶ特徴の多様性を促進する。 次に,大規模なImageNet-22kモデルからの継続事前学習の可能性について検討し,多目的連続事前学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-02-09T07:39:02Z)
• Gradient-Based Training and Pruning of Radial Basis Function Networks with an Application in Materials Physics [0.24792948967354234]
  本稿では,高速かつスケーラブルなオープンソース実装による放射状基底関数ネットワークのトレーニング手法を提案する。 連立データと連立データのモデル解析のための新しいクローズドフォーム最適化基準を導出する。
  論文  参考訳（メタデータ） (2020-04-06T11:32:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。