論文の概要: Rapid Adaptation of Earth Observation Foundation Models for Segmentation

• arxiv url: http://arxiv.org/abs/2409.09907v1
• Date: Mon, 16 Sep 2024 00:42:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-17 16:50:37.086344
• Title: Rapid Adaptation of Earth Observation Foundation Models for Segmentation
• Title（参考訳）: セグメンテーションのための地球観測基礎モデルの迅速適応
• Authors: Karthick Panner Selvam, Raul Ramos-Pollan, Freddie Kalaitzis,
• Abstract要約: ローランド適応(LoRA)は、洪水セグメンテーションのための地球観測(EO)基礎モデルに使用できる。 LoRAは凍結エンコーダベースラインに比べてF1スコアを6.66ポイント、IoUを0.11ポイント改善する。
• 参考スコア（独自算出の注目度）: 1.3654846342364308
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This study investigates the efficacy of Low-Rank Adaptation (LoRA) in fine-tuning Earth Observation (EO) foundation models for flood segmentation. We hypothesize that LoRA, a parameter-efficient technique, can significantly accelerate the adaptation of large-scale EO models to this critical task while maintaining high performance. We apply LoRA to fine-tune a state-of-the-art EO foundation model pre-trained on diverse satellite imagery, using a curated dataset of flood events. Our results demonstrate that LoRA-based fine-tuning (r-256) improves F1 score by 6.66 points and IoU by 0.11 compared to a frozen encoder baseline, while significantly reducing computational costs. Notably, LoRA outperforms full fine-tuning, which proves computationally infeasible on our hardware. We further assess generalization through out-of-distribution (OOD) testing on a geographically distinct flood event. While LoRA configurations show improved OOD performance over the baseline. This work contributes to research on efficient adaptation of foundation models for specialized EO tasks, with implications for rapid response systems in disaster management. Our findings demonstrate LoRA's potential for enabling faster deployment of accurate flood segmentation models in resource-constrained, time-critical scenarios.
• Abstract（参考訳）: 本研究では,洪水セグメンテーションのための微調整地球観測(EO)基礎モデルにおけるローランド適応(LoRA)の有効性について検討した。 パラメータ効率向上手法であるLoRAは,高性能を維持しながら,大規模EOモデルのこの重要な課題への適応を著しく促進できる,という仮説を立てる。 各種衛星画像に基づいて事前訓練された最先端のEO基盤モデルを,洪水イベントのキュレートデータセットを用いて微調整するためにLoRAを適用した。 その結果, 冷凍エンコーダのベースラインに比べてF1スコアが6.66ポイント向上し, IoUが0.11ポイント向上し, 計算コストが大幅に削減された。 特に、LoRAは完全な微調整よりも優れており、私たちのハードウェアでは計算不能であることが証明されている。 さらに、地理的に異なる洪水イベントにおいて、アウト・オブ・ディストリビューション(OOD)テストによる一般化を評価する。 LoRA構成では、ベースライン上でのOODパフォーマンスが改善されている。 本研究は, 災害管理における迅速な対応システムを実現するため, 特定EOタスクに対する基礎モデルの効率的な適応に関する研究に寄与する。 以上の結果から, 資源制約, 時間クリティカルなシナリオにおいて, 正確な洪水セグメンテーションモデルの迅速な展開を可能にする LoRA の可能性が示唆された。

関連論文リスト

• Why Gradient Subspace? Identifying and Mitigating LoRA's Bottlenecks in Federated Fine-Tuning of Large Language Models [21.953204885495573]
  本稿ではLow-Rank Adaptation (LoRA)を用いたFLフレームワークの収束と性能保証を批判的に分析する。 直接重み付けはLoRAベースの戦略よりも優れており、微調整モデルでは優れた性能が得られることを示す。 以上の結果から,GaLoreはFlexLoRAやFFA-LoRAといったフェデレートされたLoRA手法よりも,テキストや画像のモダリティにおいて優れた代替手段であることが示唆された。
  論文  参考訳（メタデータ） (2024-10-30T15:23:44Z)
• Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
  微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。 本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
  論文  参考訳（メタデータ） (2024-10-25T17:07:13Z)
• Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
  Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。 LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。 本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-10T18:51:53Z)
• Flat-LoRA: Low-Rank Adaption over a Flat Loss Landscape [52.98187034726091]
  Low-Rank Adaptation (LoRA) は低ランク行列のみを最適化することでモデルを微調整する効率的な方法である。 ロラ空間に平坦に見える解は、全パラメータ空間に鋭い方向が存在し、一般化性能を損なう可能性がある。 フルパラメータ空間の平坦領域に位置する低ランク適応を求める効率的なアプローチであるFlat-LoRAを提案する。
  論文  参考訳（メタデータ） (2024-09-22T11:24:10Z)
• Unleashing the Power of Task-Specific Directions in Parameter Efficient Fine-tuning [65.31677646659895]
  本稿では,タスク固有の方向性 (TSD) の概念に着目し,大規模モデルを事前学習状態からPEFTにおけるタスク固有の拡張へ移行させる。 本稿では,微調整過程におけるTSDの影響を最大化し,目標タスクにおけるモデル性能を向上させることを目的とした新しいアプローチであるLoRA-Dashを紹介する。
  論文  参考訳（メタデータ） (2024-09-02T08:10:51Z)
• Low-Rank Adaptation of Time Series Foundational Models for Out-of-Domain Modality Forecasting [5.354055742467354]
  Low-Rank Adaptation (LoRA) は、様々なモダリティやタスクにまたがる大規模または基礎的なモデルを微調整する手法である。 本稿では,Lug-Llama,MOIRAI,Chronosといった現代時系列基盤モデルに対するLoRAの影響について検討する。
  論文  参考訳（メタデータ） (2024-05-16T16:05:33Z)
• LoRA Dropout as a Sparsity Regularizer for Overfitting Control [18.992276878667997]
  そこで本研究では,LoRA方式のドロップアウト機構を提案する。 適切な空間性は、経験的リスクと一般化リスクのギャップを狭めるのに役立ちます。
  論文  参考訳（メタデータ） (2024-04-15T09:32:12Z)
• ALoRA: Allocating Low-Rank Adaptation for Fine-tuning Large Language Models [8.251547772610301]
  低ランク適応 (LoRA) の方法論を、低ランク適応 (AloRA) と呼ぶ革新的なアプローチに拡張する。 まず,各ランクの重要度を効果的に推定できる新しい手法であるAB-LoRAを提案する。 第2に、AB-LoRAによって導かれ、我々は徐々にLoRAのランクに多く負の影響を及ぼし、高いランクを必要とする重要なトランスフォーマーモジュールにローラの予算を割り当てる。
  論文  参考訳（メタデータ） (2024-03-24T15:09:55Z)
• Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
  本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。 提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。 実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-20T11:56:25Z)
• Exploring the impact of low-rank adaptation on the performance, efficiency, and regularization of RLHF [47.960563851948514]
  低ランク適応(LoRA)を用いたRLHFの効率的な実装について検討する。 本実装は,フルモデル微調整によるAlpacaFarmチェックポイントよりも優れた性能を実現する。 我々は、より効率的なRLHFの研究を促進するために、コードと事前訓練されたチェックポイントをリリースする。
  論文  参考訳（メタデータ） (2023-09-16T17:31:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。