論文の概要: Rapid Adaptation of Earth Observation Foundation Models for Segmentation

• arxiv url: http://arxiv.org/abs/2409.09907v1
• Date: Mon, 16 Sep 2024 00:42:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-17 16:50:37.086344
• Title: Rapid Adaptation of Earth Observation Foundation Models for Segmentation
• Title（参考訳）: セグメンテーションのための地球観測基礎モデルの迅速適応
• Authors: Karthick Panner Selvam, Raul Ramos-Pollan, Freddie Kalaitzis,
• Abstract要約: ローランド適応(LoRA)は、洪水セグメンテーションのための地球観測(EO)基礎モデルに使用できる。 LoRAは凍結エンコーダベースラインに比べてF1スコアを6.66ポイント、IoUを0.11ポイント改善する。
• 参考スコア（独自算出の注目度）: 1.3654846342364308
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This study investigates the efficacy of Low-Rank Adaptation (LoRA) in fine-tuning Earth Observation (EO) foundation models for flood segmentation. We hypothesize that LoRA, a parameter-efficient technique, can significantly accelerate the adaptation of large-scale EO models to this critical task while maintaining high performance. We apply LoRA to fine-tune a state-of-the-art EO foundation model pre-trained on diverse satellite imagery, using a curated dataset of flood events. Our results demonstrate that LoRA-based fine-tuning (r-256) improves F1 score by 6.66 points and IoU by 0.11 compared to a frozen encoder baseline, while significantly reducing computational costs. Notably, LoRA outperforms full fine-tuning, which proves computationally infeasible on our hardware. We further assess generalization through out-of-distribution (OOD) testing on a geographically distinct flood event. While LoRA configurations show improved OOD performance over the baseline. This work contributes to research on efficient adaptation of foundation models for specialized EO tasks, with implications for rapid response systems in disaster management. Our findings demonstrate LoRA's potential for enabling faster deployment of accurate flood segmentation models in resource-constrained, time-critical scenarios.
• Abstract（参考訳）: 本研究では,洪水セグメンテーションのための微調整地球観測(EO)基礎モデルにおけるローランド適応(LoRA)の有効性について検討した。 パラメータ効率向上手法であるLoRAは,高性能を維持しながら,大規模EOモデルのこの重要な課題への適応を著しく促進できる,という仮説を立てる。 各種衛星画像に基づいて事前訓練された最先端のEO基盤モデルを,洪水イベントのキュレートデータセットを用いて微調整するためにLoRAを適用した。 その結果, 冷凍エンコーダのベースラインに比べてF1スコアが6.66ポイント向上し, IoUが0.11ポイント向上し, 計算コストが大幅に削減された。 特に、LoRAは完全な微調整よりも優れており、私たちのハードウェアでは計算不能であることが証明されている。 さらに、地理的に異なる洪水イベントにおいて、アウト・オブ・ディストリビューション(OOD)テストによる一般化を評価する。 LoRA構成では、ベースライン上でのOODパフォーマンスが改善されている。 本研究は, 災害管理における迅速な対応システムを実現するため, 特定EOタスクに対する基礎モデルの効率的な適応に関する研究に寄与する。 以上の結果から, 資源制約, 時間クリティカルなシナリオにおいて, 正確な洪水セグメンテーションモデルの迅速な展開を可能にする LoRA の可能性が示唆された。

関連論文リスト

• BeamLoRA: Beam-Constraint Low-Rank Adaptation [51.52097743781401]
  Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法として広く採用されている。 本研究では,各LoRAモジュールを,各ランクが潜在的サブソリューションに対応するビームとして概念化するビームロラを提案する。
  論文  参考訳（メタデータ） (2025-02-19T10:33:22Z)
• HRP: High-Rank Preheating for Superior LoRA Initialization [58.3319586613105]
  微調整低域適応(LoRA)のための高域予熱法(HRP)の提案 HRPはLoRAの様々なモデルやタスクにおける一般化の有効性を大幅に向上させる。
  論文  参考訳（メタデータ） (2025-02-11T17:59:35Z)
• Adaptive Parameter-Efficient Federated Fine-Tuning on Heterogeneous Devices [24.725928966071212]
  Federated Fine-tuning (FedFT) は、事前訓練された言語モデルを分散的に微調整するために提案されている。 LEGENDと呼ばれる新しいLoRAベースのFedFTフレームワークを提案する。 我々は,LoRA深度とランク分布の結合関係を解析し,不均一デバイスに対する効率的なLoRA構成アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-12-28T04:00:42Z)
• ResFlow: Fine-tuning Residual Optical Flow for Event-based High Temporal Resolution Motion Estimation [50.80115710105251]
  イベントカメラは、高時間分解能(HTR)モーション推定に重要な可能性を秘めている。 イベントデータを用いてHTR光流を推定するための残差に基づくパラダイムを提案する。
  論文  参考訳（メタデータ） (2024-12-12T09:35:47Z)
• Low-rank Adaptation-based All-Weather Removal for Autonomous Navigation [29.309503214127016]
  オールウェザー画像復元(AWIR)は、悪天候下での信頼性の高い自律航法に不可欠である。 AWIRモデルは、霧、雨、雪などの特定の気象条件に対応するために訓練されている。 そこで我々はLoRA (Lo-Rank Adaptation) を用いて、事前訓練された全天候モデルを新しい気象復旧タスクに効果的に適用することを提案する。
  論文  参考訳（メタデータ） (2024-11-26T19:01:11Z)
• Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
  微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。 本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
  論文  参考訳（メタデータ） (2024-10-25T17:07:13Z)
• Low-Rank Adaptation of Time Series Foundational Models for Out-of-Domain Modality Forecasting [5.354055742467354]
  Low-Rank Adaptation (LoRA) は、様々なモダリティやタスクにまたがる大規模または基礎的なモデルを微調整する手法である。 本稿では,Lug-Llama,MOIRAI,Chronosといった現代時系列基盤モデルに対するLoRAの影響について検討する。
  論文  参考訳（メタデータ） (2024-05-16T16:05:33Z)
• ALoRA: Allocating Low-Rank Adaptation for Fine-tuning Large Language Models [8.251547772610301]
  低ランク適応 (LoRA) の方法論を、低ランク適応 (AloRA) と呼ぶ革新的なアプローチに拡張する。 まず,各ランクの重要度を効果的に推定できる新しい手法であるAB-LoRAを提案する。 第2に、AB-LoRAによって導かれ、我々は徐々にLoRAのランクに多く負の影響を及ぼし、高いランクを必要とする重要なトランスフォーマーモジュールにローラの予算を割り当てる。
  論文  参考訳（メタデータ） (2024-03-24T15:09:55Z)
• Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
  本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。 提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。 実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-20T11:56:25Z)
• Exploring the impact of low-rank adaptation on the performance, efficiency, and regularization of RLHF [47.960563851948514]
  低ランク適応(LoRA)を用いたRLHFの効率的な実装について検討する。 本実装は,フルモデル微調整によるAlpacaFarmチェックポイントよりも優れた性能を実現する。 我々は、より効率的なRLHFの研究を促進するために、コードと事前訓練されたチェックポイントをリリースする。
  論文  参考訳（メタデータ） (2023-09-16T17:31:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。