論文の概要: Rapid Adaptation of Earth Observation Foundation Models for Segmentation
- arxiv url: http://arxiv.org/abs/2409.09907v1
- Date: Mon, 16 Sep 2024 00:42:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-17 16:50:37.086344
- Title: Rapid Adaptation of Earth Observation Foundation Models for Segmentation
- Title(参考訳): セグメンテーションのための地球観測基礎モデルの迅速適応
- Authors: Karthick Panner Selvam, Raul Ramos-Pollan, Freddie Kalaitzis,
- Abstract要約: ローランド適応(LoRA)は、洪水セグメンテーションのための地球観測(EO)基礎モデルに使用できる。
LoRAは凍結エンコーダベースラインに比べてF1スコアを6.66ポイント、IoUを0.11ポイント改善する。
- 参考スコア(独自算出の注目度): 1.3654846342364308
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This study investigates the efficacy of Low-Rank Adaptation (LoRA) in fine-tuning Earth Observation (EO) foundation models for flood segmentation. We hypothesize that LoRA, a parameter-efficient technique, can significantly accelerate the adaptation of large-scale EO models to this critical task while maintaining high performance. We apply LoRA to fine-tune a state-of-the-art EO foundation model pre-trained on diverse satellite imagery, using a curated dataset of flood events. Our results demonstrate that LoRA-based fine-tuning (r-256) improves F1 score by 6.66 points and IoU by 0.11 compared to a frozen encoder baseline, while significantly reducing computational costs. Notably, LoRA outperforms full fine-tuning, which proves computationally infeasible on our hardware. We further assess generalization through out-of-distribution (OOD) testing on a geographically distinct flood event. While LoRA configurations show improved OOD performance over the baseline. This work contributes to research on efficient adaptation of foundation models for specialized EO tasks, with implications for rapid response systems in disaster management. Our findings demonstrate LoRA's potential for enabling faster deployment of accurate flood segmentation models in resource-constrained, time-critical scenarios.
- Abstract(参考訳): 本研究では,洪水セグメンテーションのための微調整地球観測(EO)基礎モデルにおけるローランド適応(LoRA)の有効性について検討した。
パラメータ効率向上手法であるLoRAは,高性能を維持しながら,大規模EOモデルのこの重要な課題への適応を著しく促進できる,という仮説を立てる。
各種衛星画像に基づいて事前訓練された最先端のEO基盤モデルを,洪水イベントのキュレートデータセットを用いて微調整するためにLoRAを適用した。
その結果, 冷凍エンコーダのベースラインに比べてF1スコアが6.66ポイント向上し, IoUが0.11ポイント向上し, 計算コストが大幅に削減された。
特に、LoRAは完全な微調整よりも優れており、私たちのハードウェアでは計算不能であることが証明されている。
さらに、地理的に異なる洪水イベントにおいて、アウト・オブ・ディストリビューション(OOD)テストによる一般化を評価する。
LoRA構成では、ベースライン上でのOODパフォーマンスが改善されている。
本研究は, 災害管理における迅速な対応システムを実現するため, 特定EOタスクに対する基礎モデルの効率的な適応に関する研究に寄与する。
以上の結果から, 資源制約, 時間クリティカルなシナリオにおいて, 正確な洪水セグメンテーションモデルの迅速な展開を可能にする LoRA の可能性が示唆された。
関連論文リスト
- Low-Rank Adaptation of Time Series Foundational Models for Out-of-Domain Modality Forecasting [5.354055742467354]
Low-Rank Adaptation (LoRA) は、様々なモダリティやタスクにまたがる大規模または基礎的なモデルを微調整する手法である。
本稿では,Lug-Llama,MOIRAI,Chronosといった現代時系列基盤モデルに対するLoRAの影響について検討する。
論文 参考訳(メタデータ) (2024-05-16T16:05:33Z) - LoRA Dropout as a Sparsity Regularizer for Overfitting Control [18.992276878667997]
そこで本研究では,LoRA方式のドロップアウト機構を提案する。
適切な空間性は、経験的リスクと一般化リスクのギャップを狭めるのに役立ちます。
論文 参考訳(メタデータ) (2024-04-15T09:32:12Z) - ALoRA: Allocating Low-Rank Adaptation for Fine-tuning Large Language Models [8.251547772610301]
低ランク適応 (LoRA) の方法論を、低ランク適応 (AloRA) と呼ぶ革新的なアプローチに拡張する。
まず,各ランクの重要度を効果的に推定できる新しい手法であるAB-LoRAを提案する。
第2に、AB-LoRAによって導かれ、我々は徐々にLoRAのランクに多く負の影響を及ぼし、高いランクを必要とする重要なトランスフォーマーモジュールにローラの予算を割り当てる。
論文 参考訳(メタデータ) (2024-03-24T15:09:55Z) - LoRA-drop: Efficient LoRA Parameter Pruning based on Output Evaluation [27.123271324468657]
Low-Rank Adaptation (LoRA)は、現在最も一般的に使われている言語である。
効率的な微細チューニング法(PEFT)。
各レイヤの補助パラメータを導入し、限られたコンピューティングリソースの下で事前訓練されたモデルを微調整する。
しかし、より大きなモデルにスケールアップする際には、依然としてリソース消費の課題に直面している。
論文 参考訳(メタデータ) (2024-02-12T15:34:56Z) - Run LoRA Run: Faster and Lighter LoRA Implementations [50.347242693025336]
LoRAは、線形層に低ランクアダプタを導入することにより、ニューラルネットワーク内のトレーニング可能なパラメータの数を減らすテクニックである。
本稿では,LoRAの効率的な実装のためのRunLoRAフレームワークを提案する。
実験は、言語モデリングネットワーク上で最大28%のスピードアップを示す。
論文 参考訳(メタデータ) (2023-12-06T10:54:34Z) - Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。
提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。
実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
論文 参考訳(メタデータ) (2023-11-20T11:56:25Z) - Exploring the impact of low-rank adaptation on the performance,
efficiency, and regularization of RLHF [47.960563851948514]
低ランク適応(LoRA)を用いたRLHFの効率的な実装について検討する。
本実装は,フルモデル微調整によるAlpacaFarmチェックポイントよりも優れた性能を実現する。
我々は、より効率的なRLHFの研究を促進するために、コードと事前訓練されたチェックポイントをリリースする。
論文 参考訳(メタデータ) (2023-09-16T17:31:36Z) - Benchmarking Safe Deep Reinforcement Learning in Aquatic Navigation [78.17108227614928]
本研究では,水文ナビゲーションに着目した安全強化学習のためのベンチマーク環境を提案する。
価値に基づく政策段階の深層強化学習(DRL)について考察する。
また,学習したモデルの振る舞いを所望の特性の集合上で検証する検証戦略を提案する。
論文 参考訳(メタデータ) (2021-12-16T16:53:56Z) - Lidar Light Scattering Augmentation (LISA): Physics-based Simulation of
Adverse Weather Conditions for 3D Object Detection [60.89616629421904]
ライダーベースの物体検出器は、自動運転車のような自律ナビゲーションシステムにおいて、3D知覚パイプラインの重要な部分である。
降雨、雪、霧などの悪天候に敏感で、信号-雑音比(SNR)と信号-背景比(SBR)が低下している。
論文 参考訳(メタデータ) (2021-07-14T21:10:47Z) - Assessing out-of-domain generalization for robust building damage
detection [78.6363825307044]
建築損傷検出は、衛星画像にコンピュータビジョン技術を適用することで自動化することができる。
モデルは、トレーニングで利用可能な災害画像と、新しいイベントの画像の間の分散の変化に対して堅牢でなければならない。
今後はOOD体制に重点を置くべきだと我々は主張する。
論文 参考訳(メタデータ) (2020-11-20T10:30:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。