論文の概要: Reuse or Relearn? A Spectral View of Earth Observation Foundation Models

• arxiv url: http://arxiv.org/abs/2609.32756v1
• Date: Sat, 26 Sep 2026 16:21:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 20:42:03.089344
• Title: Reuse or Relearn? A Spectral View of Earth Observation Foundation Models
• Title（参考訳）: 再利用・再学習 : 地球観測基礎モデルのスペクトルビュー
• Abstract要約: ファンデーションモデルは一般的で凍結された特徴抽出器として滅多に使われない。 代わりに、ターゲットの下流アプリケーションのために微調整される。 適応前後のモデルを比較し、その支配的な特異部分空間がどれだけよく保存されているかを定量化する。
• 参考スコア（独自算出の注目度）: 20.104884527916028
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Foundation models are rarely used as generic, frozen feature extractors; instead, they are fine-tuned for the target downstream application. This practice is particularly prevalent in Earth observation (EO), and it raises a question that downstream accuracy alone cannot answer: does fine-tuning reuse the pretrained representation, or does it relearn a new one? We study this with spectral diagnostics that compare a model before and after adaptation, quantifying how well its dominant singular subspaces are preserved, how broadly the weight update is distributed, and how large it is. Using natural image models such as CLIP and DINO as a reference, we find that, under the evaluated fine-tuning settings, EO models undergo far larger, higher-rank updates and retain much less of their pretrained structure, so their downstream performance is often obtained with substantial changes to the pretrained weight structure. The diagnostics further provide insight into how cheaply a model can be adapted: where the pretrained subspaces are preserved, adapting a small fraction of the parameters can match full fine-tuning, and where they are not, it can fall behind. More broadly, foundation models, and EO foundation models in particular, should be assessed not only by benchmark accuracy, but also by how reusable their pretrained representation is.
• Abstract（参考訳）: ファンデーションモデルは、汎用的で凍結された特徴抽出器として使われることは滅多にない。 このプラクティスは地球観測(EO)において特に一般的であり、下流の精度だけでは答えられないという疑問を提起している。 適応前後のモデルを比較検討し、その支配的な特異部分空間の保存速度、重み更新の分布の幅、大きさを定量化する。 CLIPやDINOなどの自然画像モデルを基準として、評価された微調整設定の下では、EOモデルははるかに大きく、高いランクの更新を行い、事前訓練された構造をはるかに少なく維持しているため、事前訓練された重み構造にかなりの変更を加えて、その下流性能を得ることが多い。 事前訓練されたサブスペースが保存される場所、パラメータのごく一部が完全な微調整に適合し得ること、そしてそれらが存在しない場所が遅れる可能性があること、などである。 より広範に、特に基礎モデルとEO基礎モデルは、ベンチマークの精度だけでなく、事前訓練された表現がいかに再利用されているかによって評価されるべきである。

関連論文リスト

• Universality in Transfer Learning for Linear Models [18.427215139020625]
  本稿では,回帰モデルと二分分類モデルの両方において,伝達学習と微調整の問題について検討する。 特に,事前訓練した重み付き線形モデル上での勾配降下(SGD)の利用と,目標分布から設定した小さなトレーニングデータセットについて検討する。
  論文  参考訳（メタデータ） (2024-10-03T03:09:09Z)
• Fine-Tuning is Fine, if Calibrated [33.42198023647517]
  事前訓練されたモデルの微調整は、以前に学習した他のクラスにおいて、モデルの精度を劇的に低下させることが示されている。 本論文は,「微調整モデルで損傷を受けたものは何か?」という根本的な疑問に答えることを目的として,この問題を体系的に識別する。 微調整されたモデルは、他のクラス間の関係を忘れたり、これらのクラスを認識するために機能を劣化させたりしない。
  論文  参考訳（メタデータ） (2024-09-24T16:35:16Z)
• LARA: A Light and Anti-overfitting Retraining Approach for Unsupervised Time Series Anomaly Detection [49.52429991848581]
  深部変分自動エンコーダに基づく時系列異常検出手法(VAE)のための光・反オーバーフィット学習手法(LARA)を提案する。 本研究の目的は,1) 再学習過程を凸問題として定式化し, 過度に収束できること,2) 履歴データを保存せずに活用するルミネートブロックを設計すること,3) 潜在ベクトルと再構成データの微調整を行うと, 線形形成が基底真実と微調整されたブロックとの誤りを最小に調整できることを数学的に証明することである。
  論文  参考訳（メタデータ） (2023-10-09T12:36:16Z)
• DR-Tune: Improving Fine-tuning of Pretrained Visual Models by Distribution Regularization with Semantic Calibration [38.4461170690033]
  セマンティックキャリブレーションを用いた分布正規化(DR-Tune)という,新しい微調整フレームワークを提案する。 DR-Tuneは、下流タスクヘッドを強制して、事前訓練された特徴分布の分類誤差を低減することで、分散正則化を採用する。 セマンティックドリフトによる干渉を軽減するため,セマンティックキャリブレーション(SC)モジュールを開発した。
  論文  参考訳（メタデータ） (2023-08-23T10:59:20Z)
• Debiased Fine-Tuning for Vision-language Models by Prompt Regularization [56.48290708901531]
  本稿では,Prompt Regularization(ProReg)と呼ばれる下流タスクにおける大規模視覚事前訓練モデルの微調整のための新しいパラダイムを提案する。 ProRegは、事前訓練されたモデルに微調整を正規化するよう促すことで予測を使用する。 本稿では,従来の微調整,ゼロショットプロンプト,プロンプトチューニング,その他の最先端手法と比較して,ProRegの性能が一貫して高いことを示す。
  論文  参考訳（メタデータ） (2023-01-29T11:53:55Z)
• Churn Reduction via Distillation [54.5952282395487]
  本研究は, 基礎モデルを教師として用いた蒸留によるトレーニングと, 予測的チャーンに対する明示的な制約によるトレーニングとの等価性を示す。 次に, 蒸留が近年の多くのベースラインに対する低チャーン訓練に有効であることを示す。
  論文  参考訳（メタデータ） (2021-06-04T18:03:31Z)
• Provable Benefits of Overparameterization in Model Compression: From Double Descent to Pruning Neural Networks [38.153825455980645]
  最近の実証的な証拠は、オーバライゼーションの実践が大きなモデルのトレーニングに利益をもたらすだけでなく、軽量モデルの構築を支援することも示している。 本稿では,モデル刈り込みの高次元ツールセットを理論的に特徴付けることにより,これらの経験的発見に光を当てる。 もっとも情報に富む特徴の位置が分かっていても、我々は大きなモデルに適合し、刈り取るのがよい体制を解析的に特定する。
  論文  参考訳（メタデータ） (2020-12-16T05:13:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。