論文の概要: Reuse, Don't Retrain: Efficient, Modality-Versatile Geospatial Foundation Models through Feature Distillation

• arxiv url: http://arxiv.org/abs/2610.32566v1
• Date: Fri, 23 Oct 2026 12:48:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.516818
• Title: Reuse, Don't Retrain: Efficient, Modality-Versatile Geospatial Foundation Models through Feature Distillation
• Title（参考訳）: Reuse, Don't Retrain:Efficient, Modality-Versatile Geospatial Foundation Models through Feature Distillation
• Abstract要約: 凍結したCROMAとTerraMindの教師をパッチレベルの特徴マッチングによりより小さなビジョン変換器に蒸留する。 TerraMind Tiny、Small、Baseは、それぞれ2.76、3.02、および1.87のスケールマッチしたリリースでIoUポイントを上回っている。 TEDIは、マルチスペクトル画像にTerraMind、高解像度RGBにDINOv3を組み合わせた未ペアマルチエキスパート手法である。
• 参考スコア（独自算出の注目度）: 5.5438676149999075
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Geospatial foundation models (GeoFMs) are costly to pretrain, yet model families often repeat this process across backbone scales and sensing modalities. We investigate feature distillation as a more efficient way to reuse existing representations. First, we distill frozen CROMA and TerraMind teachers into smaller Vision Transformers through patch-level feature matching. Across nine PANGAEA tasks, distilled TerraMind Tiny, Small, and Base outperform their scale-matched released counterparts by 2.76, 3.02, and 1.87 mean IoU points, respectively; each also matches or exceeds the next-larger released model. Distilled CROMA-Base gains 2.05 points. TerraMind-Base required only 43 A6000 GPU-hours, approximately 0.5\% of the reported cost of independent pretraining. Second, we introduce TEDI, an unpaired multi-expert approach combining TerraMind for multispectral imagery and DINOv3 for high-resolution RGB. Separate patch embeddings route unpaired inputs into a shared Transformer trunk, removing the need for co-registered data. TEDI-Large achieves the highest single-model mean in our PANGAEA-9 comparison (62.51 mIoU), outperforming both teachers overall while retaining their modality-specific strengths. TEDI-Base reaches 61.75 mIoU with 72\% fewer parameters. These results show that distillation improves the GeoFM accuracy-compute frontier while consolidating complementary experts into a single versatile backbone.
• Abstract（参考訳）: Geospatial foundation model (GeoFMs) は事前訓練に費用がかかるが、モデルファミリはしばしば背骨のスケールをまたいでこのプロセスを繰り返す。 既存の表現をより効率的に再利用する方法として特徴蒸留について検討する。 まず,凍結したCROMAとTerraMindの教師をパッチレベルの特徴マッチングによりより小さなビジョン変換器に蒸留する。 9つのPANGAEAタスク、蒸留されたTerraMind Tiny、Small、Baseは、それぞれ2.76、3.02、および1.87の平均IoUポイントを上回り、それぞれが次のより大きなリリースモデルに適合または超えている。 蒸留されたCROMA-Baseは2.05ポイント獲得。 TerraMind-Baseは43A6000のGPU時間しか必要としなかった。 第2に,マルチスペクトル画像にTerraMind,高分解能RGBにDINOv3を組み合わせた未ペアマルチエキスパート手法TEDIを紹介する。 分離されたパッチ埋め込みは、未ペアの入力を共有トランスフォーマートランクにルートする。 TEDI-Large は PANGAEA-9 比較 (62.51 mIoU) において最も高い単モデル平均を達成した。 TEDI-Baseは72%のパラメータで61.75 mIoUに達する。 これらの結果から, 蒸留によりGeoFM精度の高いフロンティアが向上し, 相補的専門家を1つの汎用的なバックボーンに統合することがわかった。

関連論文リスト

• GroundAnything: Reconciling Parallel Decoding with Precise Visual Grounding at Flash Speed [71.05944634852158]
  GroundAnythingはブロックワイズによる正確なローカライゼーションで高速並列デコーディングを再構成する。 30のグラウンドベンチマークで、私たちの自己回帰型であるGroundAnything-VLMは、この技術の新たな全体的な状態を確立します。 エントロピー誘導復号法により、GroundAnythingは、この規模の芸術の先行状態を超越している。
  論文  参考訳（メタデータ） (2026-09-30T12:20:51Z)
• Riemannian--Lorentz Fusion of Vision Transformers and State-Space Models [3.183924309596046]
  ディープラーニングのスケールアップは、データの枯渇、指数的トレーニングコスト、リソース集中といった、重大なボトルネックに直面します。 モデルマージは、降下勾配のない事前訓練されたチェックポイントを組み合わせることで、マグニチュード・オブ・マグニチュードの削減と再トレーニングを提供する。 既存の重み空間マージ法では整列整合型チェックポイントが仮定されるのに対し、ViT(Vision Transformer)とSSM(State-space Model)は異なる演算子とトークンミキシングを実装している。 パラメータ群をセマンティックな役割で整列させながら両方のアーキテクチャを維持できるハイブリッドな不均一なマージ設定について検討する。
  論文  参考訳（メタデータ） (2026-09-16T20:05:11Z)
• Cross-Architecture Knowledge Distillation from a Vision Foundation Model to a Lightweight Visual State Space Model for Tea Leaf Disease Classification [10.122947222129108]
  DINOv2のような自己監督型ビジョンファウンデーションモデルは強力な機能を提供するが、フィールド展開には大きすぎる。 微調整DINOv2教師からコンパクトな双方向視覚空間モデルへのクロスアーキテクチャ知識の蒸留について検討した。 我々は,SSM学生が限られたデータで学習することを防ぐ2つのトレーニング安定問題を同定し,修正する。
  論文  参考訳（メタデータ） (2026-08-27T08:02:05Z)
• Rethinking Multi-Branch and Cross-Backbone Fusion for Vehicle Re-Identification in the Foundation-Model Era [22.36803510099264]
  マルチブランチアーキテクチャとCNNトランスフォーマー融合は、車種再識別(Re-ID)を改善する効果的な方法として長年検討されてきた。 調整されたレシピで訓練された単一のDINOv3-pretrained ConvNeXtは、VeRi-Wild Smallで88.19 mAP、VeRi-Wild Largeで77.47 mAPを達成する。 さらに、非対称凍結アンカー戦略を用いて、ConvNeXtとVision Transformer表現を組み合わせたクロスバックボーン融合について検討する。
  論文  参考訳（メタデータ） (2026-07-24T08:10:53Z)
• Paired-CSLiDAR: Height-Stratified Registration for Cross-Source Aerial-Ground LiDAR Pose Refinement [46.13526676100776]
  Paired-CSLiDAR(英語版)は、シングルスキャンポーズリファインメントのためのクロスソース空地LiDARベンチマークである。 このベンチマークには6つの評価サイトで12,683組の地上空対が含まれている。 本稿では,RGSR(Residual-Guided Stratified Registration)を提案する。
  論文  参考訳（メタデータ） (2026-05-01T13:14:20Z)
• MinerU2.5-Pro: Pushing the Limits of Data-Centric Document Parsing at Scale [92.09717763663873]
  我々は、データエンジニアリングとトレーニング戦略設計を通じて、純粋に最先端の技術を進化させるMinerU2.5-Proを提案する。 コアとなるのは、カバレッジ、情報性、アノテーションの正確性を中心に設計されたData Engineだ。 我々は,MinerU2.5-Pro が OmniDocBench v1.6 上で 95.69 を達成することを示す。
  論文  参考訳（メタデータ） (2026-04-06T15:44:18Z)
• One Model for All: Universal Pre-training for EEG based Emotion Recognition across Heterogeneous Datasets and Paradigms [9.873322204941394]
  One Model for All"は、異なるデータセット間でのEEG分析のための普遍的な事前トレーニングフレームワークである。 我々のフレームワークは、SEED (99.27%)、DEAP (93.69%)、DREAMER (93.93%)という、全てのオブジェクト内ベンチマークで新しいSOTA性能を実現する。 この研究は、多種多様な脳波分析タスクのための、より普遍的でスケーラブルで効果的な事前学習モデルの道を開いた。
  論文  参考訳（メタデータ） (2025-11-11T16:46:45Z)
• Diversity-Guided MLP Reduction for Efficient Large Vision Transformers [62.33249256133204]
  トランスフォーマーモデルは優れたスケーリング特性を実現し、モデルキャパシティの増大により性能が向上する。 大規模モデルパラメータは、計算とメモリの大幅なコストにつながる。 そこで本稿では,大規模な視覚変換器のパラメータを著しく削減するDGMR法を提案する。
  論文  参考訳（メタデータ） (2025-06-10T08:59:27Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• SDPose: Tokenized Pose Estimation via Circulation-Guide Self-Distillation [53.675725490807615]
  SDPoseは小型変圧器モデルの性能向上のための新しい自己蒸留法である。 SDPose-Tは4.4Mパラメータと1.8 GFLOPを持つ69.7%のmAPを取得し、SDPose-S-V2はMSCOCO検証データセット上で73.5%のmAPを取得する。
  論文  参考訳（メタデータ） (2024-04-04T15:23:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。