論文の概要: Lightweight Metadata-Aware Mixture-of-Experts Masked Autoencoder for Earth Observation
- arxiv url: http://arxiv.org/abs/2509.10919v1
- Date: Sat, 13 Sep 2025 17:35:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-16 17:26:22.840332
- Title: Lightweight Metadata-Aware Mixture-of-Experts Masked Autoencoder for Earth Observation
- Title（参考訳）: 地球観測のための軽量メタデータ-知識混合型マスケードオートエンコーダ
- Authors: Mohanad Albughdadi,
- Abstract要約: 2.5Mパラメータしか持たないMetadata-Aware Mixture-of-Experts Masked Autoencoder (MoE-MAE)を提案する。
このモデルはスパース・エキスパート・ルーティングと時空条件付けを組み合わせることで、緯度/経度と季節/日周期の符号化を併用する。
サイズが小さいにもかかわらず、このモデルははるかに大きなアーキテクチャと競合し、メタデータを意識した事前トレーニングによって転送とラベルの効率が向上することを示した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advances in Earth Observation have focused on large-scale foundation models. However, these models are computationally expensive, limiting their accessibility and reuse for downstream tasks. In this work, we investigate compact architectures as a practical pathway toward smaller general-purpose EO models. We propose a Metadata-aware Mixture-of-Experts Masked Autoencoder (MoE-MAE) with only 2.5M parameters. The model combines sparse expert routing with geo-temporal conditioning, incorporating imagery alongside latitude/longitude and seasonal/daily cyclic encodings. We pretrain the MoE-MAE on the BigEarthNet-Landsat dataset and evaluate embeddings from its frozen encoder using linear probes. Despite its small size, the model competes with much larger architectures, demonstrating that metadata-aware pretraining improves transfer and label efficiency. To further assess generalization, we evaluate on the EuroSAT-Landsat dataset, which lacks explicit metadata, and still observe competitive performance compared to models with hundreds of millions of parameters. These results suggest that compact, metadata-aware MoE-MAEs are an efficient and scalable step toward future EO foundation models.
- Abstract（参考訳）: 地球観測の最近の進歩は、大規模な基礎モデルに焦点を当てている。
しかし、これらのモデルは計算コストが高く、下流タスクのアクセシビリティと再利用を制限している。
本研究では,より小型の汎用EOモデルへの実用的な経路として,コンパクトアーキテクチャについて検討する。
2.5Mパラメータしか持たないMetadata-Aware Mixture-of-Experts Masked Autoencoder (MoE-MAE)を提案する。
このモデルはスパース・エキスパート・ルーティングと時空条件付けを組み合わせることで、緯度/経度と季節/日周期の符号化を併用する。
我々は、BigEarthNet-Landsatデータセット上でMoE-MAEを事前訓練し、線形プローブを用いて凍結エンコーダからの埋め込みを評価する。
サイズが小さいにもかかわらず、このモデルははるかに大きなアーキテクチャと競合し、メタデータを意識した事前トレーニングによって転送とラベルの効率が向上することを示した。
一般化をさらに推し進めるため,明示的なメタデータを欠いたEuroSAT-Landsatデータセットを用いて,数億のパラメータを持つモデルと比較し,競争性能を検証した。
これらの結果は、メタデータを意識したMOE-MAEが、将来のEO基盤モデルに向けた効率的かつスケーラブルなステップであることを示唆している。
関連論文リスト
- Earth Observation Foundation Model PhilEO: Pretraining on the MajorTOM and FastTOM Datasets [22.527733721726587]
最近提案したEOファンデーションモデルであるPhilEO Geo-Aware U-Netのスケールアップについて,ラベルなし23TBデータセットMajorTOMで紹介する。
道路密度推定, 画素単位の回帰, 土地被覆セマンティックセマンティックセグメンテーションのためのPhilEO Benchのモデルを微調整する。
論文 参考訳（メタデータ） (2025-06-17T17:58:08Z) - RemoteSAM: Towards Segment Anything for Earth Observation [29.707796048411705]
我々は、地球観測のための頑健でフレキシブルな視覚基盤モデルを開発することを目指している。
多様な視覚的目標を認識し、位置を特定する能力を持つべきである。
いくつかの地球観測知覚ベンチマークで新しいSoTAを確立する基盤モデルであるRemoteSAMを提案する。
論文 参考訳（メタデータ） (2025-05-23T15:27:57Z) - DreamMask: Boosting Open-vocabulary Panoptic Segmentation with Synthetic Data [61.62554324594797]
オープンな語彙設定でトレーニングデータを生成する方法と、実データと合成データの両方でモデルをトレーニングする方法を探索するDreamMaskを提案する。
一般的に、DreamMaskは大規模なトレーニングデータの収集を著しく単純化し、既存のメソッドのプラグイン・アンド・プレイ・エンハンスメントとして機能する。
例えば、COCOで訓練しADE20Kで試験すると、ドリームマスクを装備したモデルは以前の最先端の2.1% mIoUよりも優れていた。
論文 参考訳（メタデータ） (2025-01-03T19:00:00Z) - Depth Anything: Unleashing the Power of Large-Scale Unlabeled Data [87.61900472933523]
この研究は、ロバストな単分子深度推定のための非常に実用的な解であるDepth Anythingを提示する。
データエンジンを設計し、大規模な未ラベルデータの収集と注釈付けを自動的に行うことにより、データセットをスケールアップします。
6つのパブリックデータセットとランダムにキャプチャされた写真を含む、ゼロショットの機能を広範囲に評価する。
論文 参考訳（メタデータ） (2024-01-19T18:59:52Z) - ARFA: An Asymmetric Receptive Field Autoencoder Model for Spatiotemporal
Prediction [55.30913411696375]
本稿では,非対称な受容場オートエンコーダ (ARFA) モデルを提案する。
エンコーダでは,大域的時間的特徴抽出のための大規模なカーネルモジュールを提案し,デコーダでは局所的時間的再構成のための小さなカーネルモジュールを開発する。
降水予測のための大規模レーダエコーデータセットであるRainBenchを構築し,その領域における気象データの不足に対処する。
論文 参考訳（メタデータ） (2023-09-01T07:55:53Z) - Domain Adaptation via Minimax Entropy for Real/Bogus Classification of
Astronomical Alerts [39.58317527488534]
我々は、HiTS、DES、ATLAS、ZTFの4つの異なるデータセットを用いて、実際の天体警報の分類のためのドメイン適応(DA)を研究する。
我々はこれらのデータセット間のドメインシフトを調査し、ミニマックスエントロピー(MME)を用いた微調整手法と半教師付き深度DAを用いて、素直な深度学習分類モデルを改善する。
微調整モデルとMMEモデルの両方が、ターゲットデータセットから来るクラス毎のラベル付き項目が1つも少なく、ベースモデルを大幅に改善していることがわかったが、MMEはソースデータセットのパフォーマンスを損なわない。
論文 参考訳（メタデータ） (2023-08-15T02:40:32Z) - DecAug: Augmenting HOI Detection via Decomposition [54.65572599920679]
現在のアルゴリズムでは、データセット内のトレーニングサンプルやカテゴリの不均衡が不足している。
本稿では,HOI検出のためのDECAugと呼ばれる効率的かつ効率的なデータ拡張手法を提案する。
実験の結果,V-COCOおよびHICODETデータセットの3.3mAPと1.6mAPの改善が得られた。
論文 参考訳（メタデータ） (2020-10-02T13:59:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。