論文の概要: MEOX: Compact Multimodal Mixture-of-Experts for Earth Observation
- arxiv url: http://arxiv.org/abs/2609.05351v1
- Date: Fri, 04 Sep 2026 16:59:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-07 18:15:24.133766
- Title: MEOX: Compact Multimodal Mixture-of-Experts for Earth Observation
- Title（参考訳）: MEOX:地球観測用小型マルチモーダル混合機
- Abstract要約: 我々は,2.939万のパラメータエンコーダと3.115万のパラメータを持つマルチモーダルマスク付きオートエンコーダMEOXを提案する。
センサ固有のアダプタ、明示的な妥当性信号、共有スパース・エキスパートブロックは、モダリティに依存した処理を保存する。
このモデルは64.42%に達し、カシューセグメンテーションでは64ピクセル、ユーロサットでは90.56%の精度で224ピクセルで交差する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in Earth Observation representation learning accommodate heterogeneous sensors and missing observations, often through larger architectures. We present MEOX (Multimodal Earth Observation with eXperts), a multimodal masked autoencoder with a 2.939 million-parameter encoder and 3.115 million parameters in total. Sensor-specific adapters, explicit validity signals, and a shared sparse-expert block preserve modality-dependent processing before a learned patch-wise fusion. Four metadata tokens then accompany a single spatial sequence through fourteen further encoder blocks. Shared expert projections with private low-rank residuals constrain parameter growth, while rotary attention supports downstream spatial grids different from pretraining. The model is pretrained on 1.228 million MMEarth64 samples using modality-balanced masked reconstruction and structured sensor dropout. Frozen transfer is evaluated on six GEO-Bench tasks at both 64 and 224 pixels. The model reaches 64.42% mean intersection-over-union on cashew segmentation at 64 pixels and 90.56% average accuracy on EuroSAT at 224 pixels, exceeding the corresponding reported CSMoE results. BigEarthNet finetuning reaches 72.95% micro-average precision. Routing diagnostics distinguish expert participation, spatial dependence, modality association, and functional contribution. A held-out WorldCover probe measures a 0.64-percentage-point benefit from metadata, while retrieval separates same-sensor semantics from cross-sensor alignment. These results demonstrate sensor-flexible representation learning and strong task transfer using a compact parameter budget.
- Abstract（参考訳）: 地球観測表現学習の最近の進歩は、しばしばより大きなアーキテクチャを通して、異質なセンサーや観測の欠如に対応している。
我々は,2.939万パラメトリックエンコーダと3.115万パラメータのマルチモーダルマスク付きオートエンコーダであるMEOX(Multimodal Earth Observation with eXperts)を提示する。
センサ固有のアダプタ、明示的な妥当性信号、共有スパース専門家ブロックは、学習されたパッチワイド融合の前にモダリティに依存した処理を保存する。
4つのメタデータトークンは、さらに14個のエンコーダブロックを通して単一の空間シーケンスに付随する。
プライベートな低ランク残差を持つ共有専門家予測はパラメータ成長を制限し、ロータリーアテンションは事前訓練とは異なる下流空間グリッドをサポートする。
このモデルは、モダリティバランスのマスクと構造的なセンサーのドロップアウトを用いて、1.228万MMEarth64サンプルに事前訓練されている。
6つのGEO-Benchタスクを64ピクセルと224ピクセルで凍結移動評価する。
このモデルは64.42%に達し、カシューセグメンテーションでは64ピクセル、ユーロサットでは90.56%の精度で224ピクセルとなり、CSMoEの報告結果を上回った。
BigEarthNetの微調整は平均72.95%の精度に達する。
ルーティング診断は専門家の参加、空間依存、モダリティ・アソシエーション、機能的貢献を区別する。
保持されたWorldCoverプローブはメタデータから0.64パーセントのポイント利益を計測し、検索はクロスセンサーアライメントから同じセンサーセマンティクスを分離する。
これらの結果は、コンパクトなパラメータ予算を用いたセンサフレキシブルな表現学習と強いタスク伝達を示す。
関連論文リスト
- Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
PointArena 2026は77.2%の精度でベンチマークで2位である。
ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。
次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
論文 参考訳（メタデータ） (2026-06-29T06:39:03Z) - OctoSense: Self-Supervised Learning for Multimodal Robot Perception [50.20346079739425]
ステレオカメラとイベントカメラ、LiDAR、サーマルカメラ、慣性測定ユニット、プロプリセプション(車からのCANバスデータ、四足歩行ロボットの関節角度)を備えたオープンソースのセンサプラットフォームであるOctoSenseについて述べる。
匿名のOctoSenseデータセットには、59時間の時間同期駆動データが含まれている。
このような実世界のデータを用いて,センサの表現,周波数,レイテンシ,ノイズの異なるマルチモーダル自己教師型学習を実演する。
論文 参考訳（メタデータ） (2026-06-25T17:30:49Z) - Earth-OneVision: Extending Remote Sensing Multimodal Large Language Models to More Sensor Modalities and Tasks [20.969678030412407]
Earth-OneVisionは、9つのタスクカテゴリにまたがる6つのセンサーモードとクロスセンサー融合を統合する2B RS-MLLMである。
2Bパラメータだけで、Earth-OneVisionは広範なベンチマークで競合または最先端の結果を達成する。
論文 参考訳（メタデータ） (2026-06-09T13:01:51Z) - Towards UAV Detection in the Real World: A New Multispectral Dataset UAVNet-MS and a New Method [80.50361258830928]
UAVNet-MSは、微小UAV検出のための最初のマルチスペクトルデータセットである。
本稿では、アレイ誘起パララックスと空間-スペクトル融合に対処するデュアルストリームベースラインであるMFDNetを提案する。
この研究は、基礎的なデータセット、強力なベースライン、マルチスペクトルUAV監視研究のためのベンチマークを提供する。
論文 参考訳（メタデータ） (2026-05-20T09:49:04Z) - SenseExpo: Efficient Autonomous Exploration with Prediction Information from Lightweight Neural Networks [3.6404856388891793]
SenseExpoは、軽量な予測ネットワークに基づく効率的な自律探査フレームワークである。
我々の最小モデルでは、U-netやLaMaよりもKTHデータセットの性能が向上している。
論文 参考訳（メタデータ） (2025-03-20T10:07:51Z) - CNN Autoencoders for Hierarchical Feature Extraction and Fusion in Multi-sensor Human Activity Recognition [0.0]
我々は、IMUセンサデータから特徴を抽出し、融合するように設計された階層的教師なし核融合モデルを導入する。
調整されたモデルは、UCI-HAR、DaLiAc、パーキンソン病歩行ダタセットに適用される。
論文 参考訳（メタデータ） (2025-02-06T20:36:41Z) - CROMA: Remote Sensing Representations with Contrastive Radar-Optical
Masked Autoencoders [2.7624021966289605]
リモートセンシングは、広範にラベル付き、空間的に整列したマルチモーダルデータを提供する。
コントラストと再構成を組み合わせたフレームワークであるCROMAを,リッチな一様・多様表現の学習のために提案する。
論文 参考訳（メタデータ） (2023-11-01T15:07:27Z) - Shared Manifold Learning Using a Triplet Network for Multiple Sensor
Translation and Fusion with Missing Data [2.452410403088629]
コントラスト学習に基づくマルチモーダルアライメントネットワーク(CoMMANet)を提案する。
提案アーキテクチャでは,マルチモーダルな三重項オートエンコーダを用いて,各不均一なモジュラリティの同一クラスのサンプルが互いに近接してマッピングされるように潜在空間をクラスタリングする。
論文 参考訳（メタデータ） (2022-10-25T20:22:09Z) - Global Context Vision Transformers [78.5346173956383]
我々は,コンピュータビジョンのパラメータと計算利用を向上する新しいアーキテクチャであるGC ViT(Global context vision transformer)を提案する。
本稿では,ViTにおける帰納バイアスの欠如に対処し,アーキテクチャにおける可溶性逆残差ブロックを改良して活用することを提案する。
提案したGC ViTは,画像分類,オブジェクト検出,セマンティックセマンティックセグメンテーションタスクにまたがる最先端の処理結果を実現する。
論文 参考訳（メタデータ） (2022-06-20T18:42:44Z) - DaViT: Dual Attention Vision Transformers [94.62855697081079]
デュアルアテンションビジョン変換器(DaViT)について紹介する。
DaViTは、計算効率を維持しながらグローバルなコンテキストをキャプチャできるビジョントランスフォーマーアーキテクチャである。
我々は,DaViTが4つのタスクにおける最先端の性能を効率よく計算できることを示す。
論文 参考訳（メタデータ） (2022-04-07T17:59:32Z) - Deep Soft Procrustes for Markerless Volumetric Sensor Alignment [81.13055566952221]
本研究では、より堅牢なマルチセンサ空間アライメントを実現するために、マーカーレスデータ駆動対応推定を改善する。
我々は、幾何学的制約を終末的に典型的なセグメンテーションベースモデルに組み込み、対象のポーズ推定タスクと中間密な分類タスクをブリッジする。
実験により,マーカーベースの手法で同様の結果が得られ,マーカーレス手法よりも優れ,またキャリブレーション構造のポーズ変動にも頑健であることがわかった。
論文 参考訳（メタデータ） (2020-03-23T10:51:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。