論文の概要: CSMoE: An Efficient Remote Sensing Foundation Model with Soft Mixture-of-Experts

• arxiv url: http://arxiv.org/abs/2509.14104v1
• Date: Wed, 17 Sep 2025 15:47:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-18 18:41:50.908881
• Title: CSMoE: An Efficient Remote Sensing Foundation Model with Soft Mixture-of-Experts
• Title（参考訳）: CSMoE:ソフトミキサーを用いた効率的なリモートセンシング基礎モデル
• Authors: Leonard Hackel, Tom Burgert, Begüm Demir,
• Abstract要約: マスク付きオートエンコーダによる自己教師型学習は、リモートセンシング(RS)基礎モデル(FM)開発において大きな注目を集めている。 既存のRS FMは、トレーニングと推論の両方でかなりの計算複雑性に悩まされることが多い。 本稿では,ソフト・ミックス・オブ・エキスパート・メカニズムをFMに組み込むことにより,RS FMの効率を向上させるための適応法を提案する。
• 参考スコア（独自算出の注目度）: 5.429166905724048
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised learning through masked autoencoders has attracted great attention for remote sensing (RS) foundation model (FM) development, enabling improved representation learning across diverse sensors and downstream tasks. However, existing RS FMs often either suffer from substantial computational complexity during both training and inference or exhibit limited representational capacity. These issues restrict their practical applicability in RS. To address this limitation, we propose an adaptation for enhancing the efficiency of RS FMs by integrating the Soft mixture-of-experts (MoE) mechanism into the FM. The integration of Soft MoEs into the FM allows modality-specific expert specialization alongside shared cross-sensor representation learning. To demonstrate the effectiveness of our adaptation, we apply it on the Cross-Sensor Masked Autoencoder (CSMAE) model, resulting in the Cross-Sensor Mixture-of-Experts (CSMoE) model. In addition, we introduce a thematic-climatic descriptor-driven sampling strategy for the construction of a representative and diverse training set to train our CSMoE model. Extensive experiments on scene classification, semantic segmentation, and content-based image retrieval demonstrate that our adaptation yields a reduction in computational requirements while maintaining or improving representational performance. Compared to state-of-the-art RS FMs, CSMoE achieves a superior trade-off between representational capacity, accuracy, and computational efficiency. On average, CSMoE achieves more than twice the computational efficiency of existing RS FMs, while maintaining competitive performance across all experiments. These results show the effectiveness of the proposed adaptation for creating computationally efficient RS FMs. The code for the model, the training set creation, and the model weights will be available at https://git.tu-berlin.de/rsim/csmoe.
• Abstract（参考訳）: マスク付きオートエンコーダによる自己教師型学習は、リモートセンシング(RS)基礎モデル(FM)開発において大きな注目を集めており、多様なセンサや下流タスクにおける表現学習の改善を可能にしている。 しかし、既存のRS FMは、トレーニングと推論の両方で相当な計算複雑性に悩まされるか、限られた表現能力を示すかのいずれかである。 これらの問題により、RSの実用性は制限される。 この制限に対処するために,ソフト・ミックス・オブ・エキスパート(MoE)機構をFMに組み込むことにより,RS FMの効率を向上させるための適応法を提案する。 FMへのソフトなMoEの統合により、共有されたクロスセンサー表現学習とともに、モダリティ固有の専門家の専門化が可能になる。 適応の有効性を示すため,CSMAEモデルに適用し,CSMoEモデルを用いた。 さらに、CSMoEモデルをトレーニングするための代表的かつ多様なトレーニングセットを構築するためのテーマ気候記述子駆動サンプリング戦略を導入する。 シーン分類、セマンティックセグメンテーション、コンテンツに基づく画像検索に関する大規模な実験により、我々の適応は、表現性能を維持したり改善したりしながら、計算要求の削減をもたらすことを示した。 最先端のRS FMと比較すると、CSMoEは表現能力、精度、計算効率のトレードオフが優れている。 CSMoE は、既存の RS FM の2倍以上の計算効率を達成し、全ての実験で競合性能を維持している。 これらの結果から,提案手法の有効性が示唆された。 モデルのコード、トレーニングセットの作成、モデルの重み付けはhttps://git.tu-berlin.de/rsim/csmoe.com/csmoeで確認できる。

関連論文リスト

• DSMoE: Matrix-Partitioned Experts with Dynamic Routing for Computation-Efficient Dense LLMs [86.76714527437383]
  本稿では,事前学習したFFN層を計算ブロックに分割することで,分散化を実現するDSMoEを提案する。 我々は,Sigmoid アクティベーションとストレートスルー推定器を用いた適応型エキスパートルーティングを実装し,トークンがモデル知識の様々な側面に柔軟にアクセスできるようにする。 LLaMAモデルを用いた実験により、DSMoEは既存のプルーニング法やMoE法に比べて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-02-18T02:37:26Z)
• RS-MoE: A Vision-Language Model with Mixture of Experts for Remote Sensing Image Captioning and Visual Question Answering [23.699493284403967]
  本稿では,リモートセンシングに特化してカスタマイズされた,最初のMixture of ExpertベースのVLMであるRS-MoEを提案する。 従来のMoEモデルとは異なり、RS-MoEのコアとなるMoEブロックは、新しいインストラクションルータと複数の軽量言語モデル(LLM)をエキスパートモデルとして組み込んだものである。 本モデルでは, 精度, 文脈に関連のあるキャプションを生成する際に, 最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-11-03T15:05:49Z)
• FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
  本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。 FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-08-15T16:45:16Z)
• Cross-Scan Mamba with Masked Training for Robust Spectral Imaging [51.557804095896174]
  本研究では,空間スペクトルSSMを用いたクロススキャンマンバ(CS-Mamba)を提案する。 実験の結果, CS-Mambaは最先端の性能を達成し, マスク付きトレーニング手法によりスムーズな特徴を再構築し, 視覚的品質を向上させることができた。
  論文  参考訳（メタデータ） (2024-08-01T15:14:10Z)
• Efficient Fine-tuning of Audio Spectrogram Transformers via Soft Mixture of Adapters [11.05223262950967]
  最近、Mixture of Experts (MoE)アーキテクチャは、計算コストを安価に保ちながらモデルの容量を拡大する能力のために、急成長を始めた。 本稿では,音響スペクトル変換器のパラメータ効率の高い微調整におけるMoEの使用を,下流の音声や音声の処理に用いていることを示す。 アダプタをエキスパートとして利用し、最近のSoft MoEメソッドを利用して、入力トークンとエキスパートの間のソフトな割り当てに依存して計算時間を制限している。
  論文  参考訳（メタデータ） (2024-02-01T18:16:04Z)
• Asynchronous Multi-Model Dynamic Federated Learning over Wireless Networks: Theory, Modeling, and Optimization [20.741776617129208]
  分散機械学習(ML)の鍵となる技術として、フェデレートラーニング(FL)が登場した。 まず、システムパラメータが学習性能に与える影響を捉えるために、長方形のスケジューリングステップと関数を定式化する。 我々の分析は、デバイストレーニング変数と非同期スケジューリング決定の協調的影響に光を当てている。
  論文  参考訳（メタデータ） (2023-05-22T21:39:38Z)
• Learning Discrete Energy-based Models via Auxiliary-variable Local Exploration [130.89746032163106]
  離散構造データに対する条件付きおよび非条件付きEMMを学習するための新しいアルゴリズムであるALOEを提案する。 エネルギー関数とサンプリング器は、新しい変分型電力繰り返しにより効率よく訓練できることを示す。 本稿では、ソフトウェアテストのためのエネルギーモデルガイド付ファジィザについて、libfuzzerのようなよく設計されたファジィエンジンに匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2020-11-10T19:31:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。