論文の概要: EoS-FM: Can an Ensemble of Specialist Models act as a Generalist Feature Extractor?

• arxiv url: http://arxiv.org/abs/2511.21523v1
• Date: Wed, 26 Nov 2025 15:52:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-27 18:37:59.18237
• Title: EoS-FM: Can an Ensemble of Specialist Models act as a Generalist Feature Extractor?
• Title（参考訳）: EoS-FM: スペシャリストモデルのアンサンブルはジェネラリスト・フィーチャー・エクストラクターとして機能できるか?
• Authors: Pierre Adorni, Minh-Tan Pham, Stéphane May, Sébastien Lefèvre,
• Abstract要約: リモートセンシングファウンデーションモデル(RSFM)構築のためのアンサンブル・オブ・スペシャリストフレームワークを提案する。 本手法はトレーニングプロセスを,凍結・再利用可能な軽量でタスク固有のConvNeXtV2専門家に分解する。
• 参考スコア（独自算出の注目度）: 8.178030486012437
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Recent advances in foundation models have shown great promise in domains such as natural language processing and computer vision, and similar efforts are now emerging in the Earth Observation community. These models aim to generalize across tasks with limited supervision, reducing the need for training separate models for each task. However, current strategies, which largely focus on scaling model size and dataset volume, require prohibitive computational and data resources, limiting accessibility to only a few large institutions. Moreover, this paradigm of ever-larger models stands in stark contrast with the principles of sustainable and environmentally responsible AI, as it leads to immense carbon footprints and resource inefficiency. In this work, we present a novel and efficient alternative: an Ensemble-of-Specialists framework for building Remote Sensing Foundation Models (RSFMs). Our method decomposes the training process into lightweight, task-specific ConvNeXtV2 specialists that can be frozen and reused. This modular approach offers strong advantages in efficiency, interpretability, and extensibility. Moreover, it naturally supports federated training, pruning, and continuous specialist integration, making it particularly well-suited for collaborative and resource-constrained settings. Our framework sets a new direction for building scalable and efficient RSFMs.
• Abstract（参考訳）: 近年の基盤モデルの進歩は自然言語処理やコンピュータビジョンといった領域において大きな可能性を秘めており、地球観測コミュニティでも同様の取り組みが始まっている。 これらのモデルは、監督が限定されたタスクをまたがって一般化することを目的としており、各タスクに対して個別のモデルをトレーニングする必要性を減らしている。 しかし、現在の戦略は、モデルのサイズとデータセットのボリュームのスケーリングに重点を置いており、制限のある計算とデータリソースを必要としており、アクセシビリティは少数の大規模機関に限られている。 さらに、この永遠のモデルというパラダイムは、持続可能な環境に責任を持つAIの原則とは対照的です。 本稿では,リモートセンシング基礎モデル(RSFM)を構築するための,新しい,効率的な代替手段を提案する。 本手法はトレーニングプロセスを,凍結・再利用可能な軽量でタスク固有のConvNeXtV2専門家に分解する。 このモジュラーアプローチは、効率性、解釈可能性、拡張性において強力なアドバンテージを提供します。 さらに、フェデレーショントレーニング、プルーニング、継続的なスペシャリスト統合も自然にサポートしており、特にコラボレーティブでリソース制約のある設定に適している。 我々のフレームワークは、スケーラブルで効率的なRSFMを構築するための新しい方向を設定します。

関連論文リスト

• Revealing the Power of Post-Training for Small Language Models via Knowledge Distillation [43.68215777330875]
  我々は,小型モデルの精度を効果的に向上する,系統的な後学習パイプラインを導入する。 結果として得られた命令調整モデルにより、最先端のパフォーマンスが達成される。 この研究は、Ascendエッジデバイス上で高性能言語モデルを開発するための実用的で効率的なソリューションを提供する。
  論文  参考訳（メタデータ） (2025-09-30T16:40:55Z)
• Large-Small Model Collaborative Framework for Federated Continual Learning [20.05022827987955]
  ファンデーションモデル(FM)のための継続的学習(CL)は不可欠だが、未調査の課題である。 我々はFCL(Federated Continual Learning)において、軽量なローカルモデルが動的ブリッジとして機能する最初の協調フレームワークを提案する。 Small Model Continual Fine-tuningは、小さなモデルの時間的忘れを防ぐためのもので、One-by-One Distillationはサーバ上で不均一なローカル知識を個別に融合する。
  論文  参考訳（メタデータ） (2025-08-13T04:49:50Z)
• Scaling Laws for Native Multimodal Models [53.490942903659565]
  我々は、ネイティブマルチモーダルモデルのアーキテクチャ設計を再考し、広範なスケーリング法の研究を行う。 我々の調査では、早期核融合アーキテクチャよりも後期核融合アーキテクチャに固有の利点は示されていない。 モデルにMixture of Experts(MoEs)を組み込むことで、モデルがモダリティ固有の重みを学習し、性能を著しく向上できることを示す。
  論文  参考訳（メタデータ） (2025-04-10T17:57:28Z)
• UniSTD: Towards Unified Spatio-Temporal Learning across Diverse Disciplines [64.84631333071728]
  本稿では,時間的モデリングのためのトランスフォーマーベースの統合フレームワークであるbfUnistageを紹介する。 我々の研究は、タスク固有の視覚テキストが時間学習のための一般化可能なモデルを構築することができることを示した。 また、時間的ダイナミクスを明示的に組み込むための時間的モジュールも導入する。
  論文  参考訳（メタデータ） (2025-03-26T17:33:23Z)
• RADIOv2.5: Improved Baselines for Agglomerative Vision Foundation Models [60.596005921295806]
  集約モデルは、ビジョンファウンデーションモデルをトレーニングするための強力なアプローチとして現れています。 我々は、解像度モードシフト、教師の不均衡、慣用的教師アーティファクト、過剰な出力トークンなど、重要な課題を識別する。 本稿では,マルチレゾリューショントレーニング,モザイク強化,教師の損失関数のバランスの改善など,いくつかの新しいソリューションを提案する。
  論文  参考訳（メタデータ） (2024-12-10T17:06:41Z)
• Specialized Foundation Models Struggle to Beat Supervised Baselines [60.23386520331143]
  ゲノミクス、衛星画像、時系列の3つのモードを最近のFMで調べ、それらを標準的な教師付き学習ワークフローと比較する。 最新のファンデーションモデルにマッチしたり、性能を上回るような、シンプルな教師付きモデルのトレーニングが一貫して可能であることが分かりました。
  論文  参考訳（メタデータ） (2024-11-05T04:10:59Z)
• Towards Efficient Task-Driven Model Reprogramming with Foundation Models [52.411508216448716]
  ビジョンファウンデーションモデルは、非常に大きなモデルキャパシティと幅広いトレーニングデータから恩恵を受け、印象的なパワーを示す。 しかし、実際には、下流のシナリオは限られた計算資源や効率上の考慮のため、小さなモデルしかサポートできない。 これは、ファンデーションモデルの現実的な応用に重要な課題をもたらします。
  論文  参考訳（メタデータ） (2023-04-05T07:28:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。