論文の概要: EoS-FM: Can an Ensemble of Specialist Models act as a Generalist Feature Extractor?
- arxiv url: http://arxiv.org/abs/2511.21523v2
- Date: Thu, 04 Dec 2025 15:22:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-05 14:54:32.766007
- Title: EoS-FM: Can an Ensemble of Specialist Models act as a Generalist Feature Extractor?
- Title（参考訳）: EoS-FM: スペシャリストモデルのアンサンブルはジェネラリスト・フィーチャー・エクストラクターとして機能できるか?
- Authors: Pierre Adorni, Minh-Tan Pham, Stéphane May, Sébastien Lefèvre,
- Abstract要約: リモートセンシングファウンデーションモデル(RSFM)構築のためのアンサンブル・オブ・スペシャリストフレームワークを提案する。
本手法はトレーニングプロセスを,凍結・再利用可能な軽量でタスク固有のConvNeXtV2専門家に分解する。
我々のフレームワークは、スケーラブルで効率的なRSFMを構築するための新しい方向を設定します。
- 参考スコア（独自算出の注目度）: 8.178030486012437
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Recent advances in foundation models have shown great promise in domains such as natural language processing and computer vision, and similar efforts are now emerging in the Earth Observation community. These models aim to generalize across tasks with limited supervision, reducing the need for training separate models for each task. However, current strategies, which largely focus on scaling model size and dataset volume, require prohibitive computational and data resources, limiting accessibility to only a few large institutions. Moreover, this paradigm of ever-larger models stands in stark contrast with the principles of sustainable and environmentally responsible AI, as it leads to immense carbon footprints and resource inefficiency. In this work, we present a novel and efficient alternative: an Ensemble-of-Specialists framework for building Remote Sensing Foundation Models (RSFMs). Our method decomposes the training process into lightweight, task-specific ConvNeXtV2 specialists that can be frozen and reused. This modular approach offers strong advantages in efficiency, interpretability, and extensibility. Moreover, it naturally supports federated training, pruning, and continuous specialist integration, making it particularly well-suited for collaborative and resource-constrained settings. Our framework sets a new direction for building scalable and efficient RSFMs. All codes and pretrained models are available at https://github.com/pierreadorni/EoS-FM.
- Abstract（参考訳）: 近年の基盤モデルの進歩は自然言語処理やコンピュータビジョンといった領域において大きな可能性を秘めており、地球観測コミュニティでも同様の取り組みが始まっている。
これらのモデルは、監督が限定されたタスクをまたがって一般化することを目的としており、各タスクに対して個別のモデルをトレーニングする必要性を減らしている。
しかし、現在の戦略は、モデルのサイズとデータセットのボリュームのスケーリングに重点を置いており、制限のある計算とデータリソースを必要としており、アクセシビリティは少数の大規模機関に限られている。
さらに、この永遠のモデルというパラダイムは、持続可能な環境に責任を持つAIの原則とは対照的です。
本稿では,リモートセンシング基礎モデル(RSFM)を構築するための,新しい,効率的な代替手段を提案する。
本手法はトレーニングプロセスを,凍結・再利用可能な軽量でタスク固有のConvNeXtV2専門家に分解する。
このモジュラーアプローチは、効率性、解釈可能性、拡張性において強力なアドバンテージを提供します。
さらに、フェデレーショントレーニング、プルーニング、継続的なスペシャリスト統合も自然にサポートしており、特にコラボレーティブでリソース制約のある設定に適している。
我々のフレームワークは、スケーラブルで効率的なRSFMを構築するための新しい方向を設定します。
すべてのコードと事前訓練されたモデルはhttps://github.com/pierreadorni/EoS-FMで入手できる。
関連論文リスト
- Youtu-LLM: Unlocking the Native Agentic Potential for Lightweight Large Language Models [78.73992315826035]
ネイティブエージェントインテリジェンスと高い計算効率を調和させる軽量言語モデルであるYoutu-LLMを紹介する。
Youtu-LLMは、スクラッチから体系的に推論と計画能力の育成まで事前訓練されている。
論文 参考訳（メタデータ） (2025-12-31T04:25:11Z) - Revealing the Power of Post-Training for Small Language Models via Knowledge Distillation [43.68215777330875]
我々は,小型モデルの精度を効果的に向上する,系統的な後学習パイプラインを導入する。
結果として得られた命令調整モデルにより、最先端のパフォーマンスが達成される。
この研究は、Ascendエッジデバイス上で高性能言語モデルを開発するための実用的で効率的なソリューションを提供する。
論文 参考訳（メタデータ） (2025-09-30T16:40:55Z) - Deep Hierarchical Learning with Nested Subspace Networks [53.71337604556311]
大規模ニューラルネットワークのためのNested Subspace Networks (NSN)を提案する。
NSNは、単一のモデルを連続した計算予算の範囲で動的かつきめ細かな調整を可能にする。
我々は,NSNを訓練済みのLLMに外科的に適用し,スムーズで予測可能な計算性能フロンティアを解き放つことができることを示した。
論文 参考訳（メタデータ） (2025-09-22T15:13:14Z) - Large-Small Model Collaborative Framework for Federated Continual Learning [20.05022827987955]
ファンデーションモデル(FM)のための継続的学習(CL)は不可欠だが、未調査の課題である。
我々はFCL(Federated Continual Learning)において、軽量なローカルモデルが動的ブリッジとして機能する最初の協調フレームワークを提案する。
Small Model Continual Fine-tuningは、小さなモデルの時間的忘れを防ぐためのもので、One-by-One Distillationはサーバ上で不均一なローカル知識を個別に融合する。
論文 参考訳（メタデータ） (2025-08-13T04:49:50Z) - Scaling Laws for Native Multimodal Models [53.490942903659565]
我々は、ネイティブマルチモーダルモデルのアーキテクチャ設計を再考し、広範なスケーリング法の研究を行う。
我々の調査では、早期核融合アーキテクチャよりも後期核融合アーキテクチャに固有の利点は示されていない。
モデルにMixture of Experts(MoEs)を組み込むことで、モデルがモダリティ固有の重みを学習し、性能を著しく向上できることを示す。
論文 参考訳（メタデータ） (2025-04-10T17:57:28Z) - UniSTD: Towards Unified Spatio-Temporal Learning across Diverse Disciplines [64.84631333071728]
本稿では,時間的モデリングのためのトランスフォーマーベースの統合フレームワークであるbfUnistageを紹介する。
我々の研究は、タスク固有の視覚テキストが時間学習のための一般化可能なモデルを構築することができることを示した。
また、時間的ダイナミクスを明示的に組み込むための時間的モジュールも導入する。
論文 参考訳（メタデータ） (2025-03-26T17:33:23Z) - RADIOv2.5: Improved Baselines for Agglomerative Vision Foundation Models [60.596005921295806]
集約モデルは、ビジョンファウンデーションモデルをトレーニングするための強力なアプローチとして現れています。
我々は、解像度モードシフト、教師の不均衡、慣用的教師アーティファクト、過剰な出力トークンなど、重要な課題を識別する。
本稿では,マルチレゾリューショントレーニング,モザイク強化,教師の損失関数のバランスの改善など,いくつかの新しいソリューションを提案する。
論文 参考訳（メタデータ） (2024-12-10T17:06:41Z) - Specialized Foundation Models Struggle to Beat Supervised Baselines [60.23386520331143]
ゲノミクス、衛星画像、時系列の3つのモードを最近のFMで調べ、それらを標準的な教師付き学習ワークフローと比較する。
最新のファンデーションモデルにマッチしたり、性能を上回るような、シンプルな教師付きモデルのトレーニングが一貫して可能であることが分かりました。
論文 参考訳（メタデータ） (2024-11-05T04:10:59Z) - LMFlow: An Extensible Toolkit for Finetuning and Inference of Large Foundation Models [31.121714473817793]
ファンデーションモデルは、従来のアプローチをはるかに超越した、一般的な人間レベルのインテリジェンスを達成するための優れた能力を示してきた。
ほとんどの基礎モデルの重大な欠点は、特殊ドメインやタスク固有のアプリケーションのパフォーマンスにある。
本稿では,一般基礎モデルのドメイン・タスク・アウェア・ファインタニングを簡略化することを目的としたLMFlowを紹介する。
論文 参考訳（メタデータ） (2023-06-21T17:58:25Z) - Towards Efficient Task-Driven Model Reprogramming with Foundation Models [52.411508216448716]
ビジョンファウンデーションモデルは、非常に大きなモデルキャパシティと幅広いトレーニングデータから恩恵を受け、印象的なパワーを示す。
しかし、実際には、下流のシナリオは限られた計算資源や効率上の考慮のため、小さなモデルしかサポートできない。
これは、ファンデーションモデルの現実的な応用に重要な課題をもたらします。
論文 参考訳（メタデータ） (2023-04-05T07:28:33Z) - eP-ALM: Efficient Perceptual Augmentation of Language Models [70.47962271121389]
本稿では,既存モデルの適応性を向上するための直接的な取り組みを提案し,認識を伴う言語モデルの拡張を提案する。
視覚言語タスクに事前訓練されたモデルを適用するための既存のアプローチは、その効率を妨げているいくつかの重要なコンポーネントに依存している。
総パラメータの99%以上を凍結し,1つの直線射影層のみをトレーニングし,1つのトレーニング可能なトークンのみを予測することにより,我々のアプローチ(eP-ALM)は,VQAとCaptioningの他のベースラインよりも有意に優れていることを示す。
論文 参考訳（メタデータ） (2023-03-20T19:20:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。