論文の概要: Closer to Reality: Practical Semi-Supervised Federated Learning for Foundation Model Adaptation

• arxiv url: http://arxiv.org/abs/2508.16568v1
• Date: Fri, 22 Aug 2025 17:47:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-25 16:42:36.476821
• Title: Closer to Reality: Practical Semi-Supervised Federated Learning for Foundation Model Adaptation
• Title（参考訳）: ファウンデーションモデル適応のための実践的半監督型フェデレーションラーニング
• Authors: Guangyu Sun, Jingtao Li, Weiming Zhuang, Chen Chen, Chen Chen, Lingjuan Lyu,
• Abstract要約: ファンデーションモデル(FM)は顕著な一般化を示すが、下流のタスクに適応する必要がある。 データプライバシー規制のため、クラウドベースのFMはプライベートエッジデータに直接アクセスできない。 エッジデバイスがラベルのない低解像度のデータのみを保持する実践的セミスーパービジョン・フェデレーションラーニング(PSSFL)を導入する。 我々の研究は、フェデレートされたシナリオにおけるスケーラブルでプライバシ保護のFM適応の道を開いた。
• 参考スコア（独自算出の注目度）: 56.36237936346563
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Foundation models (FMs) exhibit remarkable generalization but require adaptation to downstream tasks, particularly in privacy-sensitive applications. Due to data privacy regulations, cloud-based FMs cannot directly access private edge data, limiting their adaptation. Federated learning (FL) provides a privacy-aware alternative, but existing FL approaches overlook the constraints imposed by edge devices -- namely, limited computational resources and the scarcity of labeled data. To address these challenges, we introduce Practical Semi-Supervised Federated Learning (PSSFL), where edge devices hold only unlabeled, low-resolution data, while the server has limited labeled, high-resolution data. In this setting, we propose the Federated Mixture of Experts (FedMox), a novel framework that enhances FM adaptation in FL. FedMox tackles computational and resolution mismatch challenges via a sparse Mixture-of-Experts architecture, employing a spatial router to align features across resolutions and a Soft-Mixture strategy to stabilize semi-supervised learning. We take object detection as a case study, and experiments on real-world autonomous driving datasets demonstrate that FedMox effectively adapts FMs under PSSFL, significantly improving performance with constrained memory costs on edge devices. Our work paves the way for scalable and privacy-preserving FM adaptation in federated scenarios.
• Abstract（参考訳）: ファンデーションモデル(FM)は顕著な一般化を示すが、特にプライバシーに敏感なアプリケーションでは下流のタスクに適応する必要がある。 データプライバシ規制のため、クラウドベースのFMはプライベートエッジデータに直接アクセスできず、適応が制限される。 フェデレートラーニング(FL)は、プライバシを意識した代替手段を提供するが、既存のFLアプローチでは、エッジデバイスによって課される制約、すなわち、限られた計算リソースとラベル付きデータの不足を見落としている。 これらの課題に対処するために、我々は、エッジデバイスがラベル付きで低解像度のデータのみを保持するのに対して、サーバはラベル付きで高解像度のデータしか保持しない実践的セミスーパービジョン・フェデレート・ラーニング(PSSFL)を導入する。 本稿では,FLにおけるFM適応性を高める新しいフレームワークであるFederated Mixture of Experts (FedMox)を提案する。 FedMoxは、Sparse Mixture-of-Expertsアーキテクチャを使用して、解像度をまたいだ特徴を調整する空間ルータと、半教師付き学習を安定化するためのSoft-Mixture戦略を用いて、計算と解像度のミスマッチに取り組みます。 我々はオブジェクト検出をケーススタディとして捉え、実世界の自律走行データセットの実験により、FedMoxはPSSFLの下でFMを効果的に適応し、エッジデバイス上でのメモリコストの制約により性能を大幅に改善することを示した。 我々の研究は、フェデレートされたシナリオにおけるスケーラブルでプライバシ保護のFM適応の道を開いた。

関連論文リスト

• Lightweight Federated Learning over Wireless Edge Networks [83.4818741890634]
  Federated (FL) はネットワークエッジの代替品であるが、無線ネットワークでは代替品である。 閉形式式FL収束ギャップ伝送パワー,モデルプルーニング誤差,量子化を導出する。 LTFLは、実世界のデータセットの実験において最先端のスキームよりも優れている。
  論文  参考訳（メタデータ） (2025-07-13T09:14:17Z)
• Federated Loss Exploration for Improved Convergence on Non-IID Data [20.979550470097823]
  Federated Loss Exploration (FedLEx)は、これらの課題に対処するために特別に設計された革新的なアプローチである。 FedLExは、既存のFLメソッドの非IID設定における欠点に特化している。 最先端のFLアルゴリズムによる実験により,性能が大幅に向上した。
  論文  参考訳（メタデータ） (2025-06-23T13:42:07Z)
• FBFL: A Field-Based Coordination Approach for Data Heterogeneity in Federated Learning [1.079960007119637]
  本稿では、フィールドベースフェデレートラーニング(FBFL)を定式化し、MNIST、FashionMNIST、拡張MNISTデータセットを用いて広範に評価する。 IIDデータ条件下での動作において、FBFLは広く使われているFedAvgアルゴリズムと同等に動作することを示す。 挑戦的な非IIDシナリオでは、FBFLはFedAvgを上回るだけでなく、他の最先端のメソッドであるFedProxやScuffoldを上回っている。
  論文  参考訳（メタデータ） (2025-02-12T17:10:53Z)
• Providing Differential Privacy for Federated Learning Over Wireless: A Cross-layer Framework [19.381425127772054]
  Federated Learning(FL)は、エッジデバイスがローカルなトレーニングデータを維持することができる分散機械学習フレームワークである。 本稿では,分散化された動的電力制御により差分プライバシ(DP)を改善するOTA-FLの無線物理層(PHY)設計を提案する。 この適応は、異なる学習アルゴリズム間で設計の柔軟性と有効性を示しながら、プライバシに強く重点を置いています。
  論文  参考訳（メタデータ） (2024-12-05T18:27:09Z)
• Personalized Wireless Federated Learning for Large Language Models [75.22457544349668]
  大規模言語モデル(LLM)は、無線ネットワークにおいて大きな変革をもたらしている。 無線環境では、LLMのトレーニングはセキュリティとプライバシに関する重大な課題に直面している。 本稿では,無線ネットワークにおけるLLMのトレーニング段階の体系的解析を行い,事前学習,命令チューニング,アライメントチューニングを行う。
  論文  参考訳（メタデータ） (2024-04-20T02:30:21Z)
• Analysis and Optimization of Wireless Federated Learning with Data Heterogeneity [72.85248553787538]
  本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。 ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。 実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-04T04:18:01Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• FedMix: Approximation of Mixup under Mean Augmented Federated Learning [60.503258658382]
  フェデレートラーニング(FL)は、エッジデバイスが各デバイス内でデータを直接共有することなく、モデルを集合的に学習することを可能にする。 現在の最先端アルゴリズムは、クライアント間のローカルデータの均一性が増大するにつれて性能劣化に悩まされる。 我々はFedMixという名の新しい拡張アルゴリズムを提案し、これは驚くべきが単純なデータ拡張手法であるMixupにインスパイアされている。
  論文  参考訳（メタデータ） (2021-07-01T06:14:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。