論文の概要: Bridging the Gap Between Foundation Models and Heterogeneous Federated Learning

• arxiv url: http://arxiv.org/abs/2310.00247v1
• Date: Sat, 30 Sep 2023 04:31:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 05:41:57.218749
• Title: Bridging the Gap Between Foundation Models and Heterogeneous Federated Learning
• Title（参考訳）: 基礎モデルと異種連携学習のギャップを埋める
• Authors: Sixing Yu, J. Pablo Mu\~noz, Ali Jannesari
• Abstract要約: Federated Learning(FL)は、プライバシ保護による分散機械学習を提供し、プライベートデータを共有せずにエッジクライアントのモデルを最適化する。 ファンデーションモデル(FM)は、人工知能(AI)コミュニティにおいて、様々なタスクにまたがる例外的なパフォーマンスのために、注目を集めている。 本稿では、これらの課題に対処するため、リソース対応フェデレーション・ファンデーション・モデル(RaFFM)の適応フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 9.198799314774437
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) offers privacy-preserving decentralized machine learning, optimizing models at edge clients without sharing private data. Simultaneously, foundation models (FMs) have gained traction in the artificial intelligence (AI) community due to their exceptional performance across various tasks. However, integrating FMs into FL presents challenges, primarily due to their substantial size and intensive resource requirements. This is especially true when considering the resource heterogeneity in edge FL systems. We present an adaptive framework for Resource-aware Federated Foundation Models (RaFFM) to address these challenges. RaFFM introduces specialized model compression algorithms tailored for FL scenarios, such as salient parameter prioritization and high-performance subnetwork extraction. These algorithms enable dynamic scaling of given transformer-based FMs to fit heterogeneous resource constraints at the network edge during both FL's optimization and deployment stages. Experimental results demonstrate that RaFFM shows significant superiority in resource utilization efficiency and uses fewer resources to deploy FMs to FL. Despite the lower resource consumption, target models optimized by RaFFM achieve performance on par with traditional FL methods applied to full-sized FMs. This is evident across tasks in both natural language processing and computer vision domains.
• Abstract（参考訳）: federated learning(fl)は、プライバシ保護の分散機械学習を提供し、プライベートデータを共有せずにエッジクライアントでモデルを最適化する。 同時に、ファンデーションモデル(FM)は人工知能(AI)コミュニティにおいて、様々なタスクにまたがる例外的なパフォーマンスのために注目を集めている。 しかし、FMをFLに組み込むことは、主な原因は、その相当なサイズと集中的なリソース要求のためである。 これは、エッジFLシステムの資源不均一性を考える際に特に当てはまる。 本稿では,これらの課題に対処するためにraffm(resource-aware federated foundation models)の適応フレームワークを提案する。 raffmでは、salientパラメータの優先順位付けや高性能サブネットワーク抽出など、flシナリオ用に最適化された専用モデル圧縮アルゴリズムを導入している。 これらのアルゴリズムは、FLの最適化とデプロイメントの段階で、トランスフォーマーベースのFMを動的にスケーリングすることで、異種リソース制約をネットワークエッジに適合させることができる。 実験の結果,RaFFMは資源利用効率が著しく優れており,FMをFLに展開するリソースが少ないことがわかった。 リソース消費が低いにもかかわらず、RaFFMによって最適化されたターゲットモデルは、フルサイズのFMに適用された従来のFLメソッドと同等のパフォーマンスを達成する。 これは自然言語処理とコンピュータビジョンドメインの両方のタスクで明らかである。

関連論文リスト

• Online Client Scheduling and Resource Allocation for Efficient Federated Edge Learning [9.451084740123198]
  フェデレートラーニング(FL)は、エッジデバイスが生データを共有せずに、機械学習モデルを協調的にトレーニングすることを可能にする。 しかし、電力、帯域幅などの制約のあるリソースを持つモバイルエッジネットワーク上にFLをデプロイすることは、高いトレーニングレイテンシと低いモデルの精度に悩まされる。 本稿では,資源制約と不確実性の下で,モバイルエッジネットワーク上でのFLの最適なクライアントスケジューリングとリソース割り当てについて検討する。
  論文  参考訳（メタデータ） (2024-09-29T01:56:45Z)
• Prioritizing Modalities: Flexible Importance Scheduling in Federated Multimodal Learning [5.421492821020181]
  Federated Learning(FL)は、デバイスがローカルデータを共有せずにモデルを協調的にトレーニングできる分散機械学習アプローチである。 FLを実世界のデータに適用することは、特に既存のFL研究が不正なデータに焦点を当てているため、課題を提示している。 我々は,各モードエンコーダのトレーニングリソースを適応的に割り当てることで,MFLにおける計算効率を向上させる新しい手法FlexModを提案する。
  論文  参考訳（メタデータ） (2024-08-13T01:14:27Z)
• FedPFT: Federated Proxy Fine-Tuning of Foundation Models [55.58899993272904]
  フェデレートラーニング(FL)を通じて下流タスクにファンデーションモデル(FM)を適用することは、データプライバシと価値のあるFMを保護するための有望な戦略として現れます。 FLのクライアントにサブFMを割り当てることによる既存のFMの微調整手法は、チューニングが不十分で勾配の必然的エラー蓄積が避けられないため、最適以下の性能をもたらす。 本稿では,FedPFT(Federated Proxy Fine-Tuning)を提案する。
  論文  参考訳（メタデータ） (2024-04-17T16:30:06Z)
• FedLPS: Heterogeneous Federated Learning for Multiple Tasks with Local Parameter Sharing [14.938531944702193]
  局所異種共有を用いたフェデレーション学習(FedLPS)を提案する。 FedLPSは転送学習を使用して、ローカルモデルを共有エンコーダとタスク固有のエンコーダに分割することで、複数のタスクをひとつのデバイスにデプロイする。 FedLPSは最先端(SOTA)のFLフレームワークを最大4.88%上回り、計算資源消費量を21.3%減らす。
  論文  参考訳（メタデータ） (2024-02-13T16:30:30Z)
• A Survey on Efficient Federated Learning Methods for Foundation Model Training [62.473245910234304]
  フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。 Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。 FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
  論文  参考訳（メタデータ） (2024-01-09T10:22:23Z)
• Analysis and Optimization of Wireless Federated Learning with Data Heterogeneity [72.85248553787538]
  本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。 ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。 実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-04T04:18:01Z)
• Vertical Federated Learning over Cloud-RAN: Convergence Analysis and System Optimization [82.12796238714589]
  高速かつ正確なモデルアグリゲーションを実現するために,クラウド無線アクセスネットワーク(Cloud-RAN)ベースの垂直FLシステムを提案する。 アップリンクとダウンリンクの両方の伝送を考慮した垂直FLアルゴリズムの収束挙動を特徴付ける。 我々は,連続凸近似と代替凸探索に基づくシステム最適化アルゴリズムを開発した,連系トランシーバとフロントホール量子化設計によるシステム最適化フレームワークを構築した。
  論文  参考訳（メタデータ） (2023-05-04T09:26:03Z)
• Automated Federated Learning in Mobile Edge Networks -- Fast Adaptation and Convergence [83.58839320635956]
  フェデレートラーニング(FL)は、モバイルエッジネットワークで機械学習モデルを分散的にトレーニングするために使用することができる。 最近のFLは、モデルに依存しないメタラーニング(MAML)フレームワークで解釈されている。 本稿は,MAMLがFLにもたらすメリットと,モバイルエッジネットワーク上でのメリットの最大化について論じる。
  論文  参考訳（メタデータ） (2023-03-23T02:42:10Z)
• Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。 サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。 私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
  論文  参考訳（メタデータ） (2022-03-17T11:18:17Z)
• Federated Ensemble Model-based Reinforcement Learning in Edge Computing [21.840086997141498]
  フェデレートラーニング(Federated Learning、FL)は、プライバシ保護のための分散機械学習パラダイムである。 モデルベースRLとアンサンブル知識蒸留をFLに効果的に組み込む新しいFRLアルゴリズムを提案する。 具体的には、FLと知識蒸留を利用して、クライアント向けの動的モデルのアンサンブルを作成し、環境と相互作用することなく、単にアンサンブルモデルを使用することでポリシーを訓練する。
  論文  参考訳（メタデータ） (2021-09-12T16:19:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。