論文の概要: FedRA: A Random Allocation Strategy for Federated Tuning to Unleash the Power of Heterogeneous Clients

• arxiv url: http://arxiv.org/abs/2311.11227v2
• Date: Tue, 12 Mar 2024 05:26:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-14 01:26:18.991939
• Title: FedRA: A Random Allocation Strategy for Federated Tuning to Unleash the Power of Heterogeneous Clients
• Title（参考訳）: FedRA:不均一クライアントの力を解き放つためのフェデレーションチューニングのためのランダムアロケーション戦略
• Authors: Shangchao Su, Bin Li, Xiangyang Xue
• Abstract要約: 実世界のフェデレーションシナリオでは、様々な計算と通信資源を持つ多種多様なクライアントが存在することが多い。 本稿では,新しいフェデレーションチューニングアルゴリズムであるFedRAを提案する。 各通信ラウンドにおいて、FedRAはランダムにアロケーション行列を生成する。 アダプタを用いてアロケーション行列とファインチューンに基づいて、元のモデルから少数のレイヤを再編成する。
• 参考スコア（独自算出の注目度）: 50.13097183691517
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the increasing availability of Foundation Models, federated tuning has garnered attention in the field of federated learning, utilizing data and computation resources from multiple clients to collaboratively fine-tune foundation models. However, in real-world federated scenarios, there often exist a multitude of heterogeneous clients with varying computation and communication resources, rendering them incapable of supporting the entire model fine-tuning process. In response to this challenge, we propose a novel federated tuning algorithm, FedRA. The implementation of FedRA is straightforward and can be seamlessly integrated into any transformer-based model without the need for further modification to the original model. Specifically, in each communication round, FedRA randomly generates an allocation matrix. For resource-constrained clients, it reorganizes a small number of layers from the original model based on the allocation matrix and fine-tunes using adapters. Subsequently, the server aggregates the updated adapter parameters from the clients according to the current allocation matrix into the corresponding layers of the original model. It is worth noting that FedRA also supports scenarios where none of the clients can support the entire global model, which is an impressive advantage. We conduct experiments on two large-scale image datasets, DomainNet and NICO++, under various non-iid settings. The results demonstrate that FedRA outperforms the compared methods significantly. The source code is available at \url{https://github.com/leondada/FedRA}.
• Abstract（参考訳）: 基礎モデルの可用性が高まり、フェデレーションチューニングはフェデレーション学習の分野で注目を集め、複数のクライアントからのデータと計算リソースを活用して、協調的に微調整された基礎モデルを開発した。 しかしながら、現実世界のフェデレーションシナリオでは、計算や通信リソースの異なる多数の異種クライアントが存在することが多く、モデルの微調整プロセス全体をサポートすることができない。 そこで本研究では,新しいフェデレートチューニングアルゴリズムであるFedRAを提案する。 FedRAの実装は単純で、オリジナルのモデルにさらなる変更を加えることなく、トランスフォーマーベースのモデルにシームレスに統合することができる。 具体的には、各通信ラウンドにおいて、FedRAはランダムにアロケーション行列を生成する。 リソース制約のあるクライアントでは、アロケーションマトリックスとアダプタを使用した微調整に基づいて、元のモデルから少数のレイヤを再編成する。 その後、サーバは現在の割り当て行列に従ってクライアントから更新されたアダプタパラメータを元のモデルの対応するレイヤに集約する。 fedraは、すべてのクライアントがグローバルモデルを完全にサポートできないようなシナリオもサポートしていますが、これは素晴らしいアドバンテージです。 大規模な画像データセットであるDomainNetとNICO++を、さまざまな非ID設定で実験する。 その結果,FedRAは比較手法よりも優れていた。 ソースコードは \url{https://github.com/leondada/fedra} で入手できる。

関連論文リスト

• Collaborative and Efficient Personalization with Mixtures of Adaptors [5.195669033269619]
  マルチタスク学習問題に対処するパラメータ効率の枠組みを提案する。 FLoRAL(Federated Low-Rank Adaptive Learning)と呼ぶフレームワークがあります。 人工データセットと実世界のフェデレートされたマルチタスク問題に関する有望な実験結果を示す。
  論文  参考訳（メタデータ） (2024-10-04T15:11:15Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework [82.36466358313025]
  我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。 半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-03T03:27:51Z)
• Federated Adaptive Prompt Tuning for Multi-Domain Collaborative Learning [44.604485649167216]
  フェデレートラーニング(FL)は、複数のクライアントがデータを開示することなく、協力的にグローバルモデルをトレーニングすることを可能にする。 多領域協調画像分類のためのフェデレーション適応型プロンプトチューニングアルゴリズムであるFedAPTを提案する。
  論文  参考訳（メタデータ） (2022-11-15T03:10:05Z)
• FedAvg with Fine Tuning: Local Updates Lead to Representation Learning [54.65133770989836]
  Federated Averaging (FedAvg)アルゴリズムは、クライアントノードでのいくつかのローカルな勾配更新と、サーバでのモデル平均更新の交互化で構成されている。 我々は、FedAvgの出力の一般化の背景には、クライアントのタスク間の共通データ表現を学習する能力があることを示す。 異種データを用いたフェデレーション画像分類におけるFedAvgの表現学習能力を示す実証的証拠も提供する。
  論文  参考訳（メタデータ） (2022-05-27T00:55:24Z)
• An Expectation-Maximization Perspective on Federated Learning [75.67515842938299]
  フェデレーション学習は、データをデバイス上でプライベートにしながら、複数のクライアントにわたるモデルの分散トレーニングを記述する。 本稿では,サーバがクライアント固有のモデルパラメータに対して事前分布のパラメータを提供する階層的潜在変数モデルとして,サーバが設定したフェデレーション学習プロセスについて考察する。 我々は,単純なガウス先行とよく知られた期待最大化(EM)アルゴリズムのハードバージョンを用いて,そのようなモデルの学習は,フェデレーション学習環境における最も一般的なアルゴリズムであるFedAvgに対応することを示す。
  論文  参考訳（メタデータ） (2021-11-19T12:58:59Z)
• FedNS: Improving Federated Learning for collaborative image classification on mobile clients [22.980223900446997]
  Federated Learning(FL)は、グローバルモデルを学ぶために疎結合のクライアントをサポートすることを目的としたパラダイムです。 本稿では、fl設定におけるサーバのグローバルモデル集約のためのフェデレーションノード選択(fedns)と呼ばれる新しい手法を提案する。 我々は、FedNSがFedAvgよりも一貫してパフォーマンスを向上させることができる複数のデータセットとネットワークからの実験で示します。
  論文  参考訳（メタデータ） (2021-01-20T06:45:46Z)
• FedBE: Making Bayesian Model Ensemble Applicable to Federated Learning [23.726336635748783]
  フェデレートラーニング(Federated Learning)は、ユーザのローカルにトレーニングされたモデルにアクセスして、自身のデータではなく、強力なグローバルモデルを協調的にトレーニングすることを目的としている。 したがって、ローカルモデルをグローバルモデルに集約することが重要なステップであり、これはユーザーが非i.d.データを持つ場合に困難であることが示されている。 我々は,ハイクオリティなグローバルモデルをサンプリングすることによってベイズ推論の観点から,FedBEという新しい集約アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-09-04T01:18:25Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。