論文の概要: FedBone: Towards Large-Scale Federated Multi-Task Learning
- arxiv url: http://arxiv.org/abs/2306.17465v1
- Date: Fri, 30 Jun 2023 08:19:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-03 13:14:01.352963
- Title: FedBone: Towards Large-Scale Federated Multi-Task Learning
- Title（参考訳）: FedBone: 大規模フェデレーションマルチタスク学習を目指して
- Authors: Yiqiang Chen, Teng Zhang, Xinlong Jiang, Qian Chen, Chenlong Gao and
Wuliang Huang
- Abstract要約: 現実世界のアプリケーションでは、視覚と自然言語のタスクは、高レベルの抽象的特徴を抽出するために大規模なモデルを必要とする。
既存のHFML手法は、マルチタスク最適化における勾配競合の影響を無視している。
我々はFedBoneと呼ばれる革新的なフレームワークを提案し、より優れた一般化を伴う大規模モデルの構築を可能にする。
- 参考スコア（独自算出の注目度）: 13.835972363413884
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Heterogeneous federated multi-task learning (HFMTL) is a federated learning
technique that combines heterogeneous tasks of different clients to achieve
more accurate, comprehensive predictions. In real-world applications, visual
and natural language tasks typically require large-scale models to extract
high-level abstract features. However, large-scale models cannot be directly
applied to existing federated multi-task learning methods. Existing HFML
methods also disregard the impact of gradient conflicts on multi-task
optimization during the federated aggregation process. In this work, we propose
an innovative framework called FedBone, which enables the construction of
large-scale models with better generalization from the perspective of
server-client split learning and gradient projection. We split the entire model
into two components: a large-scale general model (referred to as the general
model) on the cloud server and multiple task-specific models (referred to as
the client model) on edge clients, solving the problem of insufficient
computing power on edge clients. The conflicting gradient projection technique
is used to enhance the generalization of the large-scale general model between
different tasks. The proposed framework is evaluated on two benchmark datasets
and a real ophthalmic dataset. Comprehensive results demonstrate that FedBone
efficiently adapts to heterogeneous local tasks of each client and outperforms
existing federated learning algorithms in most dense prediction and
classification tasks with off-the-shelf computational resources on the client
side.
- Abstract（参考訳）: Heterogeneous Federated Multi-task Learning (HFMTL)は、異なるクライアントの不均一なタスクを組み合わせてより正確で包括的な予測を行うフェデレーション学習技術である。
現実世界のアプリケーションでは、視覚と自然言語のタスクは高レベルの抽象的特徴を抽出するために大規模なモデルを必要とする。
しかし,既存のマルチタスク学習手法では,大規模モデルは直接適用できない。
既存のHFML手法は、連邦集約プロセス中のマルチタスク最適化における勾配競合の影響を無視する。
本研究では,サーバクライアント分割学習と勾配投影の観点から,より一般化した大規模モデルの構築を可能にするfeedboneという革新的なフレームワークを提案する。
クラウドサーバの大規模汎用モデル(一般モデルとして参照)とエッジクライアントの複数のタスク固有モデル(クライアントモデルとして参照)の2つのコンポーネントにモデル全体を分割し、エッジクライアントのコンピューティングパワー不足の問題を解決しました。
矛盾する勾配投影法は、異なるタスク間の大規模一般モデルの一般化を促進するために用いられる。
提案フレームワークは2つのベンチマークデータセットと実際の眼科データセットで評価される。
総合的な結果から、FedBoneはクライアント側の異種ローカルタスクに効率よく適応し、既存のフェデレーション学習アルゴリズムよりも、クライアント側の既成計算資源を用いて、最も密集した予測および分類タスクにおいて優れることを示した。
関連論文リスト
- Personalized Hierarchical Split Federated Learning in Wireless Networks [24.664469755746463]
本稿では、パーソナライズ性能の向上を目的とした、パーソナライズされた階層分割型フェデレーション学習(PHSFL)アルゴリズムを提案する。
まず、モデル分割と階層モデル集約がグローバルモデルに与える影響を理解するために、広範囲な理論的解析を行う。
グローバルモデルがトレーニングされると、各クライアントを微調整してパーソナライズされたモデルを取得します。
論文 参考訳（メタデータ） (2024-11-09T02:41:53Z) - Leveraging Foundation Models for Multi-modal Federated Learning with Incomplete Modality [41.79433449873368]
我々は、事前学習完了(FedMVP)を用いた新しいマルチモーダル・コントラスト学習法、フェデレーション・マルチモーダル・コントラストVeトレーニングを提案する。
FedMVPは、大規模な事前トレーニングモデルを統合して、フェデレーショントレーニングを強化する。
実世界の2つの画像テキスト分類データセットよりも優れた性能を示す。
論文 参考訳（メタデータ） (2024-06-16T19:18:06Z) - Towards Efficient Pareto Set Approximation via Mixture of Experts Based Model Fusion [53.33473557562837]
大規模深層ニューラルネットワークに対する多目的最適化問題を解くことは、損失ランドスケープの複雑さと高価な計算コストのために難しい課題である。
本稿では,専門家(MoE)をベースとしたモデル融合を用いて,この問題を実用的でスケーラブルに解決する手法を提案する。
特殊な単一タスクモデルの重みをまとめることで、MoEモジュールは複数の目的間のトレードオフを効果的に捉えることができる。
論文 参考訳（メタデータ） (2024-06-14T07:16:18Z) - Concrete Subspace Learning based Interference Elimination for Multi-task
Model Fusion [86.6191592951269]
一般的な事前訓練された大規模モデルから微調整されたマージングモデルは、様々なタスクに特化しているが、様々なタスクでうまく機能するマルチタスクモデルを構築するための安価でスケーラブルな戦略として実証されている。
本稿では、共通低次元部分空間を同定し、その共有情報トラック干渉問題を性能を犠牲にすることなく利用するための連続緩和(Concrete)部分空間学習法を提案する。
論文 参考訳（メタデータ） (2023-12-11T07:24:54Z) - FedHCA$^2$: Towards Hetero-Client Federated Multi-Task Learning [18.601886059536326]
Federated Learning (FL)は、ローカルデータをプライベートに使用して、分散クライアント間の共同トレーニングを可能にする。
我々は,多様なタスク設定に対応するために,新しい問題設定であるヘテロクライアントフェデレーション・マルチタスク学習(HC-FMTL)を導入する。
我々は、異種クライアント間の関係をモデル化することでパーソナライズされたモデルのフェデレーショントレーニングを可能にするFedHCA$2$フレームワークを提案する。
論文 参考訳（メタデータ） (2023-11-22T09:12:50Z) - RGM: A Robust Generalizable Matching Model [49.60975442871967]
RGM(Robust Generalist Matching)と呼ばれる疎密マッチングのための深部モデルを提案する。
合成トレーニングサンプルと実世界のシナリオのギャップを狭めるために、我々は、疎対応基盤真理を持つ新しい大規模データセットを構築した。
さまざまな密集したスパースなデータセットを混ぜ合わせることができ、トレーニングの多様性を大幅に改善しています。
論文 参考訳（メタデータ） (2023-10-18T07:30:08Z) - Personalized Federated Learning with Feature Alignment and Classifier
Collaboration [13.320381377599245]
データの不均一性は、フェデレートラーニングにおける最も難しい問題の1つです。
ディープニューラルネットワークベースのタスクにおけるそのようなアプローチの1つは、共有された特徴表現を採用し、クライアントごとにカスタマイズされた分類子ヘッドを学ぶことである。
本研究では,グローバルなセマンティックな知識を活用して,より優れた表現を学習することで,ローカル・グローバルな特徴アライメントを実現する。
論文 参考訳（メタデータ） (2023-06-20T19:58:58Z) - Heterogeneous Ensemble Knowledge Transfer for Training Large Models in
Federated Learning [22.310090483499035]
フェデレートラーニング(FL)は、エッジデバイスがプライベートデータを中央集約サーバに公開することなく、協調的にモデルを学習することを可能にする。
既存のFLアルゴリズムの多くは、クライアントとサーバにまたがってデプロイされるのと同じアーキテクチャのモデルを必要とする。
本稿では,Fed-ETと呼ばれる新しいアンサンブル知識伝達手法を提案する。
論文 参考訳（メタデータ） (2022-04-27T05:18:32Z) - No One Left Behind: Inclusive Federated Learning over Heterogeneous
Devices [79.16481453598266]
この問題に対処するクライアント包摂的フェデレーション学習手法であるInclusiveFLを提案する。
InclusiveFLの中核となる考え方は、異なるサイズのモデルを異なる計算能力を持つクライアントに割り当てることである。
また,異なる大きさの複数の局所モデル間で知識を共有する効果的な手法を提案する。
論文 参考訳（メタデータ） (2022-02-16T13:03:27Z) - An Expectation-Maximization Perspective on Federated Learning [75.67515842938299]
フェデレーション学習は、データをデバイス上でプライベートにしながら、複数のクライアントにわたるモデルの分散トレーニングを記述する。
本稿では,サーバがクライアント固有のモデルパラメータに対して事前分布のパラメータを提供する階層的潜在変数モデルとして,サーバが設定したフェデレーション学習プロセスについて考察する。
我々は,単純なガウス先行とよく知られた期待最大化(EM)アルゴリズムのハードバージョンを用いて,そのようなモデルの学習は,フェデレーション学習環境における最も一般的なアルゴリズムであるFedAvgに対応することを示す。
論文 参考訳（メタデータ） (2021-11-19T12:58:59Z) - Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。
提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。
この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
論文 参考訳（メタデータ） (2021-02-14T05:36:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。