Fugu-MT 論文翻訳(概要): Towards Hetero-Client Federated Multi-Task Learning

論文の概要: Towards Hetero-Client Federated Multi-Task Learning

arxiv url: http://arxiv.org/abs/2311.13250v1
Date: Wed, 22 Nov 2023 09:12:50 GMT
ステータス: 処理完了
システム内更新日: 2023-11-23 15:27:52.927047
Title: Towards Hetero-Client Federated Multi-Task Learning
Title（参考訳）: ヘテロクライアントフェデレーション型マルチタスク学習に向けて
Authors: Yuxiang Lu, Suizhi Huang, Yuwen Yang, Shalayiding Sirejiding, Yue Ding, Hongtao Lu
Abstract要約: Federated Learning (FL)は、ローカルデータをプライベートに使用して、分散クライアント間の共同トレーニングを可能にする。我々は,多様なタスク設定に対応するために,新しい問題設定であるヘテロクライアントフェデレーション・マルチタスク学習(HC-FMTL)を導入する。我々は、異種クライアント間の関係をモデル化することでパーソナライズされたモデルのフェデレーショントレーニングを可能にするFedHCA$2$フレームワークを提案する。
参考スコア（独自算出の注目度）: 18.601886059536326
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated Learning (FL) enables joint training across distributed clients using their local data privately. Federated Multi-Task Learning (FMTL) builds on FL to handle multiple tasks, assuming model congruity that identical model architecture is deployed in each client. To relax this assumption and thus extend real-world applicability, we introduce a novel problem setting, Hetero-Client Federated Multi-Task Learning (HC-FMTL), to accommodate diverse task setups. The main challenge of HC-FMTL is the model incongruity issue that invalidates conventional aggregation methods. It also escalates the difficulties in accurate model aggregation to deal with data and task heterogeneity inherent in FMTL. To address these challenges, we propose the FedHCA$^2$ framework, which allows for federated training of personalized models by modeling relationships among heterogeneous clients. Drawing on our theoretical insights into the difference between multi-task and federated optimization, we propose the Hyper Conflict-Averse Aggregation scheme to mitigate conflicts during encoder updates. Additionally, inspired by task interaction in MTL, the Hyper Cross Attention Aggregation scheme uses layer-wise cross attention to enhance decoder interactions while alleviating model incongruity. Moreover, we employ learnable Hyper Aggregation Weights for each client to customize personalized parameter updates. Extensive experiments demonstrate the superior performance of FedHCA$^2$ in various HC-FMTL scenarios compared to representative methods. Our code will be made publicly available.
Abstract（参考訳）: Federated Learning (FL)は、ローカルデータをプライベートに使用する分散クライアント間の共同トレーニングを可能にする。 Federated Multi-Task Learning (FMTL)はFL上に構築され、複数のタスクを処理する。この仮定を緩和し、現実の応用性を拡張するため、多様なタスク設定に対応するために、新しい問題設定であるHetero-Client Federated Multi-Task Learning(HC-FMTL)を導入する。 HC-FMTLの主な課題は、従来の集約手法を無効にするモデル不整合問題である。また、fmtlに固有のデータとタスクの不均一性を扱うために、正確なモデル集約の難しさをエスカレートする。そこで我々は,ヘテロジニアスクライアント間の関係をモデル化することでパーソナライズされたモデルのフェデレートトレーニングを可能にするfedhca$^2$フレームワークを提案する。マルチタスクとフェデレーション最適化の違いに関する理論的知見に基づいて,エンコーダ更新時の競合を軽減するためのHyper Conflict-Averse Aggregationスキームを提案する。さらに、mtlのタスクインタラクションにインスパイアされたハイパークロスアテンションアグリゲーションスキームは、モデルの不合理さを緩和しながらデコーダインタラクションを強化するために層間クロスアグリゲーションを使用する。さらに,各クライアントに学習可能なハイパーアグリゲーション重みを用い,パーソナライズされたパラメータ更新をカスタマイズする。 HC-FMTLの様々なシナリオにおいて,FedHCA$^2$の優れた性能を示す実験を行った。私たちのコードは公開されます。

関連論文リスト

FedECADO: A Dynamical System Model of Federated Learning [15.425099636035108]
フェデレーション学習は分散最適化の力を活用して、別々のクライアント間で統一された機械学習モデルをトレーニングする。本研究は,フェデレート学習プロセスの動的システム表現にインスパイアされた新しいアルゴリズムであるFedECADOを提案する。 FedProxやFedNovaといった著名な技術と比較して、FedECADOは多くの異種シナリオにおいて高い分類精度を達成する。
論文参考訳（メタデータ） (2024-10-13T17:26:43Z)
FedMoE: Personalized Federated Learning via Heterogeneous Mixture of Experts [4.412721048192925]
我々は、データ不均一性に対処するための効率的パーソナライズされたFederated LearningフレームワークであるFedMoEを紹介する。 FedMoEは2つの微調整段階から構成されており、第1段階では、観測されたアクティベーションパターンに基づいて探索を行うことで問題を単純化する。第2段階では、これらのサブモデルはさらなるトレーニングのためにクライアントに配布され、サーバ集約のために返される。
論文参考訳（メタデータ） (2024-08-21T03:16:12Z)
Leveraging Foundation Models for Multi-modal Federated Learning with Incomplete Modality [41.79433449873368]
我々は、事前学習完了(FedMVP)を用いた新しいマルチモーダル・コントラスト学習法、フェデレーション・マルチモーダル・コントラストVeトレーニングを提案する。 FedMVPは、大規模な事前トレーニングモデルを統合して、フェデレーショントレーニングを強化する。実世界の2つの画像テキスト分類データセットよりも優れた性能を示す。
論文参考訳（メタデータ） (2024-06-16T19:18:06Z)
FedAST: Federated Asynchronous Simultaneous Training [27.492821176616815]
フェデレートラーニング(FL)は、デバイスやクライアントがプライベートデータを共有せずに機械学習(ML)モデルを協調的にトレーニングすることを可能にする。 FLにおける既存の作業の多くは、1つのタスクのモデルを効率的に学習することに集中しています。本稿では,共通データセットを用いた複数のFLモデルの同時学習を提案する。
論文参考訳（メタデータ） (2024-06-01T05:14:20Z)
Merging Multi-Task Models via Weight-Ensembling Mixture of Experts [64.94129594112557]
異なるタスクでトレーニングされたTransformerベースのモデルを単一の統一モデルにマージすることで、すべてのタスクを同時に実行できる。従来の手法は、タスク演算によって例示され、効率的かつスケーラブルであることが証明されている。本稿では,Transformer層をMoEモジュールにアップスケーリングしながら,ほとんどのパラメータをマージすることを提案する。
論文参考訳（メタデータ） (2024-02-01T08:58:57Z)
FedYolo: Augmenting Federated Learning with Pretrained Transformers [61.56476056444933]
本研究では,デバイス上での学習目標を達成するための事前学習型トランスフォーマー(PTF)について検討する。大規模化により,代替手法間の精度ギャップが小さくなり,ロバスト性も向上することを示す。最後に、クライアントは単一のPTFを使用して複数の無関係なタスクを同時に解決できる。
論文参考訳（メタデータ） (2023-07-10T21:08:52Z)
FedBone: Towards Large-Scale Federated Multi-Task Learning [13.835972363413884]
現実世界のアプリケーションでは、視覚と自然言語のタスクは、高レベルの抽象的特徴を抽出するために大規模なモデルを必要とする。既存のHFML手法は、マルチタスク最適化における勾配競合の影響を無視している。我々はFedBoneと呼ばれる革新的なフレームワークを提案し、より優れた一般化を伴う大規模モデルの構築を可能にする。
論文参考訳（メタデータ） (2023-06-30T08:19:38Z)
Mod-Squad: Designing Mixture of Experts As Modular Multi-Task Learners [74.92558307689265]
専門家グループ("スクワッド")にモジュール化された新しいモデルであるMod-Squadを提案する。単一モデルのトレーニング中に、このマッチングプロセスを最適化する。 13の視覚タスクを持つタスクノミーデータセットと、5つの視覚タスクを持つPASCAL-Contextデータセットの実験は、我々のアプローチの優位性を示している。
論文参考訳（メタデータ） (2022-12-15T18:59:52Z)
FedFM: Anchor-based Feature Matching for Data Heterogeneity in Federated Learning [91.74206675452888]
本稿では,各クライアントの特徴を共有カテゴリーのアンカーにマッチさせる新しいFedFM法を提案する。効率と柔軟性を向上させるため,FedFM-Liteと呼ばれるFedFM変種を提案し,クライアントは同期時間と通信帯域幅のコストを少なくしてサーバと通信する。
論文参考訳（メタデータ） (2022-10-14T08:11:34Z)
FedGradNorm: Personalized Federated Gradient-Normalized Multi-Task Learning [50.756991828015316]
マルチタスク学習(MTL)は、1つの共有ネットワークで複数のタスクを同時に学習する新しいフレームワークである。本稿では,異なるタスク間の学習速度のバランスをとるために,動的重み付け法を用いてノルムの正規化を行うFedGradNormを提案する。
論文参考訳（メタデータ） (2022-03-24T17:43:12Z)
Federated Mutual Learning [65.46254760557073]
Federated Mutual Leaning (FML)は、クライアントが汎用モデルとパーソナライズされたモデルを独立してトレーニングすることを可能にする。実験により、FMLは一般的なフェデレート学習環境よりも優れた性能が得られることが示された。
論文参考訳（メタデータ） (2020-06-27T09:35:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。