論文の概要: Federated Hetero-Task Learning

• arxiv url: http://arxiv.org/abs/2206.03436v1
• Date: Tue, 7 Jun 2022 16:43:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-08 15:35:36.444210
• Title: Federated Hetero-Task Learning
• Title（参考訳）: フェデレーションヘテロタスク学習
• Authors: Liuyi Yao, Dawei Gao, Zhen Wang, Yuexiang Xie, Weirui Kuang, Daoyuan Chen, Haohui Wang, Chenhe Dong, Bolin Ding, Yaliang Li
• Abstract要約: 本稿では,シミュレーションデータセット,FLプロトコル,統一評価機構からなるヘテロタスク学習ベンチマークであるB-FHTLを提案する。 異なるFLアルゴリズムの公正な比較を保証するため、B-FHTLはFLプロトコルの完全なセットで構築される。 我々は,B-FHTL内での多タスク学習,フェデレーションパーソナライゼーション,およびフェデレーションメタ学習の分野におけるFLアルゴリズムを比較した。
• 参考スコア（独自算出の注目度）: 42.985155807178685
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To investigate the heterogeneity of federated learning in real-world scenarios, we generalize the classical federated learning to federated hetero-task learning, which emphasizes the inconsistency across the participants in federated learning in terms of both data distribution and learning tasks. We also present B-FHTL, a federated hetero-task learning benchmark consisted of simulation dataset, FL protocols and a unified evaluation mechanism. B-FHTL dataset contains three well-designed federated learning tasks with increasing heterogeneity. Each task simulates the clients with different data distributions and learning tasks. To ensure fair comparison among different FL algorithms, B-FHTL builds in a full suite of FL protocols by providing high-level APIs to avoid privacy leakage, and presets most common evaluation metrics spanning across different learning tasks, such as regression, classification, text generation and etc. Furthermore, we compare the FL algorithms in fields of federated multi-task learning, federated personalization and federated meta learning within B-FHTL, and highlight the influence of heterogeneity and difficulties of federated hetero-task learning. Our benchmark, including the federated dataset, protocols, the evaluation mechanism and the preliminary experiment, is open-sourced at https://github.com/alibaba/FederatedScope/tree/contest/v1.0.
• Abstract（参考訳）: 実世界のシナリオにおけるフェデレーション学習の不均一性を調べるため,従来のフェデレーション学習をフェデレーション・ヘテロタスク学習に一般化し,データ分散と学習タスクの両方の観点から、フェデレーション学習の参加者間の不整合を強調する。 また,シミュレーションデータセット,FLプロトコル,統一評価機構で構成されるヘテロタスク学習ベンチマークであるB-FHTLを提案する。 B-FHTLデータセットは、3つのよく設計されたフェデレーション学習タスクを含む。 各タスクは、異なるデータ分散と学習タスクでクライアントをシミュレートする。 さまざまなFLアルゴリズムの公正な比較を保証するため、B-FHTLはプライバシーの漏洩を避けるための高レベルのAPIを提供し、回帰、分類、テキスト生成など、さまざまな学習タスクにまたがる最も一般的な評価指標をプリセットすることによって、FLプロトコルの完全なスイートを構築する。 さらに,b-fhtlにおけるフェデレーションマルチタスク学習,フェデレーションパーソナライゼーション,フェデレーションメタ学習の分野におけるflアルゴリズムを比較し,フェデレーションヘテロタスク学習の多様性と困難さの影響を強調した。 フェデレーションデータセット、プロトコル、評価メカニズム、予備実験を含む我々のベンチマークはhttps://github.com/alibaba/FederatedScope/tree/contest/v1.0でオープンソース化されている。

関連論文リスト

• Comparative Evaluation of Clustered Federated Learning Methods [0.5242869847419834]
  CFL(Clustered Federated Learning)は、クライアントを均質なグループに分割することを目的としている。 本稿では,2つの最先端CFLアルゴリズムの性能について,フェデレートラーニング(FL)におけるデータ不均一性の分類法を提案する。 我々の目的は、CFLのパフォーマンスとデータ異種シナリオの関係をより明確に理解することである。
  論文  参考訳（メタデータ） (2024-10-18T07:01:56Z)
• Addressing Skewed Heterogeneity via Federated Prototype Rectification with Personalization [35.48757125452761]
  フェデレートラーニング(Federated Learning)は、複数の分散デバイス間の協調モデルトレーニングを容易にするために設計された、効率的なフレームワークである。 連合学習の重要な課題は、データレベルの不均一性、すなわち、スキュードまたはロングテールのプライベートデータの分散である。 本稿では,フェデレーション・パーソナライゼーションとフェデレーション・プロトタイプ・レクティフィケーションの2つの部分からなる新しいフェデレーション・プロトタイプ・レクティフィケーションを提案する。
  論文  参考訳（メタデータ） (2024-08-15T06:26:46Z)
• Efficient Cluster Selection for Personalized Federated Learning: A Multi-Armed Bandit Approach [2.5477011559292175]
  フェデレートラーニング(FL)は、データプライバシを優先する、マシンラーニングモデルのための分散トレーニングアプローチを提供する。 本稿では,マルチアームバンディット(MAB)アプローチに触発された動的アッパー信頼境界(dUCB)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-29T16:46:50Z)
• Generalizable Heterogeneous Federated Cross-Correlation and Instance Similarity Learning [60.058083574671834]
  本稿では,新しいFCCL+,フェデレーション相関と非ターゲット蒸留との類似性学習を提案する。 不均一な問題に対しては、無関係な公開データを通信に活用する。 局所的な更新段階における破滅的な忘れ物として、FCCL+はFederated Non Target Distillationを導入している。
  論文  参考訳（メタデータ） (2023-09-28T09:32:27Z)
• UNIDEAL: Curriculum Knowledge Distillation Federated Learning [17.817181326740698]
  フェデレートラーニング(FL)は、複数のクライアント間で協調学習を可能にする、有望なアプローチとして登場した。 本稿では,ドメイン横断シナリオの課題に対処するための新しいFLアルゴリズムであるUNIを提案する。 この結果から,UNIはモデル精度と通信効率の両面において優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2023-09-16T11:30:29Z)
• Collaborating Heterogeneous Natural Language Processing Tasks via Federated Learning [55.99444047920231]
  提案するATCフレームワークは, 各種ベースライン手法と比較して, 大幅な改善を実現している。 自然言語理解(NLU)タスクと自然言語生成(NLG)タスクを対象とする,広く使用されている6つのデータセットについて,広範な実験を行った。
  論文  参考訳（メタデータ） (2022-12-12T09:27:50Z)
• FedGradNorm: Personalized Federated Gradient-Normalized Multi-Task Learning [50.756991828015316]
  マルチタスク学習(MTL)は、1つの共有ネットワークで複数のタスクを同時に学習する新しいフレームワークである。 本稿では,異なるタスク間の学習速度のバランスをとるために,動的重み付け法を用いてノルムの正規化を行うFedGradNormを提案する。
  論文  参考訳（メタデータ） (2022-03-24T17:43:12Z)
• CoFED: Cross-silo Heterogeneous Federated Multi-task Learning via Co-training [11.198612582299813]
  Federated Learning(FL)は、参加者がプライベートデータを交換することなく、高品質なモデルを協調的にトレーニングできる機械学習技術である。 擬似ラベル付き未ラベルデータに基づく通信効率の高いFLスキームであるCoFEDを提案する。 実験結果から,CoFEDは通信コストの低減を図った。
  論文  参考訳（メタデータ） (2022-02-17T11:34:20Z)
• Heterogeneous Federated Learning via Grouped Sequential-to-Parallel Training [60.892342868936865]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ保護のためのコラボレーション機械学習パラダイムである。 本稿では,この課題に対処するため,データヘテロジニアス・ロバストFLアプローチであるFedGSPを提案する。 その結果,FedGSPは7つの最先端アプローチと比較して平均3.7%の精度向上を実現していることがわかった。
  論文  参考訳（メタデータ） (2022-01-31T03:15:28Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。