論文の概要: Multi-Task Model Personalization for Federated Supervised SVM in Heterogeneous Networks

• arxiv url: http://arxiv.org/abs/2303.10254v2
• Date: Sat, 1 Apr 2023 16:18:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-04 20:42:22.008042
• Title: Multi-Task Model Personalization for Federated Supervised SVM in Heterogeneous Networks
• Title（参考訳）: 不均一ネットワークにおけるフェデレーションSVMのマルチタスクモデルパーソナライゼーション
• Authors: Aleksei Ponomarenko-Timofeev, Olga Galinina, Ravikumar Balakrishnan, Nageen Himayat, Sergey Andreev, and Yevgeni Koucheryavy
• Abstract要約: フェデレーションシステムは、モデルパーソナライゼーションを通じて、高度に異質なデータの協調トレーニングを可能にする。 マルチタスク・フェデレーション・セッティングにおける多様な参加者の学習手順を高速化するためには、より効率的で堅牢な手法を開発する必要がある。 本稿では,支援ベクトルマシン(SVM)のための乗算器の交互方向法(ADMM)に基づく効率的な反復分散手法を設計する。 提案手法は、異種ノードのネットワークにおける効率的な計算とモデル交換を利用し、非i.d.データの存在下で学習モデルのパーソナライズを可能にする。
• 参考スコア（独自算出の注目度）: 10.169907307499916
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Federated systems enable collaborative training on highly heterogeneous data through model personalization, which can be facilitated by employing multi-task learning algorithms. However, significant variation in device computing capabilities may result in substantial degradation in the convergence rate of training. To accelerate the learning procedure for diverse participants in a multi-task federated setting, more efficient and robust methods need to be developed. In this paper, we design an efficient iterative distributed method based on the alternating direction method of multipliers (ADMM) for support vector machines (SVMs), which tackles federated classification and regression. The proposed method utilizes efficient computations and model exchange in a network of heterogeneous nodes and allows personalization of the learning model in the presence of non-i.i.d. data. To further enhance privacy, we introduce a random mask procedure that helps avoid data inversion. Finally, we analyze the impact of the proposed privacy mechanisms and participant hardware and data heterogeneity on the system performance.
• Abstract（参考訳）: フェデレーションシステムは、マルチタスク学習アルゴリズムを使用することにより、モデルパーソナライズを通じて、高度に異種なデータに対する協調的なトレーニングを可能にする。 しかし、デバイス計算能力の大幅な変化は、訓練の収束率を著しく低下させる可能性がある。 マルチタスクのフェデレーション設定において、多様な参加者の学習手順を高速化するために、より効率的で堅牢な方法を開発する必要がある。 本稿では,分散化と回帰に対処するサポートベクトルマシン(SVM)のための乗算器の交互方向法(ADMM)に基づく効率的な反復分散手法を設計する。 提案手法は、異種ノードのネットワークにおける効率的な計算とモデル交換を利用し、非i.d.データの存在下で学習モデルのパーソナライズを可能にする。 プライバシーをさらに強化するため,データ反転を回避するためにランダムマスク方式を導入する。 最後に,提案するプライバシ機構と参加者ハードウェアとデータの均一性がシステム性能に与える影響を分析する。

関連論文リスト

• FedECADO: A Dynamical System Model of Federated Learning [15.425099636035108]
  フェデレーション学習は分散最適化の力を活用して、別々のクライアント間で統一された機械学習モデルをトレーニングする。 本研究は,フェデレート学習プロセスの動的システム表現にインスパイアされた新しいアルゴリズムであるFedECADOを提案する。 FedProxやFedNovaといった著名な技術と比較して、FedECADOは多くの異種シナリオにおいて高い分類精度を達成する。
  論文  参考訳（メタデータ） (2024-10-13T17:26:43Z)
• FedShift: Tackling Dual Heterogeneity Problem of Federated Learning via Weight Shift Aggregation [6.3842184099869295]
  Federated Learning(FL)は、データプライバシの保護に重点を置いて、マシンラーニングモデルをトレーニングするための魅力的な方法を提供する。 FLにおいて認識された課題であるシステム不均一性と統計的不均一性の存在は、クライアントハードウェア、ネットワーク、データセット分布の多様性から生じる。 本稿では,2つのヘテロジニアスシナリオにおいて,トレーニング速度とモデルの精度を両立させる新しいアルゴリズムであるFedShiftを紹介する。
  論文  参考訳（メタデータ） (2024-02-02T00:03:51Z)
• Efficient Cluster Selection for Personalized Federated Learning: A Multi-Armed Bandit Approach [2.5477011559292175]
  フェデレートラーニング(FL)は、データプライバシを優先する、マシンラーニングモデルのための分散トレーニングアプローチを提供する。 本稿では,マルチアームバンディット(MAB)アプローチに触発された動的アッパー信頼境界(dUCB)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-29T16:46:50Z)
• FedSym: Unleashing the Power of Entropy for Benchmarking the Algorithms for Federated Learning [1.4656078321003647]
  Federated Learning(FL)は、独立した学習者がデータをプライベートに処理する分散機械学習アプローチである。 現在普及しているデータ分割技術について検討し、その主な欠点を可視化する。 エントロピーと対称性を利用して「最も困難」かつ制御可能なデータ分布を構築する手法を提案する。
  論文  参考訳（メタデータ） (2023-10-11T18:39:08Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Consistency and Diversity induced Human Motion Segmentation [231.36289425663702]
  本稿では,CDMS(Consistency and Diversity induced Human Motion)アルゴリズムを提案する。 我々のモデルは、ソースとターゲットデータを異なる多層特徴空間に分解する。 ソースとターゲットデータ間の領域ギャップを低減するために、マルチミューチュアル学習戦略を実行する。
  論文  参考訳（メタデータ） (2022-02-10T06:23:56Z)
• Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
  マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。 我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。 コア最適化問題の実用的なパラメトリゼーションを提供する。
  論文  参考訳（メタデータ） (2021-07-08T18:01:02Z)
• Quasi-Global Momentum: Accelerating Decentralized Deep Learning on Heterogeneous Data [77.88594632644347]
  ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。 現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。 本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-02-09T11:27:14Z)
• Adaptive Serverless Learning [114.36410688552579]
  本研究では,データから学習率を動的に計算できる適応型分散学習手法を提案する。 提案アルゴリズムは, 作業者数に対して線形高速化が可能であることを示す。 通信効率のオーバーヘッドを低減するため,通信効率のよい分散訓練手法を提案する。
  論文  参考訳（メタデータ） (2020-08-24T13:23:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。