論文の概要: Multi-Tier Federated Learning for Vertically Partitioned Data
- arxiv url: http://arxiv.org/abs/2102.03620v1
- Date: Sat, 6 Feb 2021 17:34:14 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-09 15:22:38.721222
- Title: Multi-Tier Federated Learning for Vertically Partitioned Data
- Title（参考訳）: 垂直分割データに対するマルチティアフェデレーション学習
- Authors: Anirban Das and Stacy Patterson
- Abstract要約: 階層型データセットネットワークにおける分散モデルトレーニングについて検討する。
我々のネットワークモデルはサイロの集合で構成され、それぞれがデータの垂直分割を保持する。
- 参考スコア（独自算出の注目度）: 2.817412580574242
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider decentralized model training in tiered communication networks.
Our network model consists of a set of silos, each holding a vertical partition
of the data. Each silo contains a hub and a set of clients, with the silo's
vertical data shard partitioned horizontally across its clients. We propose
Tiered Decentralized Coordinate Descent (TDCD), a communication-efficient
decentralized training algorithm for such two-tiered networks. To reduce
communication overhead, the clients in each silo perform multiple local
gradient steps before sharing updates with their hub. Each hub adjusts its
coordinates by averaging its workers' updates, and then hubs exchange
intermediate updates with one another. We present a theoretical analysis of our
algorithm and show the dependence of the convergence rate on the number of
vertical partitions, the number of local updates, and the number of clients in
each hub. We further validate our approach empirically via simulation-based
experiments using a variety of datasets and both convex and non-convex
objectives.
- Abstract（参考訳）: 階層型通信ネットワークにおける分散モデルトレーニングについて考察する。
我々のネットワークモデルはサイロの集合で構成され、それぞれがデータの垂直分割を保持する。
各サイロにはハブとクライアントセットが含まれており、サイロの垂直データシャードはクライアント間で水平に分割されている。
このような2層ネットワークのための通信効率の高い分散学習アルゴリズムであるTiered Decentralized Coordinate Descent (TDCD)を提案する。
通信オーバーヘッドを低減するため、各サイロのクライアントは、ハブとアップデートを共有する前に、複数のローカル勾配ステップを実行する。
各ハブは、労働者の更新を平均して座標を調整し、ハブは中間更新を相互に交換する。
本稿では,アルゴリズムの理論的解析を行い,各ハブにおける垂直分割数,局所更新数,クライアント数に対する収束率の依存性を示す。
さらに、様々なデータセットと凸と非凸の両方の目的を用いてシミュレーションに基づく実験により、我々のアプローチを実証的に検証する。
関連論文リスト
- Decentralized Sporadic Federated Learning: A Unified Algorithmic Framework with Convergence Guarantees [18.24213566328972]
分散分散学習(DFL)は、(i)モデル更新と(ii)モデルアグリゲーションの両方をクライアントが中央サーバなしで実行するFL設定をキャプチャする。
DSpodFLは、さまざまなシステム設定下でのベースラインと比較して、一貫して速度を達成している。
論文 参考訳（メタデータ） (2024-02-05T19:02:19Z) - A Multi-Token Coordinate Descent Method for Semi-Decentralized Vertical
Federated Learning [24.60603310894048]
コミュニケーション効率は学習における大きな課題である
MTCD(Multi-Token Coordinate Descent)を提案する。
MTCDは、半分散垂直連邦設定のための調整可能な通信効率である。
論文 参考訳（メタデータ） (2023-09-18T17:59:01Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。
FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。
SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。
本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文 参考訳（メタデータ） (2022-11-20T10:49:22Z) - Over-The-Air Federated Learning under Byzantine Attacks [43.67333971183711]
フェデレートラーニング(FL)は多くのAIアプリケーションを実現するための有望なソリューションである。
FLは、クライアントがローカルデータを共有せずに、中央サーバが管理するトレーニングフェーズに参加することを可能にする。
FLの主な課題の1つは、通信オーバーヘッドである。
本稿では,このような攻撃の効果を低減するための送信・集約フレームワークを提案する。
論文 参考訳（メタデータ） (2022-05-05T22:09:21Z) - FedDC: Federated Learning with Non-IID Data via Local Drift Decoupling
and Correction [48.85303253333453]
フェデレートラーニング(FL)は、複数のクライアントがプライベートデータを共有せずに、高性能なグローバルモデルを集合的にトレーニングすることを可能にする。
局所的ドリフトデカップリングと補正(FedDC)を用いた新しいフェデレーション学習アルゴリズムを提案する。
私たちのFedDCでは、ローカルモデルパラメータとグローバルモデルパラメータのギャップを追跡するために、各クライアントが補助的なローカルドリフト変数を使用するような、ローカルトレーニングフェーズにおける軽量な修正のみを導入しています。
実験結果と解析結果から,FedDCは様々な画像分類タスクにおいて,収差の迅速化と性能の向上を図っている。
論文 参考訳（メタデータ） (2022-03-22T14:06:26Z) - Cross-Silo Federated Learning for Multi-Tier Networks with Vertical and Horizontal Data Partitioning [20.410494162333972]
Tiered Decentralized Coordinate Descent (TDCD)は、2層通信ネットワークのための分散トレーニングアルゴリズムである。
本稿では,本アルゴリズムの理論的解析を行い,垂直分割数と局所更新数に対する収束率の依存性を示す。
論文 参考訳（メタデータ） (2021-08-19T22:01:04Z) - Federated Multi-Target Domain Adaptation [99.93375364579484]
フェデレートされた学習手法により、プライバシを保護しながら、分散ユーザデータ上で機械学習モデルをトレーニングすることが可能になります。
分散クライアントデータがラベル付けされず、集中型ラベル付きデータセットがサーバ上で利用可能となる、より実用的なシナリオを考えます。
本稿では,新しい課題に対処する効果的なDualAdapt法を提案する。
論文 参考訳（メタデータ） (2021-08-17T17:53:05Z) - Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。
提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。
この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
論文 参考訳（メタデータ） (2021-02-14T05:36:25Z) - Quasi-Global Momentum: Accelerating Decentralized Deep Learning on
Heterogeneous Data [77.88594632644347]
ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。
現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。
本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
論文 参考訳（メタデータ） (2021-02-09T11:27:14Z) - Decentralized Federated Learning via Mutual Knowledge Transfer [37.5341683644709]
分散型連合学習(DFL)は、モノのインターネット(IoT)システムにおける問題です。
現地のクライアントが学習した知識を相互に転送することでモデルを融合させる相互知識伝達(Def-KT)アルゴリズムを提案します。
MNIST, Fashion-MNIST, CIFAR10データセットに対する実験により,提案アルゴリズムがベースラインDFL法を著しく上回るデータセットを明らかにした。
論文 参考訳（メタデータ） (2020-12-24T01:43:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。