論文の概要: Cross-Silo Federated Learning for Multi-Tier Networks with Vertical and Horizontal Data Partitioning

• arxiv url: http://arxiv.org/abs/2108.08930v1
• Date: Thu, 19 Aug 2021 22:01:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-23 13:19:13.074411
• Title: Cross-Silo Federated Learning for Multi-Tier Networks with Vertical and Horizontal Data Partitioning
• Title（参考訳）: 垂直および水平データ分割による多層ネットワークのためのクロスサイロフェデレート学習
• Authors: Anirban Das, Shiqiang Wang and Stacy Patterson
• Abstract要約: Tiered Decentralized Coordinate Descent (TDCD)は、2層通信ネットワークのための分散トレーニングアルゴリズムである。 本稿では,垂直分割数,局所更新数,ハブ内のクライアント数に対する収束率の依存性を示す。
• 参考スコア（独自算出の注目度）: 10.884478521872909
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider federated learning in tiered communication networks. Our network model consists of a set of silos, each holding a vertical partition of the data. Each silo contains a hub and a set of clients, with the silo's vertical data shard partitioned horizontally across its clients. We propose Tiered Decentralized Coordinate Descent (TDCD), a communication-efficient decentralized training algorithm for such two-tiered networks. To reduce communication overhead, the clients in each silo perform multiple local gradient steps before sharing updates with their hub. Each hub adjusts its coordinates by averaging its workers' updates, and then hubs exchange intermediate updates with one another. We present a theoretical analysis of our algorithm and show the dependence of the convergence rate on the number of vertical partitions, the number of local updates, and the number of clients in each hub. We further validate our approach empirically via simulation-based experiments using a variety of datasets and objectives.
• Abstract（参考訳）: 連携型通信ネットワークにおける連合学習について考察する。 我々のネットワークモデルはサイロの集合で構成され、それぞれがデータの垂直分割を保持する。 各サイロにはハブとクライアントセットが含まれており、サイロの垂直データシャードはクライアント間で水平に分割されている。 このような2層ネットワークのための通信効率の高い分散学習アルゴリズムであるTiered Decentralized Coordinate Descent (TDCD)を提案する。 通信オーバーヘッドを低減するため、各サイロのクライアントは、ハブとアップデートを共有する前に、複数のローカル勾配ステップを実行する。 各ハブは、労働者の更新を平均して座標を調整し、ハブは中間更新を相互に交換する。 本稿では,アルゴリズムの理論的解析を行い,各ハブにおける垂直分割数,局所更新数,クライアント数に対する収束率の依存性を示す。 さらに,様々なデータセットと目的を用いてシミュレーション実験を行い,実証的な検証を行った。

関連論文リスト

• Hierarchical Multi-Marginal Optimal Transport for Network Alignment [52.206006379563306]
  マルチネットワークアライメントは,複数ネットワーク上での協調学習に必須の要件である。 マルチネットワークアライメントのための階層型マルチマージ最適トランスポートフレームワークHOTを提案する。 提案するHOTは,有効性とスケーラビリティの両面で,最先端の大幅な改善を実現している。
  論文  参考訳（メタデータ） (2023-10-06T02:35:35Z)
• A Multi-Token Coordinate Descent Method for Semi-Decentralized Vertical Federated Learning [24.60603310894048]
  コミュニケーション効率は学習における大きな課題である MTCD(Multi-Token Coordinate Descent)を提案する。 MTCDは、半分散垂直連邦設定のための調整可能な通信効率である。
  論文  参考訳（メタデータ） (2023-09-18T17:59:01Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• Federated Multi-Target Domain Adaptation [99.93375364579484]
  フェデレートされた学習手法により、プライバシを保護しながら、分散ユーザデータ上で機械学習モデルをトレーニングすることが可能になります。 分散クライアントデータがラベル付けされず、集中型ラベル付きデータセットがサーバ上で利用可能となる、より実用的なシナリオを考えます。 本稿では,新しい課題に対処する効果的なDualAdapt法を提案する。
  論文  参考訳（メタデータ） (2021-08-17T17:53:05Z)
• PyVertical: A Vertical Federated Learning Framework for Multi-headed SplitNN [4.552318473944852]
  PyVerticalは、分割ニューラルネットワークを使用した垂直連合学習をサポートするフレームワークである。 2つのデータ所有者とデータサイエンティストに垂直に分散したデータサンプルを用いて、MNIST分類タスクのための単純なデュアルヘッドスプリットニューラルネットワークのトレーニングを提示する。
  論文  参考訳（メタデータ） (2021-04-01T14:21:33Z)
• Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
  本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。 提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。 この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
  論文  参考訳（メタデータ） (2021-02-14T05:36:25Z)
• Quasi-Global Momentum: Accelerating Decentralized Deep Learning on Heterogeneous Data [77.88594632644347]
  ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。 現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。 本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-02-09T11:27:14Z)
• Multi-Tier Federated Learning for Vertically Partitioned Data [2.817412580574242]
  階層型データセットネットワークにおける分散モデルトレーニングについて検討する。 我々のネットワークモデルはサイロの集合で構成され、それぞれがデータの垂直分割を保持する。
  論文  参考訳（メタデータ） (2021-02-06T17:34:14Z)
• Decentralized Federated Learning via Mutual Knowledge Transfer [37.5341683644709]
  分散型連合学習(DFL)は、モノのインターネット(IoT)システムにおける問題です。 現地のクライアントが学習した知識を相互に転送することでモデルを融合させる相互知識伝達(Def-KT)アルゴリズムを提案します。 MNIST, Fashion-MNIST, CIFAR10データセットに対する実験により,提案アルゴリズムがベースラインDFL法を著しく上回るデータセットを明らかにした。
  論文  参考訳（メタデータ） (2020-12-24T01:43:53Z)
• Multi-Level Local SGD for Heterogeneous Hierarchical Networks [11.699472346137739]
  異種ネットワークにおける学習・非目的フレームワークのための分散勾配法であるマルチレベルローカルSGDを提案する。 まず,マルチレベル局所SGDアルゴリズムを記述する統一数学的手法を提案する。 次に,アルゴリズムの理論的解析を行う。
  論文  参考訳（メタデータ） (2020-07-27T19:14:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。