論文の概要: A Multi-Token Coordinate Descent Method for Semi-Decentralized Vertical Federated Learning

• arxiv url: http://arxiv.org/abs/2309.09977v1
• Date: Mon, 18 Sep 2023 17:59:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-19 12:02:08.078350
• Title: A Multi-Token Coordinate Descent Method for Semi-Decentralized Vertical Federated Learning
• Title（参考訳）: 半分散垂直フェデレート学習のためのマルチトケン座標降下法
• Authors: Pedro Valdeira, Yuejie Chi, Cl\'audia Soares, Jo\~ao Xavier
• Abstract要約: コミュニケーション効率は学習における大きな課題である MTCD(Multi-Token Coordinate Descent)を提案する。 MTCDは、半分散垂直連邦設定のための調整可能な通信効率である。
• 参考スコア（独自算出の注目度）: 24.60603310894048
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Communication efficiency is a major challenge in federated learning (FL). In client-server schemes, the server constitutes a bottleneck, and while decentralized setups spread communications, they do not necessarily reduce them due to slower convergence. We propose Multi-Token Coordinate Descent (MTCD), a communication-efficient algorithm for semi-decentralized vertical federated learning, exploiting both client-server and client-client communications when each client holds a small subset of features. Our multi-token method can be seen as a parallel Markov chain (block) coordinate descent algorithm and it subsumes the client-server and decentralized setups as special cases. We obtain a convergence rate of $\mathcal{O}(1/T)$ for nonconvex objectives when tokens roam over disjoint subsets of clients and for convex objectives when they roam over possibly overlapping subsets. Numerical results show that MTCD improves the state-of-the-art communication efficiency and allows for a tunable amount of parallel communications.
• Abstract（参考訳）: コミュニケーション効率は連合学習(fl)において大きな課題である。 クライアントサーバのスキームでは、サーバはボトルネックを構成し、分散したセットアップは通信を広めるが、コンバージェンスが遅いため必ずしも減少しない。 我々は,クライアントサーバとクライアントクライアントの双方の通信を,クライアントが少数の機能を持つ場合に利用する,半分散型垂直連合学習のための通信効率の高いアルゴリズムMTCDを提案する。 我々のマルチトークン手法は並列マルコフ連鎖(ブロック)座標降下アルゴリズムとみなすことができ、クライアントサーバと分散化セットアップを特別なケースとして仮定する。 トークンがクライアントの非結合部分集合の上を歩き回るときの非凸目的に対する$\mathcal{O}(1/T)$の収束率と、重複する可能性のある部分集合の上を歩き回るときの凸目標を得る。 MTCDは最先端の通信効率を向上し、可変量の並列通信を可能にすることを示す。

関連論文リスト

• Communication-Efficient Decentralized Federated Learning via One-Bit Compressive Sensing [52.402550431781805]
  分散連合学習(DFL)は、様々なアプリケーションにまたがる実用性によって人気を博している。 集中型バージョンと比較して、DFLの多数のノード間で共有モデルをトレーニングするのはより難しい。 我々は,iADM (iexact alternating direction method) の枠組みに基づく新しいアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-08-31T12:22:40Z)
• Cooperative Multi-Agent Reinforcement Learning: Asynchronous Communication and Linear Function Approximation [77.09836892653176]
  マルコフ決定過程の設定におけるマルチエージェント強化学習について検討した。 本稿では非同期通信が可能な値に基づく証明可能な効率的なアルゴリズムを提案する。 我々は、コラボレーションによってパフォーマンスを改善するために、最小の$Omega(dM)$通信の複雑さが必要であることを示す。
  論文  参考訳（メタデータ） (2023-05-10T20:29:29Z)
• Efficient Distribution Similarity Identification in Clustered Federated Learning via Principal Angles Between Client Data Subspaces [59.33965805898736]
  クラスタ学習は、クライアントをクラスタにグループ化することで、有望な結果をもたらすことが示されている。 既存のFLアルゴリズムは基本的に、クライアントを同様のディストリビューションでグループ化しようとしている。 以前のFLアルゴリズムは、訓練中に間接的に類似性を試みていた。
  論文  参考訳（メタデータ） (2022-09-21T17:37:54Z)
• DisPFL: Towards Communication-Efficient Personalized Federated Learning via Decentralized Sparse Training [84.81043932706375]
  本稿では,分散型(ピアツーピア)通信プロトコルであるDis-PFLにおいて,新たな個人化フェデレーション学習フレームワークを提案する。 Dis-PFLはパーソナライズされたスパースマスクを使用して、エッジ上のスパースローカルモデルをカスタマイズする。 本手法は,計算複雑性の異なる異種ローカルクライアントに容易に適応できることを実証する。
  論文  参考訳（メタデータ） (2022-06-01T02:20:57Z)
• Mining Latent Relationships among Clients: Peer-to-peer Federated Learning with Adaptive Neighbor Matching [6.959557494221414]
  フェデレートラーニング(FL)では、クライアントは多様な目的を持ち、すべてのクライアントの知識をひとつのグローバルモデルにマージすることで、ローカルパフォーマンスへの負の移行を引き起こす。 我々はP2P(P2P) FLを活用し、クライアントは中心サーバなしで隣人と通信する。 本稿では,クラスタ数を仮定することなく,効率的な通信トポロジを分散的に構築するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-03-23T09:10:14Z)
• Cross-Silo Federated Learning for Multi-Tier Networks with Vertical and Horizontal Data Partitioning [10.884478521872909]
  Tiered Decentralized Coordinate Descent (TDCD)は、2層通信ネットワークのための分散トレーニングアルゴリズムである。 本稿では,垂直分割数,局所更新数,ハブ内のクライアント数に対する収束率の依存性を示す。
  論文  参考訳（メタデータ） (2021-08-19T22:01:04Z)
• Federated Multi-Target Domain Adaptation [99.93375364579484]
  フェデレートされた学習手法により、プライバシを保護しながら、分散ユーザデータ上で機械学習モデルをトレーニングすることが可能になります。 分散クライアントデータがラベル付けされず、集中型ラベル付きデータセットがサーバ上で利用可能となる、より実用的なシナリオを考えます。 本稿では,新しい課題に対処する効果的なDualAdapt法を提案する。
  論文  参考訳（メタデータ） (2021-08-17T17:53:05Z)
• FedChain: Chained Algorithms for Near-Optimal Communication Cost in Federated Learning [24.812767482563878]
  フェデレートラーニング(FL)は、多くのクライアントに分散した異種データ上でモデルをトレーニングする際のコミュニケーションの複雑さを最小限にすることを目的としている。 本稿では,局所的手法と大域的手法の強みを組み合わせたアルゴリズムフレームワークであるFedChainを提案する。
  論文  参考訳（メタデータ） (2021-08-16T02:57:06Z)
• Decentralized Federated Averaging [17.63112147669365]
  Federated Averaging (FedAvg) は、膨大な数のクライアントを持つ分散トレーニングのための通信効率のよいアルゴリズムである。 我々は,非方向性グラフで接続されたクライアントに実装された運動量付き分散FedAvg(DFedAvgM)について検討する。
  論文  参考訳（メタデータ） (2021-04-23T02:01:30Z)
• Multi-Tier Federated Learning for Vertically Partitioned Data [2.817412580574242]
  階層型データセットネットワークにおける分散モデルトレーニングについて検討する。 我々のネットワークモデルはサイロの集合で構成され、それぞれがデータの垂直分割を保持する。
  論文  参考訳（メタデータ） (2021-02-06T17:34:14Z)
• Faster Non-Convex Federated Learning via Global and Local Momentum [57.52663209739171]
  textttFedGLOMOは最初の(一階)FLtexttFedGLOMOアルゴリズムです。 クライアントとサーバ間の通信においても,我々のアルゴリズムは確実に最適である。
  論文  参考訳（メタデータ） (2020-12-07T21:05:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。