論文の概要: SignSGD with Federated Voting

• arxiv url: http://arxiv.org/abs/2403.16372v1
• Date: Mon, 25 Mar 2024 02:32:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-26 16:17:05.311199
• Title: SignSGD with Federated Voting
• Title（参考訳）: フェデレート投票によるSignSGD
• Authors: Chanho Park, H. Vincent Poor, Namyoon Lee,
• Abstract要約: SignSGD with majority voting (signSGD-MV) は1ビット量子化により通信コストを大幅に削減できる効果的な分散学習アルゴリズムである。 我々は、テキストフェデレート投票(signSGD-FV)を用いた新しいサインSGDを提案する。 連合投票の考え方は、学習可能な重量を利用して多数決を行うことである。 提案手法は, エッジデバイスが不均一なミニバッチサイズを使用する場合でも, 理論的収束を保証する。
• 参考スコア（独自算出の注目度）: 69.06621279967865
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distributed learning is commonly used for accelerating model training by harnessing the computational capabilities of multiple-edge devices. However, in practical applications, the communication delay emerges as a bottleneck due to the substantial information exchange required between workers and a central parameter server. SignSGD with majority voting (signSGD-MV) is an effective distributed learning algorithm that can significantly reduce communication costs by one-bit quantization. However, due to heterogeneous computational capabilities, it fails to converge when the mini-batch sizes differ among workers. To overcome this, we propose a novel signSGD optimizer with \textit{federated voting} (signSGD-FV). The idea of federated voting is to exploit learnable weights to perform weighted majority voting. The server learns the weights assigned to the edge devices in an online fashion based on their computational capabilities. Subsequently, these weights are employed to decode the signs of the aggregated local gradients in such a way to minimize the sign decoding error probability. We provide a unified convergence rate analysis framework applicable to scenarios where the estimated weights are known to the parameter server either perfectly or imperfectly. We demonstrate that the proposed signSGD-FV algorithm has a theoretical convergence guarantee even when edge devices use heterogeneous mini-batch sizes. Experimental results show that signSGD-FV outperforms signSGD-MV, exhibiting a faster convergence rate, especially in heterogeneous mini-batch sizes.
• Abstract（参考訳）: 分散学習は、マルチエッジデバイスの計算能力を活用することにより、モデルトレーニングの加速に一般的に使用される。 しかし,現実的な応用では,労働者と中央パラメータサーバとの間の情報交換がかなり必要となるため,通信遅延がボトルネックとして現れる。 SignSGD with majority voting (signSGD-MV) は1ビット量子化により通信コストを大幅に削減できる効果的な分散学習アルゴリズムである。 しかし、不均一な計算能力のため、ミニバッチサイズが作業者によって異なる場合には収束しない。 これを解決するために, \textit{federated voting} (signSGD-FV) を用いた新しい符号SGDオプティマイザを提案する。 連合投票の考え方は、学習可能な重量を利用して多数決を行うことである。 サーバは、その計算能力に基づいて、エッジデバイスに割り当てられた重みをオンライン形式で学習する。 その後、これらの重みは、符号復号誤差の確率を最小化するために、集約された局所勾配の符号を復号するために用いられる。 パラメータサーバに推定重みが完全に、あるいは不完全であるシナリオに適用可能な統合収束率分析フレームワークを提供する。 提案手法は, エッジデバイスが不均一なミニバッチサイズを使用する場合でも, 理論的収束を保証する。 実験の結果,SignSGD-FV は signSGD-MV より優れており,特に異種小バッチサイズにおいてより高速な収束速度を示すことがわかった。

関連論文リスト

• FedScalar: A Communication efficient Federated Learning [0.0]
  フェデレーテッド・ラーニング(FL)は分散機械学習でかなりの人気を集めている。 emphFedScalarは、エージェントが単一のスカラーを使用して更新を通信することを可能にする。
  論文  参考訳（メタデータ） (2024-10-03T07:06:49Z)
• SignSGD with Federated Defense: Harnessing Adversarial Attacks through Gradient Sign Decoding [26.433639269480345]
  多数決のSignSGD(signSGD-MV)は、複数の労働者を用いたモデルトレーニングを加速するための単純かつ効果的なアプローチである。 対人労働者の増加に伴い収束率が不変であることを示し、対人労働者の数は対人労働者のそれよりも小さいことを仮定する。 従来のアプローチとは異なり、SignSGD-FDは適切な重みを持つ敵の労働者が送信する勾配情報を利用する。
  論文  参考訳（メタデータ） (2024-02-02T11:53:27Z)
• Sparse-SignSGD with Majority Vote for Communication-Efficient Distributed Learning [20.22227794319504]
  $sf S3$GD-MVは通信効率の高い分散最適化アルゴリズムである。 通信コストを大幅に削減しつつ,SignSGDと同等の速度で収束することを示す。 これらの知見は、深層学習における通信効率の高い分散最適化のための有望なソリューションとして、$sf S3$GD-MVの可能性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-02-15T05:36:41Z)
• Design and Prototyping Distributed CNN Inference Acceleration in Edge Computing [85.74517957717363]
  HALPはエッジコンピューティングにおけるエッジデバイス(ED)間のシームレスなコラボレーションを設計することで推論を加速する。 実験により、分散推論HALPはVGG-16に対して1.7倍の推論加速を達成することが示された。 分散推論HALPを用いたモデル選択は,サービスの信頼性を著しく向上させることができる。
  論文  参考訳（メタデータ） (2022-11-24T19:48:30Z)
• Task-Oriented Over-the-Air Computation for Multi-Device Edge AI [57.50247872182593]
  エッジAIをサポートするための6Gネットワークは、AIタスクの効率的かつ効率的な実行に焦点を当てたタスク指向のテクニックを備えている。 本稿では,マルチデバイススプリット推論システムにおけるタスク指向オーバー・ザ・エア計算(AirComp)方式を提案する。
  論文  参考訳（メタデータ） (2022-11-02T16:35:14Z)
• Task-Oriented Sensing, Computation, and Communication Integration for Multi-Device Edge AI [108.08079323459822]
  本稿では,AIモデルの分割推論と統合センシング通信(ISAC)を併用した,新しいマルチインテリジェントエッジ人工レイテンシ(AI)システムについて検討する。 推定精度は近似的だが抽出可能な計量、すなわち判別利得を用いて測定する。
  論文  参考訳（メタデータ） (2022-07-03T06:57:07Z)
• Wireless Federated Learning with Limited Communication and Differential Privacy [21.328507360172203]
  本稿では,空力計算(AirComp)に基づくフェデレーション学習(FL)モデルにおいて,リモートユーザにおけるローカルデータセットの効率的な通信と差分プライバシー(DP)における次元性低減の役割について検討する。
  論文  参考訳（メタデータ） (2021-06-01T15:23:12Z)
• Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
  セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。 通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。 分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。 分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
  論文  参考訳（メタデータ） (2020-10-02T10:41:59Z)
• Straggler-aware Distributed Learning: Communication Computation Latency Trade-off [56.08535873173518]
  ストラグワーカーは冗長な計算を割り当て、データと計算をまたいでコーディングすることで許容できる。 既存のほとんどのスキームでは、各非ストラグリングワーカーは、全ての計算を完了した後、1イテレーションごとに1つのメッセージをパラメータサーバ(PS)に送信する。 このような制限を課すことで、ストレグリング動作の不正確な予測による過剰計算と、ストレグラー/非ストレグラーとしての作業員の処理による未使用の2つの主な欠点が生じる。
  論文  参考訳（メタデータ） (2020-04-10T08:39:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。