論文の概要: CDMA: A Practical Cross-Device Federated Learning Algorithm for General Minimax Problems

• arxiv url: http://arxiv.org/abs/2105.14216v4
• Date: Thu, 29 Jun 2023 02:41:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-30 19:45:50.179221
• Title: CDMA: A Practical Cross-Device Federated Learning Algorithm for General Minimax Problems
• Title（参考訳）: CDMA: 汎用ミニマックス問題のための実践的クロスデバイスフェデレーション学習アルゴリズム
• Authors: Jiahao Xie, Chao Zhang, Zebang Shen, Weijie Liu, Hui Qian
• Abstract要約: ミニマックス問題は、堅牢な敵対学習やGAN(Generative Adversarial Network)トレーニングを含む、幅広い重要な応用で発生する。 我々は,クロスデバイスFL設定における汎用ミニマックス問題に対して,CDMAと呼ばれる最初の実用的アルゴリズムを開発した。 CDMAはStart-Immediately-With-Enough-Ensponsesメカニズムに基づいており、サーバはまずクライアントのサブセットに信号を送り、各ラウンドで十分なクライアントから応答を受けたときにクライアントが報告したローカル結果の集約を開始する。
• 参考スコア（独自算出の注目度）: 21.595391808043484
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Minimax problems arise in a wide range of important applications including robust adversarial learning and Generative Adversarial Network (GAN) training. Recently, algorithms for minimax problems in the Federated Learning (FL) paradigm have received considerable interest. Existing federated algorithms for general minimax problems require the full aggregation (i.e., aggregation of local model information from all clients) in each training round. Thus, they are inapplicable to an important setting of FL known as the cross-device setting, which involves numerous unreliable mobile/IoT devices. In this paper, we develop the first practical algorithm named CDMA for general minimax problems in the cross-device FL setting. CDMA is based on a Start-Immediately-With-Enough-Responses mechanism, in which the server first signals a subset of clients to perform local computation and then starts to aggregate the local results reported by clients once it receives responses from enough clients in each round. With this mechanism, CDMA is resilient to the low client availability. In addition, CDMA is incorporated with a lightweight global correction in the local update steps of clients, which mitigates the impact of slow network connections. We establish theoretical guarantees of CDMA under different choices of hyperparameters and conduct experiments on AUC maximization, robust adversarial network training, and GAN training tasks. Theoretical and experimental results demonstrate the efficiency of CDMA.
• Abstract（参考訳）: ミニマックス問題は、堅牢な敵対学習やGAN(Generative Adversarial Network)トレーニングを含む、幅広い重要な応用で発生する。 近年,federated learning (fl)パラダイムにおけるミニマックス問題のアルゴリズムが注目されている。 一般的なミニマックス問題に対する既存のフェデレーションアルゴリズムは、トレーニングラウンドごとに完全な集約(すなわち、すべてのクライアントからのローカルモデル情報の集約)を必要とする。 したがって、多くの信頼性の低いモバイル/IoTデバイスを含むクロスデバイスセッティングとして知られるFLの重要な設定には適用できない。 本稿では,デバイス間FL設定における一般ミニマックス問題に対するCDMAという実用的なアルゴリズムを開発した。 CDMAはStart-Immediately-With-Enough-Ensponsesメカニズムに基づいており、サーバはまずクライアントのサブセットに信号を送り、各ラウンドで十分なクライアントから応答を受けたときにクライアントが報告したローカル結果の集約を開始する。 このメカニズムにより、CDMAは低いクライアント可用性に耐性がある。 さらに、CDMAはクライアントのローカル更新ステップに軽量なグローバル修正が組み込まれており、ネットワーク接続の遅い影響を軽減している。 我々は,超パラメータの異なる選択の下でCDMAの理論的保証を確立し,AUC最大化,頑健な敵ネットワークトレーニング,GANトレーニングタスクについて実験を行った。 理論的および実験的結果はCDMAの効率を示す。

関連論文リスト

• Design Optimization of NOMA Aided Multi-STAR-RIS for Indoor Environments: A Convex Approximation Imitated Reinforcement Learning Approach [51.63921041249406]
  非直交多重アクセス(Noma)により、複数のユーザが同じ周波数帯域を共有でき、同時に再構成可能なインテリジェントサーフェス(STAR-RIS)を送信および反射することができる。 STAR-RISを屋内に展開することは、干渉緩和、電力消費、リアルタイム設定における課題を提示する。 複数のアクセスポイント(AP)、STAR-RIS、NOMAを利用した新しいネットワークアーキテクチャが屋内通信のために提案されている。
  論文  参考訳（メタデータ） (2024-06-19T07:17:04Z)
• FedRDMA: Communication-Efficient Cross-Silo Federated LLM via Chunked RDMA Transmission [5.199151525305899]
  FedRDMAは、RDMAをFL通信プロトコルに統合する通信効率の高いクロスサイロFLシステムである。 従来のTCP/IPベースのFLシステムと比較して,sysは通信効率を最大3.8$times$で向上できることを示す。
  論文  参考訳（メタデータ） (2024-03-01T09:14:10Z)
• Wirelessly Powered Federated Learning Networks: Joint Power Transfer, Data Sensing, Model Training, and Resource Allocation [24.077525032187893]
  フェデレートラーニング(FL)は、無線ネットワークで多くの成功を収めている。 FLの実装は、モバイルデバイス(MD)のエネルギー制限と、MDにおけるトレーニングデータの可用性によって妨げられている。 無線送電と持続可能なFLネットワークの統合
  論文  参考訳（メタデータ） (2023-08-09T13:38:58Z)
• Federated Gradient Matching Pursuit [17.695717854068715]
  従来の機械学習技術では、1つのサーバまたはデータハブ上のすべてのトレーニングデータを集中化する必要がある。 特に、FL(Federated Learning)は、ローカルクライアントでトレーニングデータを保持しながら、共有モデルを学習するためのソリューションを提供する。 本稿では,FL設定における分散制約最小化問題を解くために,新しいアルゴリズムフレームワークFedGradMPを提案する。
  論文  参考訳（メタデータ） (2023-02-20T16:26:29Z)
• Collaborative Intelligent Reflecting Surface Networks with Multi-Agent Reinforcement Learning [63.83425382922157]
  インテリジェント・リフレクション・サーフェス(IRS)は将来の無線ネットワークに広く応用されることが想定されている。 本稿では,エネルギー収穫能力を備えた協調型IRSデバイスを用いたマルチユーザ通信システムについて検討する。
  論文  参考訳（メタデータ） (2022-03-26T20:37:14Z)
• Real-Time GPU-Accelerated Machine Learning Based Multiuser Detection for 5G and Beyond [70.81551587109833]
  非線形ビームフォーミングフィルタは、大規模な接続を伴う定常シナリオにおいて、線形アプローチを著しく上回る。 主な課題の1つは、これらのアルゴリズムのリアルタイム実装である。 本稿では,大規模並列化によるAPSMに基づくアルゴリズムの高速化について検討する。
  論文  参考訳（メタデータ） (2022-01-13T15:20:45Z)
• Low-Latency Federated Learning over Wireless Channels with Differential Privacy [142.5983499872664]
  フェデレートラーニング(FL)では、モデルトレーニングはクライアントに分散し、ローカルモデルは中央サーバによって集約される。 本稿では,各クライアントの差分プライバシ(DP)要件だけでなく,全体としてのトレーニング性能に制約された無線チャネル上でのFLトレーニング遅延を最小限に抑えることを目的とする。
  論文  参考訳（メタデータ） (2021-06-20T13:51:18Z)
• Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
  セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。 通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。 分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。 分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
  論文  参考訳（メタデータ） (2020-10-02T10:41:59Z)
• Scheduling Policy and Power Allocation for Federated Learning in NOMA Based MEC [21.267954799102874]
  Federated Learning(FL)は、データ分散を維持しながらモデルを集中的にトレーニングできる、高度に追求された機械学習技術である。 重み付き和データレートを最大化するために、非直交多重アクセス(NOMA)設定を用いた新しいスケジューリングポリシーと電力割当方式を提案する。 シミュレーションの結果,提案手法は,NOMAベースの無線ネットワークにおいて高いFLテスト精度を実現するのに有効であることがわかった。
  論文  参考訳（メタデータ） (2020-06-21T23:07:41Z)
• A Compressive Sensing Approach for Federated Learning over Massive MIMO Communication Systems [82.2513703281725]
  フェデレートラーニング(Federated Learning)は、無線デバイスとのコラボレーションによって、中央サーバでグローバルモデルをトレーニングするための、プライバシ保護のアプローチである。 本稿では,大規模マルチインプット多出力通信システム上でのフェデレーション学習のための圧縮センシング手法を提案する。
  論文  参考訳（メタデータ） (2020-03-18T05:56:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。