論文の概要: Decentralized Hyper-Gradient Computation over Time-Varying Directed Networks

• arxiv url: http://arxiv.org/abs/2210.02129v3
• Date: Tue, 13 Jun 2023 05:04:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-14 18:22:51.820792
• Title: Decentralized Hyper-Gradient Computation over Time-Varying Directed Networks
• Title（参考訳）: 時変有向ネットワーク上の分散超勾配計算
• Authors: Naoyuki Terashita, Satoshi Hara
• Abstract要約: 本稿では,分散学習(FL)におけるハイパーグラディエント推定における通信問題について述べる。 モデルパラメータと勾配に対する平均演算を用いたFLの代替最適条件を提案する。 我々は、理論上も経験上も真の超勾配への推定器の収束性を確認する。
• 参考スコア（独自算出の注目度）: 13.274835852615572
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper addresses the communication issues when estimating hyper-gradients in decentralized federated learning (FL). Hyper-gradients in decentralized FL quantifies how the performance of globally shared optimal model is influenced by the perturbations in clients' hyper-parameters. In prior work, clients trace this influence through the communication of Hessian matrices over a static undirected network, resulting in (i) excessive communication costs and (ii) inability to make use of more efficient and robust networks, namely, time-varying directed networks. To solve these issues, we introduce an alternative optimality condition for FL using an averaging operation on model parameters and gradients. We then employ Push-Sum as the averaging operation, which is a consensus optimization technique for time-varying directed networks. As a result, the hyper-gradient estimator derived from our optimality condition enjoys two desirable properties; (i) it only requires Push-Sum communication of vectors and (ii) it can operate over time-varying directed networks. We confirm the convergence of our estimator to the true hyper-gradient both theoretically and empirically, and we further demonstrate that it enables two novel applications: decentralized influence estimation and personalization over time-varying networks.
• Abstract（参考訳）: 本稿では,分散化フェデレーション学習(FL)における過度勾配推定時の通信問題に対処する。 分散flにおける超勾配は、グローバル共有最適モデルの性能がクライアントのハイパーパラメータの摂動によってどのように影響を受けるかを定量化する。 以前の仕事において、クライアントは静的な無向ネットワーク上のヘッセン行列の通信を通してこの影響を追跡し、その結果、 (i)過度の通信コスト及び (II)より効率的で堅牢なネットワーク、すなわち時間変化のある有向ネットワークを利用できないこと。 これらの問題を解決するために,モデルパラメータと勾配の平均演算を用いたflの代替最適条件を提案する。 次に,時間変動有向ネットワークのコンセンサス最適化手法である平均演算としてpush-sumを用いる。 その結果、最適条件から導かれる過勾配推定器は2つの望ましい特性を享受できる。 (i)ベクトルのプッシュサム通信のみを必要とする。 (ii)時間変動有向ネットワーク上で動作可能である。 我々は理論上,経験上ともに真のハイパーグレードへの推定器の収束を確認し,時間変動ネットワーク上での分散的影響推定とパーソナライズという2つの新しい応用を可能にすることをさらに実証する。

関連論文リスト

• Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
  本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。 DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。 実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
  論文  参考訳（メタデータ） (2024-10-09T06:17:16Z)
• Decentralized Optimization in Time-Varying Networks with Arbitrary Delays [22.40154714677385]
  通信遅延によるネットワークの分散最適化問題を考察する。 そのようなネットワークの例としては、協調機械学習、センサーネットワーク、マルチエージェントシステムなどがある。 通信遅延を模倣するため、ネットワークに仮想非計算ノードを追加し、有向グラフを生成する。
  論文  参考訳（メタデータ） (2024-05-29T20:51:38Z)
• Leveraging Low-Rank and Sparse Recurrent Connectivity for Robust Closed-Loop Control [63.310780486820796]
  繰り返し接続のパラメータ化が閉ループ設定のロバスト性にどのように影響するかを示す。 パラメータが少ないクローズドフォーム連続時間ニューラルネットワーク(CfCs)は、フルランクで完全に接続されたニューラルネットワークよりも優れています。
  論文  参考訳（メタデータ） (2023-10-05T21:44:18Z)
• Hierarchical Federated Learning in Wireless Networks: Pruning Tackles Bandwidth Scarcity and System Heterogeneity [32.321021292376315]
  我々はヘテロジニアスネットワーク(HetNets)におけるプルーニング可能な階層型フェデレーションラーニング(PHFL)を提案する。 まず、モデルプルーニングと無線通信の影響を明確に示す収束率の上限を導出する。 提案するPHFLアルゴリズムの有効性を,テスト精度,壁面時計時間,エネルギー消費,帯域幅要件の観点から検証した。
  論文  参考訳（メタデータ） (2023-08-03T07:03:33Z)
• Compressed Regression over Adaptive Networks [58.79251288443156]
  分散エージェントのネットワークによって達成可能な性能を導出し,通信制約や回帰問題を解消し,適応的に解決する。 エージェントによって最適化に必要なパラメータをオンラインで学習できる最適化アロケーション戦略を考案する。
  論文  参考訳（メタデータ） (2023-04-07T13:41:08Z)
• FLCC: Efficient Distributed Federated Learning on IoMT over CSMA/CA [0.0]
  フェデレートラーニング(FL)は、プライバシー保護のための有望なアプローチとして登場した。 本稿では,アドホックネットワーク上で遠隔医療システムを改善するアプリケーションにおけるFLの性能について検討する。 ネットワーク性能を評価するための指標として,1) 干渉を最小限に抑えながら伝送を成功させる確率,2) 精度と損失の点で分散FLモデルの性能を示す。
  論文  参考訳（メタデータ） (2023-03-29T16:36:42Z)
• A Q-Learning-based Approach for Distributed Beam Scheduling in mmWave Networks [18.22250038264899]
  ミリ波(mmWave)セルネットワークにおける分散ダウンリンクビームスケジューリングと電力配分の問題点を考察する。 異なるサービス事業者に属する複数の基地局は同じ無許可のスペクトルを共有しており、中心的な調整や協調は行われていない。 本稿では,各BSを独立したQ学習エージェントとしてモデル化し,分散スケジューリング手法を提案する。
  論文  参考訳（メタデータ） (2021-10-17T02:58:13Z)
• Low-Latency Federated Learning over Wireless Channels with Differential Privacy [142.5983499872664]
  フェデレートラーニング(FL)では、モデルトレーニングはクライアントに分散し、ローカルモデルは中央サーバによって集約される。 本稿では,各クライアントの差分プライバシ(DP)要件だけでなく,全体としてのトレーニング性能に制約された無線チャネル上でのFLトレーニング遅延を最小限に抑えることを目的とする。
  論文  参考訳（メタデータ） (2021-06-20T13:51:18Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• Toward fast and accurate human pose estimation via soft-gated skip connections [97.06882200076096]
  本稿では,高精度かつ高効率な人間のポーズ推定について述べる。 我々は、最先端技術よりも精度と効率を両立させる文脈において、この設計選択を再分析する。 本モデルでは,MPII と LSP のデータセットから最先端の結果が得られる。
  論文  参考訳（メタデータ） (2020-02-25T18:51:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。