論文の概要: Personalized Decentralized Bilevel Optimization over Stochastic and Directed Networks

• arxiv url: http://arxiv.org/abs/2210.02129v1
• Date: Wed, 5 Oct 2022 10:23:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-06 13:15:37.093781
• Title: Personalized Decentralized Bilevel Optimization over Stochastic and Directed Networks
• Title（参考訳）: 確率的および指向的ネットワーク上のパーソナライズされた分散バイレベル最適化
• Authors: Naoyuki Terashita, Satoshi Hara
• Abstract要約: 本研究では,より実用的な通信環境で動作する単一アルゴリズムを用いて,様々なパラメータの最適化を提案する。 実験の結果,従来のパーソナライズ手法と組み合わせた勾配に基づく二段階最適化が実現できた。
• 参考スコア（独自算出の注目度）: 13.274835852615572
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While personalization in distributed learning has been extensively studied, existing approaches employ dedicated algorithms to optimize their specific type of parameters (e.g., client clusters or model interpolation weights), making it difficult to simultaneously optimize different types of parameters to yield better performance. Moreover, their algorithms require centralized or static undirected communication networks, which can be vulnerable to center-point failures or deadlocks. This study proposes optimizing various types of parameters using a single algorithm that runs on more practical communication environments. First, we propose a gradient-based bilevel optimization that reduces most personalization approaches to the optimization of client-wise hyperparameters. Second, we propose a decentralized algorithm to estimate gradients with respect to the hyperparameters, which can run even on stochastic and directed communication networks. Our empirical results demonstrated that the gradient-based bilevel optimization enabled combining existing personalization approaches which led to state-of-the-art performance, confirming it can perform on multiple simulated communication environments including a stochastic and directed network.
• Abstract（参考訳）: 分散学習におけるパーソナライゼーションは広く研究されているが、既存のアプローチでは、特定のタイプのパラメータ(例えば、クライアントクラスタやモデル補間重みなど)を最適化する専用のアルゴリズムを使用しており、パフォーマンスを向上させるために異なるタイプのパラメータを同時に最適化することは困難である。 さらに、アルゴリズムは集中的または静的な非ダイレクト通信ネットワークを必要とし、センターポイント障害やデッドロックに弱い可能性がある。 本研究では,より実用的な通信環境で動作する単一アルゴリズムを用いて,様々なパラメータの最適化を提案する。 まず,クライアントサイドハイパーパラメータの最適化に対するパーソナライズアプローチを最小化する,勾配に基づく2レベル最適化を提案する。 第2に,確率的および有向的な通信ネットワーク上でも動作可能なハイパーパラメータに関する勾配を推定する分散アルゴリズムを提案する。 実験の結果,従来のパーソナライゼーション手法を組み合わせることで,確率的・有向的ネットワークを含む複数のシミュレーション通信環境において実行可能であることを確認した。

関連論文リスト

• Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
  本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。 DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。 実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
  論文  参考訳（メタデータ） (2024-10-09T06:17:16Z)
• Decentralized Optimization in Time-Varying Networks with Arbitrary Delays [22.40154714677385]
  通信遅延によるネットワークの分散最適化問題を考察する。 そのようなネットワークの例としては、協調機械学習、センサーネットワーク、マルチエージェントシステムなどがある。 通信遅延を模倣するため、ネットワークに仮想非計算ノードを追加し、有向グラフを生成する。
  論文  参考訳（メタデータ） (2024-05-29T20:51:38Z)
• Leveraging Low-Rank and Sparse Recurrent Connectivity for Robust Closed-Loop Control [63.310780486820796]
  繰り返し接続のパラメータ化が閉ループ設定のロバスト性にどのように影響するかを示す。 パラメータが少ないクローズドフォーム連続時間ニューラルネットワーク(CfCs)は、フルランクで完全に接続されたニューラルネットワークよりも優れています。
  論文  参考訳（メタデータ） (2023-10-05T21:44:18Z)
• Hierarchical Federated Learning in Wireless Networks: Pruning Tackles Bandwidth Scarcity and System Heterogeneity [32.321021292376315]
  我々はヘテロジニアスネットワーク(HetNets)におけるプルーニング可能な階層型フェデレーションラーニング(PHFL)を提案する。 まず、モデルプルーニングと無線通信の影響を明確に示す収束率の上限を導出する。 提案するPHFLアルゴリズムの有効性を,テスト精度,壁面時計時間,エネルギー消費,帯域幅要件の観点から検証した。
  論文  参考訳（メタデータ） (2023-08-03T07:03:33Z)
• Compressed Regression over Adaptive Networks [58.79251288443156]
  分散エージェントのネットワークによって達成可能な性能を導出し,通信制約や回帰問題を解消し,適応的に解決する。 エージェントによって最適化に必要なパラメータをオンラインで学習できる最適化アロケーション戦略を考案する。
  論文  参考訳（メタデータ） (2023-04-07T13:41:08Z)
• FLCC: Efficient Distributed Federated Learning on IoMT over CSMA/CA [0.0]
  フェデレートラーニング(FL)は、プライバシー保護のための有望なアプローチとして登場した。 本稿では,アドホックネットワーク上で遠隔医療システムを改善するアプリケーションにおけるFLの性能について検討する。 ネットワーク性能を評価するための指標として,1) 干渉を最小限に抑えながら伝送を成功させる確率,2) 精度と損失の点で分散FLモデルの性能を示す。
  論文  参考訳（メタデータ） (2023-03-29T16:36:42Z)
• A Q-Learning-based Approach for Distributed Beam Scheduling in mmWave Networks [18.22250038264899]
  ミリ波(mmWave)セルネットワークにおける分散ダウンリンクビームスケジューリングと電力配分の問題点を考察する。 異なるサービス事業者に属する複数の基地局は同じ無許可のスペクトルを共有しており、中心的な調整や協調は行われていない。 本稿では,各BSを独立したQ学習エージェントとしてモデル化し,分散スケジューリング手法を提案する。
  論文  参考訳（メタデータ） (2021-10-17T02:58:13Z)
• Low-Latency Federated Learning over Wireless Channels with Differential Privacy [142.5983499872664]
  フェデレートラーニング(FL)では、モデルトレーニングはクライアントに分散し、ローカルモデルは中央サーバによって集約される。 本稿では,各クライアントの差分プライバシ(DP)要件だけでなく,全体としてのトレーニング性能に制約された無線チャネル上でのFLトレーニング遅延を最小限に抑えることを目的とする。
  論文  参考訳（メタデータ） (2021-06-20T13:51:18Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• Toward fast and accurate human pose estimation via soft-gated skip connections [97.06882200076096]
  本稿では,高精度かつ高効率な人間のポーズ推定について述べる。 我々は、最先端技術よりも精度と効率を両立させる文脈において、この設計選択を再分析する。 本モデルでは,MPII と LSP のデータセットから最先端の結果が得られる。
  論文  参考訳（メタデータ） (2020-02-25T18:51:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。