論文の概要: Federated Multi-Level Optimization over Decentralized Networks

• arxiv url: http://arxiv.org/abs/2310.06217v1
• Date: Tue, 10 Oct 2023 00:21:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-12 02:04:56.290441
• Title: Federated Multi-Level Optimization over Decentralized Networks
• Title（参考訳）: 分散ネットワーク上でのフェデレーションマルチレベル最適化
• Authors: Shuoguang Yang, Xuezhou Zhang, Mengdi Wang
• Abstract要約: エージェントが隣人としか通信できないネットワーク上での分散マルチレベル最適化の問題について検討する。 ネットワーク化されたエージェントが1つの時間スケールで異なるレベルの最適化問題を解くことができる新しいゴシップに基づく分散マルチレベル最適化アルゴリズムを提案する。 提案アルゴリズムは, ネットワークサイズと線形にスケーリングし, 各種アプリケーション上での最先端性能を示す。
• 参考スコア（独自算出の注目度）: 55.776919718214224
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-level optimization has gained increasing attention in recent years, as it provides a powerful framework for solving complex optimization problems that arise in many fields, such as meta-learning, multi-player games, reinforcement learning, and nested composition optimization. In this paper, we study the problem of distributed multi-level optimization over a network, where agents can only communicate with their immediate neighbors. This setting is motivated by the need for distributed optimization in large-scale systems, where centralized optimization may not be practical or feasible. To address this problem, we propose a novel gossip-based distributed multi-level optimization algorithm that enables networked agents to solve optimization problems at different levels in a single timescale and share information through network propagation. Our algorithm achieves optimal sample complexity, scaling linearly with the network size, and demonstrates state-of-the-art performance on various applications, including hyper-parameter tuning, decentralized reinforcement learning, and risk-averse optimization.
• Abstract（参考訳）: 近年,メタラーニング,マルチプレイヤーゲーム,強化学習,ネスト合成最適化など,多くの分野で発生する複雑な最適化問題を解くための強力なフレームワークとして,マルチレベル最適化が注目されている。 本稿では,エージェントが隣接ノードとのみ通信できるネットワーク上の分散マルチレベル最適化の問題について検討する。 この設定は、集中型最適化が実用的でも実現可能でもないような大規模システムにおける分散最適化の必要性が動機となっている。 この問題に対処するために,ネットワークエージェントが1つの時間スケールで異なるレベルの最適化問題を解き,ネットワークの伝搬を通じて情報を共有できる,新しいゴシップベースの分散マルチレベル最適化アルゴリズムを提案する。 このアルゴリズムは,ネットワークサイズと線形にスケーリングすることで,最適なサンプル複雑性を実現し,ハイパーパラメータチューニングや分散強化学習,リスク回避最適化など,さまざまなアプリケーションで最先端のパフォーマンスを示す。

関連論文リスト

• DiffSG: A Generative Solver for Network Optimization with Diffusion Model [75.27274046562806]
  拡散生成モデルはより広い範囲の解を考えることができ、学習パラメータによるより強力な一般化を示す。 拡散生成モデルの本質的な分布学習を利用して高品質な解を学習する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-13T07:56:21Z)
• Lower Bounds and Optimal Algorithms for Non-Smooth Convex Decentralized Optimization over Time-Varying Networks [57.24087627267086]
  通信ネットワークのノード間で分散的に格納された凸関数の総和を最小化するタスクについて検討する。 この問題を解決するのに必要な分散通信数と(サブ)漸進計算の下位境界が確立されている。 我々は,これらの下界に適合する最初の最適アルゴリズムを開発し,既存の最先端技術と比較して理論性能を著しく向上させる。
  論文  参考訳（メタデータ） (2024-05-28T10:28:45Z)
• Fast and Scalable Network Slicing by Integrating Deep Learning with Lagrangian Methods [8.72339110741777]
  ネットワークスライシングは、多種多様なサービスを効率的にサポートするために、5G以上の重要なテクニックである。 ディープラーニングモデルは、動的スライシング構成に対する限定的な一般化と適応性に悩まされる。 本稿では,制約付き最適化手法とディープラーニングモデルを統合する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-22T07:19:16Z)
• Analyzing and Enhancing the Backward-Pass Convergence of Unrolled Optimization [50.38518771642365]
  ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 この設定における中心的な課題は最適化問題の解によるバックプロパゲーションであり、しばしば閉形式を欠いている。 本稿では, 非線形最適化の後方通過に関する理論的知見を提供し, 特定の反復法による線形システムの解と等価であることを示す。 Folded Optimizationと呼ばれるシステムが提案され、非ローリングなソルバ実装からより効率的なバックプロパゲーションルールを構築する。
  論文  参考訳（メタデータ） (2023-12-28T23:15:18Z)
• Federated Conditional Stochastic Optimization [110.513884892319]
  条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。 本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-04T01:47:37Z)
• Adaptive Consensus: A network pruning approach for decentralized optimization [0.5432724320036953]
  ネットワーク内の各ノードが局所関数を持つネットワークベースの分散最適化問題を考える。 目的は、すべての局所関数の和を最小化するコンセンサス解を集合的に達成することである。 本稿では,通信量を削減する適応的ランダム化通信効率アルゴリズムフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-06T00:28:10Z)
• Decentralized Multi-Level Compositional Optimization Algorithms with Level-Independent Convergence Rate [26.676582181833584]
  分散化されたマルチレベル最適化は、マルチレベル構造と分散通信のために困難である。 マルチレベル構成問題を最適化する2つの新しい分散最適化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-06-06T00:23:28Z)
• Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
  ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。 本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
  論文  参考訳（メタデータ） (2023-01-28T01:50:42Z)
• Decentralized Gossip-Based Stochastic Bilevel Optimization over Communication Networks [42.76623191830371]
  本稿では,ゴシップに基づく分散二段階最適化アルゴリズムを提案する。 エージェントはネットワークと外部の両方の問題を一度に解くことができる。 我々のアルゴリズムは最先端の効率とテスト精度を達成する。
  論文  参考訳（メタデータ） (2022-06-22T06:38:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。