論文の概要: Federated Multi-Level Optimization over Decentralized Networks
- arxiv url: http://arxiv.org/abs/2310.06217v1
- Date: Tue, 10 Oct 2023 00:21:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-12 02:04:56.290441
- Title: Federated Multi-Level Optimization over Decentralized Networks
- Title(参考訳): 分散ネットワーク上でのフェデレーションマルチレベル最適化
- Authors: Shuoguang Yang, Xuezhou Zhang, Mengdi Wang
- Abstract要約: エージェントが隣人としか通信できないネットワーク上での分散マルチレベル最適化の問題について検討する。
ネットワーク化されたエージェントが1つの時間スケールで異なるレベルの最適化問題を解くことができる新しいゴシップに基づく分散マルチレベル最適化アルゴリズムを提案する。
提案アルゴリズムは, ネットワークサイズと線形にスケーリングし, 各種アプリケーション上での最先端性能を示す。
- 参考スコア(独自算出の注目度): 55.776919718214224
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-level optimization has gained increasing attention in recent years, as
it provides a powerful framework for solving complex optimization problems that
arise in many fields, such as meta-learning, multi-player games, reinforcement
learning, and nested composition optimization. In this paper, we study the
problem of distributed multi-level optimization over a network, where agents
can only communicate with their immediate neighbors. This setting is motivated
by the need for distributed optimization in large-scale systems, where
centralized optimization may not be practical or feasible. To address this
problem, we propose a novel gossip-based distributed multi-level optimization
algorithm that enables networked agents to solve optimization problems at
different levels in a single timescale and share information through network
propagation. Our algorithm achieves optimal sample complexity, scaling linearly
with the network size, and demonstrates state-of-the-art performance on various
applications, including hyper-parameter tuning, decentralized reinforcement
learning, and risk-averse optimization.
- Abstract(参考訳): 近年,メタラーニング,マルチプレイヤーゲーム,強化学習,ネスト合成最適化など,多くの分野で発生する複雑な最適化問題を解くための強力なフレームワークとして,マルチレベル最適化が注目されている。
本稿では,エージェントが隣接ノードとのみ通信できるネットワーク上の分散マルチレベル最適化の問題について検討する。
この設定は、集中型最適化が実用的でも実現可能でもないような大規模システムにおける分散最適化の必要性が動機となっている。
この問題に対処するために,ネットワークエージェントが1つの時間スケールで異なるレベルの最適化問題を解き,ネットワークの伝搬を通じて情報を共有できる,新しいゴシップベースの分散マルチレベル最適化アルゴリズムを提案する。
このアルゴリズムは,ネットワークサイズと線形にスケーリングすることで,最適なサンプル複雑性を実現し,ハイパーパラメータチューニングや分散強化学習,リスク回避最適化など,さまざまなアプリケーションで最先端のパフォーマンスを示す。
関連論文リスト
- Fast and Scalable Network Slicing by Integrating Deep Learning with
Lagrangian Methods [8.72339110741777]
ネットワークスライシングは、多種多様なサービスを効率的にサポートするために、5G以上の重要なテクニックである。
ディープラーニングモデルは、動的スライシング構成に対する限定的な一般化と適応性に悩まされる。
本稿では,制約付き最適化手法とディープラーニングモデルを統合する新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2024-01-22T07:19:16Z) - Analyzing and Enhancing the Backward-Pass Convergence of Unrolled
Optimization [50.38518771642365]
ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。
この設定における中心的な課題は最適化問題の解によるバックプロパゲーションであり、しばしば閉形式を欠いている。
本稿では, 非線形最適化の後方通過に関する理論的知見を提供し, 特定の反復法による線形システムの解と等価であることを示す。
Folded Optimizationと呼ばれるシステムが提案され、非ローリングなソルバ実装からより効率的なバックプロパゲーションルールを構築する。
論文 参考訳(メタデータ) (2023-12-28T23:15:18Z) - Federated Conditional Stochastic Optimization [110.513884892319]
条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。
本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-10-04T01:47:37Z) - Adaptive Consensus: A network pruning approach for decentralized
optimization [0.5432724320036953]
ネットワーク内の各ノードが局所関数を持つネットワークベースの分散最適化問題を考える。
目的は、すべての局所関数の和を最小化するコンセンサス解を集合的に達成することである。
本稿では,通信量を削減する適応的ランダム化通信効率アルゴリズムフレームワークを提案する。
論文 参考訳(メタデータ) (2023-09-06T00:28:10Z) - Stochastic Multi-Level Compositional Optimization Algorithms over
Networks with Level-Independent Convergence Rate [22.988563731766586]
マルチレベル関数を扱うために,2つの新しい分散アルゴリズムを開発した。
両アルゴリズムが非レベル依存問題に対する収束率を達成可能であることを示す。
最良の知識のために、これは、分散された設定の設定の下で、レベル非依存の収束率を達成する最初の研究である。
論文 参考訳(メタデータ) (2023-06-06T00:23:28Z) - Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。
1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。
本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
論文 参考訳(メタデータ) (2023-01-28T01:50:42Z) - On the Convergence of Distributed Stochastic Bilevel Optimization
Algorithms over a Network [55.56019538079826]
バイレベル最適化は、幅広い機械学習モデルに適用されている。
既存のアルゴリズムの多くは、分散データを扱うことができないように、シングルマシンの設定を制限している。
そこで我々は,勾配追跡通信機構と2つの異なる勾配に基づく分散二段階最適化アルゴリズムを開発した。
論文 参考訳(メタデータ) (2022-06-30T05:29:52Z) - Decentralized Gossip-Based Stochastic Bilevel Optimization over
Communication Networks [42.76623191830371]
本稿では,ゴシップに基づく分散二段階最適化アルゴリズムを提案する。
エージェントはネットワークと外部の両方の問題を一度に解くことができる。
我々のアルゴリズムは最先端の効率とテスト精度を達成する。
論文 参考訳(メタデータ) (2022-06-22T06:38:54Z) - Optimizing Wireless Systems Using Unsupervised and
Reinforced-Unsupervised Deep Learning [96.01176486957226]
無線ネットワークにおけるリソース割り当てとトランシーバーは、通常最適化問題の解決によって設計される。
本稿では,変数最適化と関数最適化の両問題を解くための教師なし・教師なし学習フレームワークを紹介する。
論文 参考訳(メタデータ) (2020-01-03T11:01:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。