論文の概要: Adaptive Consensus: A network pruning approach for decentralized optimization

• arxiv url: http://arxiv.org/abs/2309.02626v1
• Date: Wed, 6 Sep 2023 00:28:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-07 17:18:13.430059
• Title: Adaptive Consensus: A network pruning approach for decentralized optimization
• Title（参考訳）: Adaptive Consensus:分散最適化のためのネットワークプルーニングアプローチ
• Authors: Suhail M. Shah, Albert S. Berahas, Raghu Bollapragada
• Abstract要約: ネットワーク内の各ノードが局所関数を持つネットワークベースの分散最適化問題を考える。 目的は、すべての局所関数の和を最小化するコンセンサス解を集合的に達成することである。 本稿では,通信量を削減する適応的ランダム化通信効率アルゴリズムフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 0.5432724320036953
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider network-based decentralized optimization problems, where each node in the network possesses a local function and the objective is to collectively attain a consensus solution that minimizes the sum of all the local functions. A major challenge in decentralized optimization is the reliance on communication which remains a considerable bottleneck in many applications. To address this challenge, we propose an adaptive randomized communication-efficient algorithmic framework that reduces the volume of communication by periodically tracking the disagreement error and judiciously selecting the most influential and effective edges at each node for communication. Within this framework, we present two algorithms: Adaptive Consensus (AC) to solve the consensus problem and Adaptive Consensus based Gradient Tracking (AC-GT) to solve smooth strongly convex decentralized optimization problems. We establish strong theoretical convergence guarantees for the proposed algorithms and quantify their performance in terms of various algorithmic parameters under standard assumptions. Finally, numerical experiments showcase the effectiveness of the framework in significantly reducing the information exchange required to achieve a consensus solution.
• Abstract（参考訳）: ネットワーク内の各ノードが局所関数を持つネットワークベースの分散最適化問題について検討し、その目的は全ての局所関数の和を最小化するコンセンサスソリューションを集合的に達成することである。 分散最適化における大きな課題は、多くのアプリケーションにおいてかなりのボトルネックとなっている通信への依存である。 この課題に対処するために,不一致誤りを周期的に追跡し,各ノードにおいて最も影響力のあるエッジを選択することで,通信量を削減する適応的ランダム化通信効率アルゴリズムフレームワークを提案する。 このフレームワークでは,コンセンサス問題を解決する適応コンセンサス(ac)と,滑らかな強凸分散最適化問題を解決する適応コンセンサスベース勾配追跡(ac-gt)という2つのアルゴリズムを提案する。 提案するアルゴリズムに対する強理論的収束保証を確立し,その性能を標準仮定のもとで様々なアルゴリズムパラメータを用いて定量化する。 最後に,コンセンサス解決に必要な情報交換量を大幅に削減する手法の有効性を示す数値実験を行った。

関連論文リスト

• Lower Bounds and Optimal Algorithms for Non-Smooth Convex Decentralized Optimization over Time-Varying Networks [57.24087627267086]
  通信ネットワークのノード間で分散的に格納された凸関数の総和を最小化するタスクについて検討する。 この問題を解決するのに必要な分散通信数と(サブ)漸進計算の下位境界が確立されている。 我々は,これらの下界に適合する最初の最適アルゴリズムを開発し,既存の最先端技術と比較して理論性能を著しく向上させる。
  論文  参考訳（メタデータ） (2024-05-28T10:28:45Z)
• Improving Point-based Crowd Counting and Localization Based on Auxiliary Point Guidance [59.71186244597394]
  本稿では,提案手法における提案対象マッチングの安定化に有効な手法を提案する。 本稿では,提案手法の選択と最適化のために,Auxiliary Point Guidance (APG)を提案する。 また,多様な群集シナリオにおける適応的特徴抽出を可能にするために,IFI(Implicit Feature Interpolation)を開発した。
  論文  参考訳（メタデータ） (2024-05-17T07:23:27Z)
• Analyzing and Enhancing the Backward-Pass Convergence of Unrolled Optimization [50.38518771642365]
  ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 この設定における中心的な課題は最適化問題の解によるバックプロパゲーションであり、しばしば閉形式を欠いている。 本稿では, 非線形最適化の後方通過に関する理論的知見を提供し, 特定の反復法による線形システムの解と等価であることを示す。 Folded Optimizationと呼ばれるシステムが提案され、非ローリングなソルバ実装からより効率的なバックプロパゲーションルールを構築する。
  論文  参考訳（メタデータ） (2023-12-28T23:15:18Z)
• Federated Multi-Level Optimization over Decentralized Networks [55.776919718214224]
  エージェントが隣人としか通信できないネットワーク上での分散マルチレベル最適化の問題について検討する。 ネットワーク化されたエージェントが1つの時間スケールで異なるレベルの最適化問題を解くことができる新しいゴシップに基づく分散マルチレベル最適化アルゴリズムを提案する。 提案アルゴリズムは, ネットワークサイズと線形にスケーリングし, 各種アプリケーション上での最先端性能を示す。
  論文  参考訳（メタデータ） (2023-10-10T00:21:10Z)
• Federated Conditional Stochastic Optimization [110.513884892319]
  条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。 本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-04T01:47:37Z)
• Decentralized Multi-Level Compositional Optimization Algorithms with Level-Independent Convergence Rate [26.676582181833584]
  分散化されたマルチレベル最適化は、マルチレベル構造と分散通信のために困難である。 マルチレベル構成問題を最適化する2つの新しい分散最適化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-06-06T00:23:28Z)
• A Penalty-Based Method for Communication-Efficient Decentralized Bilevel Programming [14.35928967799696]
  本稿では,分散化ネットワーク上での双方向プログラミング問題の解法として,ペナルティ関数に基づく分散化アルゴリズムを提案する。 提案アルゴリズムの重要な特徴は,ペナルティ関数の過度勾配の推定である。 我々の理論的枠組みは、様々な凸条件下での原問題の最適解に漸近的でない収束を保証する。
  論文  参考訳（メタデータ） (2022-11-08T08:39:30Z)
• DESTRESS: Computation-Optimal and Communication-Efficient Decentralized Nonconvex Finite-Sum Optimization [43.31016937305845]
  インターネット・オブ・シング、ネットワークセンシング、自律システム、有限サム最適化のための分散アルゴリズムのためのフェデレーション学習。 非有限サム最適化のためのDecentralized STochastic Recursive MethodDESTRESSを開発した。 詳細な理論的および数値的な比較は、DESTRESSが事前の分散アルゴリズムにより改善されていることを示している。
  論文  参考訳（メタデータ） (2021-10-04T03:17:41Z)
• A Decentralized Adaptive Momentum Method for Solving a Class of Min-Max Optimization Problems [9.653157073271021]
  我々は、min-max最適化問題を解決するために、分散適応運動量 (ADAM) 型アルゴリズムを開発した。 我々は、(確率的な)一階のナッシュ平衡点を求めるための提案アルゴリズムの非漸近収束率を求める。
  論文  参考訳（メタデータ） (2021-06-10T22:32:01Z)
• Lower Bounds and Optimal Algorithms for Smooth and Strongly Convex Decentralized Optimization Over Time-Varying Networks [79.16773494166644]
  通信ネットワークのノード間を分散的に保存するスムーズで強い凸関数の和を最小化するタスクについて検討する。 我々は、これらの下位境界を達成するための2つの最適アルゴリズムを設計する。 我々は,既存の最先端手法と実験的な比較を行うことにより,これらのアルゴリズムの理論的効率を裏付ける。
  論文  参考訳（メタデータ） (2021-06-08T15:54:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。