論文の概要: MUSIC: Accelerated Convergence for Distributed Optimization With Inexact
and Exact Methods
- arxiv url: http://arxiv.org/abs/2403.02589v1
- Date: Tue, 5 Mar 2024 02:02:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-06 16:28:56.605676
- Title: MUSIC: Accelerated Convergence for Distributed Optimization With Inexact
and Exact Methods
- Title(参考訳): 音楽:不正確・厳密な手法による分散最適化のための高速化収束
- Authors: Mou Wu, Haibin Liao, Zhengtao Ding, Yonggang Xiao
- Abstract要約: 本稿では,MUSICと名づけられた高速化されたフレームワークを提案し,各エージェントが複数のローカル更新と1つの組み合わせをイテレーション毎に実行できるようにする。
そこで我々は, 線形収束を高速化し, 通信効率を向上する2つの新しいアルゴリズムを考案した。
- 参考スコア(独自算出の注目度): 6.800113478497425
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Gradient-type distributed optimization methods have blossomed into one of the
most important tools for solving a minimization learning task over a networked
agent system. However, only one gradient update per iteration is difficult to
achieve a substantive acceleration of convergence. In this paper, we propose an
accelerated framework named as MUSIC allowing each agent to perform multiple
local updates and a single combination in each iteration. More importantly, we
equip inexact and exact distributed optimization methods into this framework,
thereby developing two new algorithms that exhibit accelerated linear
convergence and high communication efficiency. Our rigorous convergence
analysis reveals the sources of steady-state errors arising from inexact
policies and offers effective solutions. Numerical results based on synthetic
and real datasets demonstrate both our theoretical motivations and analysis, as
well as performance advantages.
- Abstract(参考訳): グラディエント型分散最適化手法は,ネットワークエージェントシステム上での最小化学習課題を解決する上で最も重要なツールのひとつに成長した。
しかし、1イテレーションあたりの勾配更新は、収束のsubstantiveaccelerateを達成するのが難しい。
本稿では,各エージェントが複数のローカルアップデートと1つのコンビネーションを各イテレーションで実行できるようにする,music と呼ばれる高速化フレームワークを提案する。
さらに重要なことは、このフレームワークに不正確な正確な分散最適化手法を組み込むことで、加速線形収束と高い通信効率を示す2つの新しいアルゴリズムを開発することである。
我々の厳密な収束分析は、不正確な政策から生じる定常的エラーの原因を明らかにし、効果的な解決策を提供する。
合成データと実データに基づく数値結果は、理論的な動機付けと分析の両方と性能上の利点を示しています。
関連論文リスト
- An Automatic Learning Rate Schedule Algorithm for Achieving Faster
Convergence and Steeper Descent [10.061799286306163]
実世界のニューラルネットワーク最適化におけるデルタバーデルタアルゴリズムの収束挙動について検討する。
RDBD(Regrettable Delta-Bar-Delta)と呼ばれる新しい手法を提案する。
提案手法は,バイアス付き学習率調整の迅速な修正を可能にし,最適化プロセスの収束を保証する。
論文 参考訳(メタデータ) (2023-10-17T14:15:57Z) - Federated Multi-Level Optimization over Decentralized Networks [55.776919718214224]
エージェントが隣人としか通信できないネットワーク上での分散マルチレベル最適化の問題について検討する。
ネットワーク化されたエージェントが1つの時間スケールで異なるレベルの最適化問題を解くことができる新しいゴシップに基づく分散マルチレベル最適化アルゴリズムを提案する。
提案アルゴリズムは, ネットワークサイズと線形にスケーリングし, 各種アプリケーション上での最先端性能を示す。
論文 参考訳(メタデータ) (2023-10-10T00:21:10Z) - Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。
1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。
本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
論文 参考訳(メタデータ) (2023-01-28T01:50:42Z) - On the Convergence of Distributed Stochastic Bilevel Optimization
Algorithms over a Network [55.56019538079826]
バイレベル最適化は、幅広い機械学習モデルに適用されている。
既存のアルゴリズムの多くは、分散データを扱うことができないように、シングルマシンの設定を制限している。
そこで我々は,勾配追跡通信機構と2つの異なる勾配に基づく分散二段階最適化アルゴリズムを開発した。
論文 参考訳(メタデータ) (2022-06-30T05:29:52Z) - FastRE: Towards Fast Relation Extraction with Convolutional Encoder and
Improved Cascade Binary Tagging Framework [13.4666880421568]
本稿では,畳み込みエンコーダと改良されたカスケードバイナリタグフレームワークに基づく高速関係抽出モデル(FastRE)を提案する。
FastREは、最先端モデルと比較して3~10倍のトレーニング速度、7~15倍の推論速度、1/100のパラメータを実現している。
論文 参考訳(メタデータ) (2022-05-05T07:59:51Z) - On Accelerating Distributed Convex Optimizations [0.0]
本稿では,分散マルチエージェント凸最適化問題について検討する。
提案アルゴリズムは, 従来の勾配偏光法よりも収束率を向上し, 線形収束することを示す。
実ロジスティック回帰問題の解法として,従来の分散アルゴリズムと比較して,アルゴリズムの性能が優れていることを示す。
論文 参考訳(メタデータ) (2021-08-19T13:19:54Z) - Fast Distributionally Robust Learning with Variance Reduced Min-Max
Optimization [85.84019017587477]
分散的ロバストな教師付き学習は、現実世界のアプリケーションのための信頼性の高い機械学習システムを構築するための重要なパラダイムとして登場している。
Wasserstein DRSLを解くための既存のアルゴリズムは、複雑なサブプロブレムを解くか、勾配を利用するのに失敗する。
我々はmin-max最適化のレンズを通してwaserstein drslを再検討し、スケーラブルで効率的に実装可能な超勾配アルゴリズムを導出する。
論文 参考訳(メタデータ) (2021-04-27T16:56:09Z) - Fast Rates for Contextual Linear Optimization [52.39202699484225]
提案手法は, 下流決定性能を直接最適化する手法よりもはるかに高速な, 後悔の収束率を実現する。
予測モデルは、既存のツールを使ったトレーニングが簡単かつ高速で、解釈が簡単で、私たちが示しているように、非常にうまく機能する決定につながる。
論文 参考訳(メタデータ) (2020-11-05T18:43:59Z) - FedSplit: An algorithmic framework for fast federated optimization [40.42352500741025]
本稿では,分散凸最小化を付加構造で解くアルゴリズムのクラスであるFedSplitを紹介する。
これらの手法は, 中間局所量の不正確な計算に対して, 確実に堅牢であることを示す。
論文 参考訳(メタデータ) (2020-05-11T16:30:09Z) - Communication-efficient Variance-reduced Stochastic Gradient Descent [0.0]
通信効率のよい分散最適化の問題を考える。
特に、分散還元勾配に着目し、通信効率を高めるための新しいアプローチを提案する。
実データセットの包括的理論的および数値解析により、我々のアルゴリズムは通信の複雑さを95%減らし、ほとんど顕著なペナルティを伴わないことが明らかとなった。
論文 参考訳(メタデータ) (2020-03-10T13:22:16Z) - Dynamic Federated Learning [57.14673504239551]
フェデレートラーニング(Federated Learning)は、マルチエージェント環境における集中的なコーディネーション戦略の包括的用語として登場した。
我々は、各イテレーションにおいて、利用可能なエージェントのランダムなサブセットがそのデータに基づいてローカル更新を実行する、フェデレートされた学習モデルを考える。
集約最適化問題に対する真の最小化器上の非定常ランダムウォークモデルの下で、アーキテクチャの性能は、各エージェントにおけるデータ変動率、各エージェントにおけるモデル変動率、アルゴリズムの学習率に逆比例する追跡項の3つの要因によって決定されることを示す。
論文 参考訳(メタデータ) (2020-02-20T15:00:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。