論文の概要: Decentralized Optimization Over the Stiefel Manifold by an Approximate Augmented Lagrangian Function

• arxiv url: http://arxiv.org/abs/2112.14949v1
• Date: Thu, 30 Dec 2021 07:19:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-03 14:22:07.384238
• Title: Decentralized Optimization Over the Stiefel Manifold by an Approximate Augmented Lagrangian Function
• Title（参考訳）: 近似拡大ラグランジュ関数によるスティフェル多様体上の分散最適化
• Authors: Lei Wang, Xin Liu
• Abstract要約: 本稿では、スティーフェル多様体上の分散最適化問題に焦点をあてる。 エージェントは、この問題を解決するための共同作業において、隣人としか通信できない。 既存の方法では、収束を保証するために複数の通信ラウンドが必要である。 本稿では,DESTINYと呼ばれる分散化アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 7.768673476492471
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we focus on the decentralized optimization problem over the Stiefel manifold, which is defined on a connected network of $d$ agents. The objective is an average of $d$ local functions, and each function is privately held by an agent and encodes its data. The agents can only communicate with their neighbors in a collaborative effort to solve this problem. In existing methods, multiple rounds of communications are required to guarantee the convergence, giving rise to high communication costs. In contrast, this paper proposes a decentralized algorithm, called DESTINY, which only invokes a single round of communications per iteration. DESTINY combines gradient tracking techniques with a novel approximate augmented Lagrangian function. The global convergence to stationary points is rigorously established. Comprehensive numerical experiments demonstrate that DESTINY has a strong potential to deliver a cutting-edge performance in solving a variety of testing problems.
• Abstract（参考訳）: 本稿では,$d$エージェントの連結ネットワーク上で定義されるStiefel多様体上の分散最適化問題に焦点をあてる。 目標は平均で$d$ローカル関数で、各関数はエージェントによってプライベートに保持され、そのデータをエンコードする。 エージェントは、この問題を解決するために協力して隣人とのみ通信することができる。 既存の方法では、収束を保証するために複数の通信ラウンドが必要であり、通信コストが高い。 それとは対照的に,本論文では,イテレーション毎に1ラウンドの通信のみを実行する,destinyと呼ばれる分散アルゴリズムを提案する。 DESTINYは勾配追跡技術と新しい近似拡張ラグランジアン関数を組み合わせる。 静止点へのグローバル収束は厳密に確立されている。 総合的な数値実験により、DESTINYは様々なテスト問題の解決において最先端のパフォーマンスを提供する強い可能性を実証している。

関連論文リスト

• Communication Efficient Decentralization for Smoothed Online Convex Optimization [9.449153668916098]
  マルチエージェントSmoothed Online Convex Optimization(SOCO)問題について検討し,通信グラフを通してN$エージェントが対話する。 各ラウンドにおいて、各エージェント$i$は、オンラインの方法で、強い凸打撃コスト関数$fi_t$を受け取る。 通信グラフが時間とともに任意かつ適応的に変化する場合でも,我々の結果は維持される。
  論文  参考訳（メタデータ） (2024-11-13T05:59:04Z)
• Self-Localized Collaborative Perception [49.86110931859302]
  我々は,新しい自己局在型協調認識システムであるMathttCoBEVGlue$を提案する。 $mathttCoBEVGlue$は、エージェント間の相対的なポーズを提供する新しい空間アライメントモジュールである。 $mathttCoBEVGlue$は任意のローカライゼーションノイズとアタックの下で最先端の検出性能を達成する。
  論文  参考訳（メタデータ） (2024-06-18T15:26:54Z)
• Decentralized Multi-Task Online Convex Optimization Under Random Link Failures [5.513958040574729]
  我々は不均一な確率を持つランダムリンク障害に対する頑健な分散型サドルポイントアルゴリズムを開発した。 我々はアルゴリズムと分析を2点の帯域フィードバックシナリオに拡張する。
  論文  参考訳（メタデータ） (2024-01-04T00:57:33Z)
• Communication-Efficient Decentralized Federated Learning via One-Bit Compressive Sensing [52.402550431781805]
  分散連合学習(DFL)は、様々なアプリケーションにまたがる実用性によって人気を博している。 集中型バージョンと比較して、DFLの多数のノード間で共有モデルをトレーニングするのはより難しい。 我々は,iADM (iexact alternating direction method) の枠組みに基づく新しいアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-08-31T12:22:40Z)
• Decentralized Riemannian Conjugate Gradient Method on the Stiefel Manifold [59.73080197971106]
  本稿では,最急降下法よりも高速に収束する一階共役最適化法を提案する。 これはスティーフェル多様体上の大域収束を達成することを目的としている。
  論文  参考訳（メタデータ） (2023-08-21T08:02:16Z)
• Cooperative Multi-Agent Reinforcement Learning: Asynchronous Communication and Linear Function Approximation [77.09836892653176]
  マルコフ決定過程の設定におけるマルチエージェント強化学習について検討した。 本稿では非同期通信が可能な値に基づく証明可能な効率的なアルゴリズムを提案する。 我々は、コラボレーションによってパフォーマンスを改善するために、最小の$Omega(dM)$通信の複雑さが必要であることを示す。
  論文  参考訳（メタデータ） (2023-05-10T20:29:29Z)
• Multi-Agent congestion cost minimization with linear function approximation [0.0]
  この作業では、ソースノードからゴールノードにネットワークをトラバースする複数のエージェントについて検討する。 エージェントの目的は、最小限の全体的なコストで、分散的な方法でゴールノードへのパスを見つけることである。 本稿では,新しいマルチエージェント・コンジェクション・コスト最小化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-01-26T08:45:44Z)
• Communication-Efficient Topologies for Decentralized Learning with $O(1)$ Consensus Rate [35.698182247676414]
  分散最適化は分散学習における新たなパラダイムであり、エージェントは中央サーバを使わずにピアツーピア通信によってネットワーク全体のソリューションを実現する。 エージェントの情報が混在する速度によって,ネットワーク全体のソリューションに到達するためのイテレーションの総数が影響を受けることを示す。 本稿では,(ほぼ)一定の等級とネットワークサイズに依存しないコンセンサス率を有する新しいトポロジであるEquiTopoを提案する。
  論文  参考訳（メタデータ） (2022-10-14T15:02:01Z)
• Acceleration in Distributed Optimization Under Similarity [72.54787082152278]
  集中ノードを持たないエージェントネットワーク上での分散(強い凸)最適化問題について検討する。 $varepsilon$-solutionは$tildemathcalrhoObig(sqrtfracbeta/mu (1-)log1/varepsilonbig)$通信ステップ数で達成される。 この速度は、関心のクラスに適用される分散ゴシップ-アルゴリズムの、初めて(ポリログ因子まで)より低い複雑性の通信境界と一致する。
  論文  参考訳（メタデータ） (2021-10-24T04:03:00Z)
• Communication-efficient Decentralized Local SGD over Undirected Networks [2.3572498744567123]
  我々は、$n$エージェントのネットワークがグローバル関数$F$を最小化しようとする分散学習問題を考察する。 通信ラウンド数と各エージェントの計算労力のトレードオフを分析する。 その結果,R=Omega(n)$通信ラウンドのみを用いることで,O(1/nT)$というスケールの誤差を実現できることがわかった。
  論文  参考訳（メタデータ） (2020-11-06T09:34:00Z)
• A Multi-Agent Primal-Dual Strategy for Composite Optimization over Distributed Features [52.856801164425086]
  目的関数を滑らかな局所関数と凸(おそらく非滑らか)結合関数の和とするマルチエージェント共有最適化問題について検討する。
  論文  参考訳（メタデータ） (2020-06-15T19:40:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。