論文の概要: On the Local Linear Rate of Consensus on the Stiefel Manifold

• arxiv url: http://arxiv.org/abs/2101.09346v1
• Date: Fri, 22 Jan 2021 21:52:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2021-03-20 18:19:30.826777
• Title: On the Local Linear Rate of Consensus on the Stiefel Manifold
• Title（参考訳）: スティフェル多様体上のコンセンサスの局所直線速度について
• Authors: Shixiang Chen, Alfredo Garcia, Mingyi Hong, Shahin Shahrampour
• Abstract要約: 我々は(連結でない問題に対して)シュティーフェル問題上のシュティーフェル勾配の性質の収束を制限する。 主な課題は、(i)分析のための技術を開発すること、(ii)常にローカルに留まっている状況(例えば、適切なステップサイズと、その下に常にローカルに留まっている状態)を特定することである。
• 参考スコア（独自算出の注目度）: 39.750623187256735
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the convergence properties of Riemannian gradient method for solving the consensus problem (for an undirected connected graph) over the Stiefel manifold. The Stiefel manifold is a non-convex set and the standard notion of averaging in the Euclidean space does not work for this problem. We propose Distributed Riemannian Consensus on Stiefel Manifold (DRCS) and prove that it enjoys a local linear convergence rate to global consensus. More importantly, this local rate asymptotically scales with the second largest singular value of the communication matrix, which is on par with the well-known rate in the Euclidean space. To the best of our knowledge, this is the first work showing the equality of the two rates. The main technical challenges include (i) developing a Riemannian restricted secant inequality for convergence analysis, and (ii) to identify the conditions (e.g., suitable step-size and initialization) under which the algorithm always stays in the local region.
• Abstract（参考訳）: リーマン勾配法の収束特性を調べ、スティフェル多様体上のコンセンサス問題(非有向連結グラフ)を解く。 スティーフェル多様体は非凸集合であり、ユークリッド空間における平均化の標準概念はこの問題には効かない。 stiefel manifold (drcs) 上の分散リーマン的コンセンサスを提案し,大域的コンセンサスに対して局所線形収束率を享受することを示す。 さらに重要なことに、この局所速度は、ユークリッド空間のよく知られた速度と同等の、通信行列の第二の最大の特異値と漸近的にスケールする。 私たちの知る限りでは、これは2つのレートの平等を示す最初の作品です。 主な技術的課題は、(i)収束解析のためのリーマン制限された離散不等式の開発、(ii)アルゴリズムが常に局所領域に留まっている条件(例えば、適切なステップサイズと初期化)を特定することである。

関連論文リスト

• Extragradient Type Methods for Riemannian Variational Inequality Problems [25.574847201669144]
  我々は、REG と RPEG の両者の平均収束度が、2020 年の場合と一致する$Oleft(frac1Tright)$であることを示す。 結果はホロノミー効果の偏見に対処することで可能となり、さらなる観測を減らせることができる。
  論文  参考訳（メタデータ） (2023-09-25T14:08:02Z)
• Decentralized Riemannian Conjugate Gradient Method on the Stiefel Manifold [59.73080197971106]
  本稿では,最急降下法よりも高速に収束する一階共役最適化法を提案する。 これはスティーフェル多様体上の大域収束を達成することを目的としている。
  論文  参考訳（メタデータ） (2023-08-21T08:02:16Z)
• Curvature-Independent Last-Iterate Convergence for Games on Riemannian Manifolds [77.4346324549323]
  本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。 我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
  論文  参考訳（メタデータ） (2023-06-29T01:20:44Z)
• Can Decentralized Stochastic Minimax Optimization Algorithms Converge Linearly for Finite-Sum Nonconvex-Nonconcave Problems? [56.62372517641597]
  分散化されたミニマックス最適化は、幅広い機械学習に応用されているため、ここ数年で活発に研究されている。 本稿では,非コンカブ問題に対する2つの新しい分散化ミニマックス最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-24T02:19:39Z)
• Stochastic Gradient Descent-Ascent and Consensus Optimization for Smooth Games: Convergence Analysis under Expected Co-coercivity [49.66890309455787]
  本稿では,SGDA と SCO の最終的な収束保証として,期待されるコヒーレンシティ条件を導入し,その利点を説明する。 定常的なステップサイズを用いた場合、両手法の線形収束性を解の近傍に証明する。 我々の収束保証は任意のサンプリングパラダイムの下で保たれ、ミニバッチの複雑さに関する洞察を与える。
  論文  参考訳（メタデータ） (2021-06-30T18:32:46Z)
• Averaging on the Bures-Wasserstein manifold: dimension-free convergence of gradient descent [15.136397170510834]
  我々は,新たな測地的凸性の結果を証明し,イテレートのより強力な制御,自由収束を実現した。 また, この手法により, 平均化の概念, エントロピック規則化バリセンタ, 幾何中央値の2つの解析が可能となった。
  論文  参考訳（メタデータ） (2021-06-16T01:05:19Z)
• Decentralized Riemannian Gradient Descent on the Stiefel Manifold [39.750623187256735]
  エージェントのネットワークがStiefel多様体上のグローバル関数を最小化することを目的としている分散非センシアン最適化を考える。 一定の使用条件を満たすために、Stiefel多様体のための分散勾配(DRA)も提案する。
  論文  参考訳（メタデータ） (2021-02-14T07:30:23Z)
• Distributed Saddle-Point Problems: Lower Bounds, Near-Optimal and Robust Algorithms [91.96505642426833]
  本稿では,サドル点問題の分散最適化に着目する。 特に,本手法がGANを分散的に訓練する際の有効性を示す。
  論文  参考訳（メタデータ） (2020-10-25T13:13:44Z)
• The Convergence Indicator: Improved and completely characterized parameter bounds for actual convergence of Particle Swarm Optimization [68.8204255655161]
  我々は、粒子が最終的に単一点に収束するか、分岐するかを計算するのに使用できる新しい収束指標を導入する。 この収束指標を用いて、収束群につながるパラメータ領域を完全に特徴づける実際の境界を提供する。
  論文  参考訳（メタデータ） (2020-06-06T19:08:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。