論文の概要: Convergence Analysis of the Wasserstein Proximal Algorithm beyond Geodesic Convexity

• arxiv url: http://arxiv.org/abs/2501.14993v1
• Date: Sat, 25 Jan 2025 00:00:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:55:46.090138
• Title: Convergence Analysis of the Wasserstein Proximal Algorithm beyond Geodesic Convexity
• Title（参考訳）: 測地的凸性を超えたワッサーシュタイン近似アルゴリズムの収束解析
• Authors: Shuailong Zhu, Xiaohui Chen,
• Abstract要約: 近位降下アルゴリズムは、一般計量空間における非線形および非滑らか性に対する強力なツールである。 平均場ニューラルネットワークにおけるユークリッドアルゴリズムよりも高速な収束率を示す。
• 参考スコア（独自算出の注目度）: 13.468026138183623
• License:
• Abstract: The proximal algorithm is a powerful tool to minimize nonlinear and nonsmooth functionals in a general metric space. Motivated by the recent progress in studying the training dynamics of the noisy gradient descent algorithm on two-layer neural networks in the mean-field regime, we provide in this paper a simple and self-contained analysis for the convergence of the general-purpose Wasserstein proximal algorithm without assuming geodesic convexity of the objective functional. Under a natural Wasserstein analog of the Euclidean Polyak-{\L}ojasiewicz inequality, we establish that the proximal algorithm achieves an unbiased and linear convergence rate. Our convergence rate improves upon existing rates of the proximal algorithm for solving Wasserstein gradient flows under strong geodesic convexity. We also extend our analysis to the inexact proximal algorithm for geodesically semiconvex objectives. In our numerical experiments, proximal training demonstrates a faster convergence rate than the noisy gradient descent algorithm on mean-field neural networks.
• Abstract（参考訳）: 近似アルゴリズムは、一般計量空間における非線形および非滑らかな汎函数を最小化する強力なツールである。 平均場状態における2層ニューラルネットワーク上での雑音勾配降下アルゴリズムのトレーニング力学の研究の最近の進歩により、目的関数の測地的凸性を仮定することなく、一般用途のワッサーシュタイン近似アルゴリズムの収束を簡易かつ自己完結的に解析する。 Euclidean Polyak-{\L}ojasiewiczの不等式を自然なワッサーシュタインアナログとして、近似アルゴリズムが偏りなく線形収束率を達成することを証明した。 我々の収束速度は、強い測地的凸の下でのワッサーシュタイン勾配を解くための近似アルゴリズムの既存の速度を改善する。 我々はまた、測地的半凸目的に対する不正確な近似アルゴリズムにも分析を拡張した。 数値実験では, 平均場ニューラルネットワーク上での雑音勾配降下アルゴリズムよりも高速な収束率を示す。

関連論文リスト

• A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
  本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。 その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
  論文  参考訳（メタデータ） (2024-04-18T16:46:08Z)
• Adaptive Federated Learning Over the Air [108.62635460744109]
  オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。 解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
  論文  参考訳（メタデータ） (2024-03-11T09:10:37Z)
• A Globally Convergent Algorithm for Neural Network Parameter Optimization Based on Difference-of-Convex Functions [29.58728073957055]
  隠れ層ネットワークのパラメータを最適化するアルゴリズムを提案する。 具体的には,ブロックワイズ(DC-of-the-art)差分関数を導出する。
  論文  参考訳（メタデータ） (2024-01-15T19:53:35Z)
• Can Decentralized Stochastic Minimax Optimization Algorithms Converge Linearly for Finite-Sum Nonconvex-Nonconcave Problems? [56.62372517641597]
  分散化されたミニマックス最適化は、幅広い機械学習に応用されているため、ここ数年で活発に研究されている。 本稿では,非コンカブ問題に対する2つの新しい分散化ミニマックス最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-24T02:19:39Z)
• A Gradient Smoothed Functional Algorithm with Truncated Cauchy Random Perturbations for Stochastic Optimization [10.820943271350442]
  本稿では,雑音の多いコストサンプルに対する期待値であるスムーズな目的関数を最小化するための凸勾配アルゴリズムを提案する。 また,本アルゴリズムは局所最小値への収束を示唆し,レートリリアを回避できることも示している。
  論文  参考訳（メタデータ） (2022-07-30T18:50:36Z)
• A Fast and Convergent Proximal Algorithm for Regularized Nonconvex and Nonsmooth Bi-level Optimization [26.68351521813062]
  既存のバイレベルアルゴリズムは、非滑らかまたは超滑らかな正規化器を扱えない。 本稿では,包括的機械学習アプリケーションを高速化するために,暗黙差分法(AID)が有効であることを示す。
  論文  参考訳（メタデータ） (2022-03-30T18:53:04Z)
• q-RBFNN:A Quantum Calculus-based RBF Neural Network [31.14412266444568]
  放射状基底関数ニューラルネットワーク(RBFNN)に対する勾配降下に基づく学習手法を提案する。 提案手法は、ジャクソン微分(Jackson derivative)とも呼ばれるq勾配に基づく。 提案した$q$-RBFNNは最小二乗アルゴリズムの文脈における収束性能について解析する。
  論文  参考訳（メタデータ） (2021-06-02T08:27:12Z)
• Smoothed functional-based gradient algorithms for off-policy reinforcement learning: A non-asymptotic viewpoint [8.087699764574788]
  政治外の強化学習コンテキストにおける制御問題の解法として,2つのポリシー勾配アルゴリズムを提案する。 どちらのアルゴリズムも、スムーズな関数的勾配推定スキームを取り入れている。
  論文  参考訳（メタデータ） (2021-01-06T17:06:42Z)
• IDEAL: Inexact DEcentralized Accelerated Augmented Lagrangian Method [64.15649345392822]
  本稿では,局所関数が滑らかで凸な分散最適化環境下での原始的手法設計のためのフレームワークを提案する。 提案手法は,加速ラグランジアン法により誘導されるサブプロブレム列を概ね解いたものである。 加速度勾配降下と組み合わせることで,収束速度が最適で,最近導出された下界と一致した新しい原始アルゴリズムが得られる。
  論文  参考訳（メタデータ） (2020-06-11T18:49:06Z)
• Second-Order Guarantees in Centralized, Federated and Decentralized Nonconvex Optimization [64.26238893241322]
  単純なアルゴリズムは、多くの文脈において優れた経験的結果をもたらすことが示されている。 いくつかの研究は、非最適化問題を研究するための厳密な分析的正当化を追求している。 これらの分析における重要な洞察は、摂動が局所的な降下アルゴリズムを許容する上で重要な役割を担っていることである。
  論文  参考訳（メタデータ） (2020-03-31T16:54:22Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。