論文の概要: Efficient displacement convex optimization with particle gradient descent

• arxiv url: http://arxiv.org/abs/2302.04753v1
• Date: Thu, 9 Feb 2023 16:35:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-10 15:18:44.881673
• Title: Efficient displacement convex optimization with particle gradient descent
• Title（参考訳）: 粒子勾配降下を伴う高効率変位凸最適化
• Authors: Hadi Daneshmand, Jason D. Lee, and Chi Jin
• Abstract要約: 粒子勾配降下は確率測度の関数の最適化に広く用いられている。 本稿では, 有限個の粒子による粒子勾配降下について考察し, その理論的保証を定式化して, 測度に置換凸となる関数を最適化する。
• 参考スコア（独自算出の注目度）: 57.88860627977882
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Particle gradient descent, which uses particles to represent a probability measure and performs gradient descent on particles in parallel, is widely used to optimize functions of probability measures. This paper considers particle gradient descent with a finite number of particles and establishes its theoretical guarantees to optimize functions that are \emph{displacement convex} in measures. Concretely, for Lipschitz displacement convex functions defined on probability over $\mathbb{R}^d$, we prove that $O(1/\epsilon^2)$ particles and $O(d/\epsilon^4)$ computations are sufficient to find the $\epsilon$-optimal solutions. We further provide improved complexity bounds for optimizing smooth displacement convex functions. We demonstrate the application of our results for function approximation with specific neural architectures with two-dimensional inputs.
• Abstract（参考訳）: 粒子を確率測度の表現に用い、粒子の勾配降下を並列に行う粒子勾配降下は、確率測度の関数を最適化するために広く使われている。 本稿では,有限個の粒子による粒子勾配降下を考察し,その理論的保証を,測度において 'emph{displacement convex} となる関数を最適化する。 具体的には、$\mathbb{R}^d$の確率で定義されるリプシッツ変位凸関数に対して、$O(1/\epsilon^2)$粒子と$O(d/\epsilon^4)$計算が$\epsilon$-最適解を見つけるのに十分であることを示す。 さらに,滑らかな変位凸関数を最適化するための複雑性境界の改善も行う。 本稿では,2次元入力を持つ特定のニューラルアーキテクチャを用いた関数近似への結果の適用を実証する。

関連論文リスト

• Stochastic First-Order Methods with Non-smooth and Non-Euclidean Proximal Terms for Nonconvex High-Dimensional Stochastic Optimization [2.0657831823662574]
  非問題が非問題である場合、一階法のサンプルは問題次元に線形に依存することがあるが、望ましくない問題に対するものである。 我々のアルゴリズムは距離を使って複雑さを見積もることができる。 MathO (log d) / EuM4。 DISFOM は $mathO (log d) / EuM4 を用いて分散を鋭くすることができることを示す。
  論文  参考訳（メタデータ） (2024-06-27T18:38:42Z)
• On Convergence of Incremental Gradient for Non-Convex Smooth Functions [63.51187646914962]
  機械学習とネットワーク最適化では、ミスの数と優れたキャッシュを最小化するため、シャッフルSGDのようなアルゴリズムが人気である。 本稿では任意のデータ順序付けによる収束特性SGDアルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2023-05-30T17:47:27Z)
• Interacting Particle Langevin Algorithm for Maximum Marginal Likelihood Estimation [2.53740603524637]
  我々は,最大限界推定法を実装するための相互作用粒子系のクラスを開発する。 特に、この拡散の定常測度のパラメータ境界がギブス測度の形式であることを示す。 特定の再スケーリングを用いて、このシステムの幾何学的エルゴディディティを証明し、離散化誤差を限定する。 時間的に一様で、粒子の数で増加しない方法で。
  論文  参考訳（メタデータ） (2023-03-23T16:50:08Z)
• Continuized Acceleration for Quasar Convex Functions in Non-Convex Optimization [13.427128424538502]
  クエーサー凸性(英: Quasar convexity)とは、風景が最適でない場合でも、ある一階述語を効率的に関数にすることができる条件である。 クエーサー凸性は特定の条件下では可能であるが、これらの関数のクラスでは加速度は一般には知られていない。
  論文  参考訳（メタデータ） (2023-02-15T18:35:45Z)
• Fast Computation of Optimal Transport via Entropy-Regularized Extragradient Methods [75.34939761152587]
  2つの分布間の最適な輸送距離の効率的な計算は、様々な応用を促進するアルゴリズムとして機能する。 本稿では,$varepsilon$加法精度で最適な輸送を計算できるスケーラブルな一階最適化法を提案する。
  論文  参考訳（メタデータ） (2023-01-30T15:46:39Z)
• Reducing the Variance of Gaussian Process Hyperparameter Optimization with Preconditioning [54.01682318834995]
  プレコンディショニングは、行列ベクトル乗算を含む反復的な方法にとって非常に効果的なステップである。 プレコンディショニングには、これまで検討されていなかった付加的なメリットがあることを実証する。 基本的に無視可能なコストで、同時に分散を低減することができる。
  論文  参考訳（メタデータ） (2021-07-01T06:43:11Z)
• Finding Global Minima via Kernel Approximations [90.42048080064849]
  関数評価のみに基づく滑らかな関数のグローバル最小化を考える。 本稿では,近似関数を共同でモデル化し,大域的最小値を求める手法を検討する。
  論文  参考訳（メタデータ） (2020-12-22T12:59:30Z)
• Variational Transport: A Convergent Particle-BasedAlgorithm for Distributional Optimization [106.70006655990176]
  分散最適化問題は機械学習や統計学で広く発生する。 本稿では,変分輸送と呼ばれる粒子に基づく新しいアルゴリズムを提案する。 目的関数がpolyak-Lojasiewicz (PL) (Polyak, 1963) の機能バージョンと滑らかな条件を満たすとき、変分輸送は線形に収束することを示す。
  論文  参考訳（メタデータ） (2020-12-21T18:33:13Z)
• Deep FPF: Gain function approximation in high-dimensional setting [8.164433158925592]
  フィードバック粒子フィルタ(FPF)の利得関数を近似する新しい手法を提案する。 数値的な問題は、確率分布からサンプリングされた有限個の粒子のみを用いて、正確な利得関数を近似することである。 近年のディープラーニング手法の成功に触発されて、我々はゲイン関数をニューラルネットワークの出力の勾配として表現した。
  論文  参考訳（メタデータ） (2020-10-02T20:17:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。