論文の概要: Accelerating optimization over the space of probability measures
- arxiv url: http://arxiv.org/abs/2310.04006v1
- Date: Fri, 6 Oct 2023 04:32:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-10 03:32:02.564536
- Title: Accelerating optimization over the space of probability measures
- Title(参考訳): 確率測度空間上の最適化の高速化
- Authors: Shi Chen, Qin Li, Oliver Tse and Stephen J. Wright
- Abstract要約: ユークリッド空間におけるモーメントに基づくアプローチに類似したハミルトニアンフローアプローチを導入する。
このアプローチに基づくアルゴリズムは任意の高次収束率を達成できることを実証する。
- 参考スコア(独自算出の注目度): 18.923723661158807
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Acceleration of gradient-based optimization methods is an issue of
significant practical and theoretical interest, particularly in machine
learning applications. Most research has focused on optimization over Euclidean
spaces, but given the need to optimize over spaces of probability measures in
many machine learning problems, it is of interest to investigate accelerated
gradient methods in this context too. To this end, we introduce a
Hamiltonian-flow approach that is analogous to moment-based approaches in
Euclidean space. We demonstrate that algorithms based on this approach can
achieve convergence rates of arbitrarily high order. Numerical examples
illustrate our claim.
- Abstract(参考訳): 勾配に基づく最適化手法の高速化は、特に機械学習アプリケーションにおいて、実用的かつ理論的に重要な関心事である。
ほとんどの研究はユークリッド空間の最適化に焦点を合わせてきたが、多くの機械学習問題における確率測度空間の最適化の必要性を考えると、この文脈における加速勾配法の研究も重要である。
この目的のために、ユークリッド空間におけるモーメントに基づくアプローチに類似したハミルトン流アプローチを導入する。
この手法に基づくアルゴリズムが任意に高次な収束率を達成できることを実証する。
数値的な例は我々の主張を示している。
関連論文リスト
- The Curse of Unrolling: Rate of Differentiating Through Optimization [35.327233435055305]
未分化は反復解法を用いて解を近似し、計算経路を通して解を微分する。
我々は,(1)高速収束につながる大きな学習率を選択することができるが,アルゴリズムが任意に長いバーンインフェーズを持つことを受け入れるか,あるいは(2)即時収束につながるより少ない学習率を選択するかのどちらかを示す。
論文 参考訳(メタデータ) (2022-09-27T09:27:29Z) - On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。
分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
論文 参考訳(メタデータ) (2022-02-28T13:01:04Z) - Amortized Implicit Differentiation for Stochastic Bilevel Optimization [53.12363770169761]
決定論的条件と決定論的条件の両方において、二段階最適化問題を解決するアルゴリズムのクラスについて検討する。
厳密な勾配の推定を補正するために、ウォームスタート戦略を利用する。
このフレームワークを用いることで、これらのアルゴリズムは勾配の偏りのない推定値にアクセス可能な手法の計算複雑性と一致することを示す。
論文 参考訳(メタデータ) (2021-11-29T15:10:09Z) - A theoretical and empirical study of new adaptive algorithms with
additional momentum steps and shifted updates for stochastic non-convex
optimization [0.0]
適応最適化アルゴリズムは学習分野の鍵となる柱を表現していると考えられる。
本稿では,異なる非滑らかな目的問題に対する適応運動量法を提案する。
論文 参考訳(メタデータ) (2021-10-16T09:47:57Z) - Optimization on manifolds: A symplectic approach [127.54402681305629]
本稿では、最適化問題を解くための一般的な枠組みとして、ディラックの制約付きハミルトン系理論の散逸拡張を提案する。
我々の(加速された)アルゴリズムのクラスは単純で効率的なだけでなく、幅広い文脈にも適用できる。
論文 参考訳(メタデータ) (2021-07-23T13:43:34Z) - Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box
Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。
座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文 参考訳(メタデータ) (2020-12-21T17:29:58Z) - Asymptotic study of stochastic adaptive algorithm in non-convex
landscape [2.1320960069210484]
本稿では、最適化や機械学習に広く用いられる適応アルゴリズムの仮定特性について検討する。
このうちAdagradとRmspropは、ブラックボックスのディープラーニングアルゴリズムの大部分に関与している。
論文 参考訳(メタデータ) (2020-12-10T12:54:45Z) - A Dynamical Systems Approach for Convergence of the Bayesian EM
Algorithm [59.99439951055238]
我々は、(離散時間)リアプノフ安定性理論が、必ずしも勾配ベースではない最適化アルゴリズムの分析(および潜在的な設計)において、いかに強力なツールとして役立つかを示す。
本稿では,不完全データベイズフレームワークにおけるパラメータ推定を,MAP-EM (maximum a reari expectation-maximization) と呼ばれる一般的な最適化アルゴリズムを用いて行うことに着目したML問題について述べる。
高速収束(線形あるいは二次的)が達成され,S&Cアプローチを使わずに発表することが困難であった可能性が示唆された。
論文 参考訳(メタデータ) (2020-06-23T01:34:18Z) - IDEAL: Inexact DEcentralized Accelerated Augmented Lagrangian Method [64.15649345392822]
本稿では,局所関数が滑らかで凸な分散最適化環境下での原始的手法設計のためのフレームワークを提案する。
提案手法は,加速ラグランジアン法により誘導されるサブプロブレム列を概ね解いたものである。
加速度勾配降下と組み合わせることで,収束速度が最適で,最近導出された下界と一致した新しい原始アルゴリズムが得られる。
論文 参考訳(メタデータ) (2020-06-11T18:49:06Z) - Optimization in Machine Learning: A Distribution Space Approach [16.038814087205143]
本稿では,機械学習における最適化問題は,関数空間上の凸関数を最小化するものとして解釈されることが多い。
空間分布における凸最適化問題と同様に、適切な緩和によってそのような問題を再現する。
本研究では,混合分布に基づく数値アルゴリズムを開発し,分布空間で直接近似最適化を行う。
論文 参考訳(メタデータ) (2020-04-18T13:38:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。