論文の概要: A Discrete Variational Derivation of Accelerated Methods in Optimization
- arxiv url: http://arxiv.org/abs/2106.02700v1
- Date: Fri, 4 Jun 2021 20:21:53 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-14 13:19:44.560333
- Title: A Discrete Variational Derivation of Accelerated Methods in Optimization
- Title（参考訳）: 最適化における加速法の離散変分導出
- Authors: C\'edric M. Campos, Alejandro Mahillo, David Mart\'in de Diego
- Abstract要約: 最適化のための異なる手法を導出できる変分法を導入する。
我々は1対1の対応において最適化手法の2つのファミリを導出する。
自律システムのシンプレクティシティの保存は、ここでは繊維のみに行われる。
- 参考スコア（独自算出の注目度）: 68.8204255655161
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Many of the new developments in machine learning are connected with
gradient-based optimization methods. Recently, these methods have been studied
using a variational perspective. This has opened up the possibility of
introducing variational and symplectic integration methods using geometric
integrators. In particular, in this paper, we introduce variational integrators
which allow us to derive different methods for optimization. Using both,
Hamilton's principle and Lagrange-d'Alembert's, we derive two families of
optimization methods in one-to-one correspondence that generalize Polyak's
heavy ball and the well known Nesterov accelerated gradient method, mimicking
the behavior of the latter which reduces the oscillations of typical momentum
methods. However, since the systems considered are explicitly time-dependent,
the preservation of symplecticity of autonomous systems occurs here solely on
the fibers. Several experiments exemplify the result.
- Abstract（参考訳）: 機械学習の新しい発展の多くは勾配に基づく最適化手法と結びついている。
近年,これらの手法は変分的視点を用いて研究されている。
これにより、幾何積分器を用いた変分積分法とシンプレクティック積分法を導入する可能性が開けた。
本稿では,最適化のための異なる手法を導出できる変分積分器を提案する。
ハミルトンの原理とラグランジュ・ダルムベールの原理の両方を用いて、ポリアクの重球を一般化する1対1対応の2つの最適化法と、典型的な運動量法の振動を減少させる後者の挙動を模倣したよく知られたネステロフ加速勾配法を導出する。
しかし、明らかに時間に依存したシステムと考えられるため、自律システムのシンプレクティック性の保存は繊維のみに行われる。
結果を示す実験がいくつかある。
関連論文リスト
- Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。
本稿では,直感的に設計を記述し,設計選択について説明する。
本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
論文 参考訳（メタデータ） (2023-10-31T16:15:13Z) - Sublinear Convergence Rates of Extragradient-Type Methods: A Survey on
Classical and Recent Developments [12.995632804090198]
外部分解性(EG)は、サドルポイント問題の解を近似するためのよく知られた方法である。
近年,機械学習の新たな応用やロバストな最適化により,これらの手法が普及している。
アルゴリズムの異なるクラスに対する統一収束解析を提供し、サブ線形のベストイテレートとラストイテレート収束率に重点を置いている。
論文 参考訳（メタデータ） (2023-03-30T07:04:22Z) - Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。
微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
論文 参考訳（メタデータ） (2023-02-24T18:41:48Z) - Optimization on manifolds: A symplectic approach [127.54402681305629]
本稿では、最適化問題を解くための一般的な枠組みとして、ディラックの制約付きハミルトン系理論の散逸拡張を提案する。
我々の(加速された)アルゴリズムのクラスは単純で効率的なだけでなく、幅広い文脈にも適用できる。
論文 参考訳（メタデータ） (2021-07-23T13:43:34Z) - Monotonic Alpha-divergence Minimisation for Variational Inference [0.0]
本稿では,変化推論の文脈で$alpha$-divergence最小化を実行する新しい反復アルゴリズム群を紹介する。
それらは、変動分布と後続分布の間の$alpha$-divergenceの各ステップにおいて、体系的に減少することを保証する。
論文 参考訳（メタデータ） (2021-03-09T19:41:03Z) - Acceleration Methods [57.202881673406324]
まず2次最適化問題を用いて加速法を2つ導入する。
我々は、ネステロフの精巧な研究から始まる運動量法を詳細に論じる。
我々は、ほぼ最適な収束率に達するための一連の簡単な手法である再起動スキームを議論することで結論付ける。
論文 参考訳（メタデータ） (2021-01-23T17:58:25Z) - On dissipative symplectic integration with applications to
gradient-based optimization [77.34726150561087]
本稿では,離散化を体系的に実現する幾何学的枠組みを提案する。
我々は、シンプレクティックな非保守的、特に散逸的なハミルトン系への一般化が、制御された誤差まで収束率を維持することができることを示す。
論文 参考訳（メタデータ） (2020-04-15T00:36:49Z) - Sparse Orthogonal Variational Inference for Gaussian Processes [34.476453597078894]
誘導点を用いたガウス過程に対するスパース変分近似の新しい解釈を導入する。
この定式化は既存の近似を復元し、同時に限界確率と新しい変分推論アルゴリズムのより厳密な下界を得ることができることを示す。
論文 参考訳（メタデータ） (2019-10-23T15:01:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。