論文の概要: On dissipative symplectic integration with applications to gradient-based optimization

• arxiv url: http://arxiv.org/abs/2004.06840v4
• Date: Wed, 28 Apr 2021 17:24:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-13 04:17:24.289093
• Title: On dissipative symplectic integration with applications to gradient-based optimization
• Title（参考訳）: 散逸的シンプレクティック積分と勾配に基づく最適化への応用について
• Authors: Guilherme Fran\c{c}a, Michael I. Jordan, Ren\'e Vidal
• Abstract要約: 本稿では,離散化を体系的に実現する幾何学的枠組みを提案する。 我々は、シンプレクティックな非保守的、特に散逸的なハミルトン系への一般化が、制御された誤差まで収束率を維持することができることを示す。
• 参考スコア（独自算出の注目度）: 77.34726150561087
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, continuous-time dynamical systems have proved useful in providing conceptual and quantitative insights into gradient-based optimization, widely used in modern machine learning and statistics. An important question that arises in this line of work is how to discretize the system in such a way that its stability and rates of convergence are preserved. In this paper we propose a geometric framework in which such discretizations can be realized systematically, enabling the derivation of "rate-matching" algorithms without the need for a discrete convergence analysis. More specifically, we show that a generalization of symplectic integrators to nonconservative and in particular dissipative Hamiltonian systems is able to preserve rates of convergence up to a controlled error. Moreover, such methods preserve a shadow Hamiltonian despite the absence of a conservation law, extending key results of symplectic integrators to nonconservative cases. Our arguments rely on a combination of backward error analysis with fundamental results from symplectic geometry. We stress that although the original motivation for this work was the application to optimization, where dissipative systems play a natural role, they are fully general and not only provide a differential geometric framework for dissipative Hamiltonian systems but also substantially extend the theory of structure-preserving integration.
• Abstract（参考訳）: 近年,最近の機械学習や統計学で広く用いられている勾配に基づく最適化に関する概念的,定量的な洞察を提供する上で,連続時間力学系が有用であることが証明されている。 この一連の作業で生じる重要な疑問は、システムの安定性と収束率を保存できるように、システムをどうやって識別するかである。 本稿では,このような離散化を体系的に実現し,離散収束解析を必要としない「レートマッチング」アルゴリズムの導出を可能にする幾何学的枠組みを提案する。 より具体的には、シンプレクティック積分器の非保守的、特に散逸的ハミルトン系への一般化は、制御誤差まで収束率を維持することができることを示す。 さらに、そのような方法は保存則が存在しないにもかかわらず影ハミルトニアンを保存し、シンプレクティック積分器の重要な結果を非保存ケースに拡張する。 我々の議論は、後方誤差解析とシンプレクティック幾何学の基本的な結果の組み合わせに依存している。 この研究の元々の動機は、散逸系が自然な役割を果たす最適化への応用であるが、それらは完全に一般であり、散逸的ハミルトン系に対する微分幾何学的枠組みを提供するだけでなく、構造保存積分の理論を著しく拡張している。

関連論文リスト

• Structure-preserving quantum algorithms for linear and nonlinear Hamiltonian systems [0.0]
  常微分方程式と偏微分方程式のハミルトン系は、現代科学や工学において基本的である。 このようなシステムにおける計算手法の堅牢性と安定性に対する重要な性質はシンプレクティック構造である。 我々は、シンプレクティックを取り入れた量子アルゴリズムを提案し、このキー構造を確実に保存する。
  論文  参考訳（メタデータ） (2024-11-06T01:36:39Z)
• Structure-Preserving Learning Using Gaussian Processes and Variational Integrators [62.31425348954686]
  本稿では,機械系の古典力学に対する変分積分器と,ガウス過程の回帰による残留力学の学習の組み合わせを提案する。 我々は、既知のキネマティック制約を持つシステムへのアプローチを拡張し、予測の不確実性に関する公式な境界を提供する。
  論文  参考訳（メタデータ） (2021-12-10T11:09:29Z)
• On Convergence of Training Loss Without Reaching Stationary Points [62.41370821014218]
  ニューラルネットワークの重み変数は、損失関数の勾配が消える定常点に収束しないことを示す。 エルゴード理論の力学系に基づく新しい視点を提案する。
  論文  参考訳（メタデータ） (2021-10-12T18:12:23Z)
• Optimization on manifolds: A symplectic approach [127.54402681305629]
  本稿では、最適化問題を解くための一般的な枠組みとして、ディラックの制約付きハミルトン系理論の散逸拡張を提案する。 我々の(加速された)アルゴリズムのクラスは単純で効率的なだけでなく、幅広い文脈にも適用できる。
  論文  参考訳（メタデータ） (2021-07-23T13:43:34Z)
• Towards Understanding Generalization via Decomposing Excess Risk Dynamics [13.4379473119565]
  一般化力学を解析してアルゴリズム依存境界(安定性など)を導出する。 ニューラルネットは、ノイズの嵌合時に緩やかな収束率を示すという観測から着想を得て、余剰リスクダイナミクスを分解することを提案する。 分解の枠組みの下では、新しい境界は安定性に基づく境界と一様収束境界よりも理論的および経験的証拠とよく一致している。
  論文  参考訳（メタデータ） (2021-06-11T03:42:45Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)
• Symplectic Gaussian Process Dynamics [5.171909600633905]
  暗黙的なシングルまたはマルチステップインテグレータで基盤システムを識別できるスパースプロセスに基づく変分推論方式を提案する。 特に、シンプレクティック生成体積保存予測と結合したハミルトン問題について議論する。
  論文  参考訳（メタデータ） (2021-02-02T17:02:55Z)
• A Dynamical Systems Approach for Convergence of the Bayesian EM Algorithm [59.99439951055238]
  我々は、(離散時間)リアプノフ安定性理論が、必ずしも勾配ベースではない最適化アルゴリズムの分析(および潜在的な設計)において、いかに強力なツールとして役立つかを示す。 本稿では,不完全データベイズフレームワークにおけるパラメータ推定を,MAP-EM (maximum a reari expectation-maximization) と呼ばれる一般的な最適化アルゴリズムを用いて行うことに着目したML問題について述べる。 高速収束(線形あるいは二次的)が達成され,S&Cアプローチを使わずに発表することが困難であった可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-23T01:34:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。