論文の概要: Optimization on manifolds: A symplectic approach

• arxiv url: http://arxiv.org/abs/2107.11231v2
• Date: Tue, 4 Jul 2023 16:46:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-07 00:55:38.967645
• Title: Optimization on manifolds: A symplectic approach
• Title（参考訳）: 多様体上の最適化:シンプレクティックアプローチ
• Authors: Guilherme Fran\c{c}a, Alessandro Barp, Mark Girolami, Michael I. Jordan
• Abstract要約: 本稿では、最適化問題を解くための一般的な枠組みとして、ディラックの制約付きハミルトン系理論の散逸拡張を提案する。 我々の(加速された)アルゴリズムのクラスは単純で効率的なだけでなく、幅広い文脈にも適用できる。
• 参考スコア（独自算出の注目度）: 127.54402681305629
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Optimization tasks are crucial in statistical machine learning. Recently, there has been great interest in leveraging tools from dynamical systems to derive accelerated and robust optimization methods via suitable discretizations of continuous-time systems. However, these ideas have mostly been limited to Euclidean spaces and unconstrained settings, or to Riemannian gradient flows. In this work, we propose a dissipative extension of Dirac's theory of constrained Hamiltonian systems as a general framework for solving optimization problems over smooth manifolds, including problems with nonlinear constraints. We develop geometric/symplectic numerical integrators on manifolds that are "rate-matching," i.e., preserve the continuous-time rates of convergence. In particular, we introduce a dissipative RATTLE integrator able to achieve optimal convergence rate locally. Our class of (accelerated) algorithms are not only simple and efficient but also applicable to a broad range of contexts.
• Abstract（参考訳）: 統計的機械学習では最適化タスクが不可欠である。 近年、動的システムからのツールを活用することで、連続時間システムの適切な離散化を通じて、加速的かつロバストな最適化手法を導出することに大きな関心が寄せられている。 しかし、これらのアイデアは主にユークリッド空間や制約のない設定、あるいはリーマン勾配フローに限られている。 本研究では, 非線形制約を伴う問題を含む滑らかな多様体上の最適化問題を解くための一般的な枠組みとして, ディラックの制約付きハミルトン系理論の散逸拡張を提案する。 本研究では,「レートマッチング」である多様体上の幾何学的・漸近的数値積分器,すなわち連続時間収束率を保存する。 特に,最適収束率を局所的に達成できる散逸型RATTLE積分器を提案する。 我々の(加速された)アルゴリズムのクラスは単純で効率的なだけでなく、幅広いコンテキストに適用できる。

関連論文リスト

• A Novel Unified Parametric Assumption for Nonconvex Optimization [53.943470475510196]
  非最適化は機械学習の中心であるが、一般の非凸性は弱い収束を保証するため、他方に比べて悲観的すぎる。 非凸アルゴリズムに新しい統一仮定を導入する。
  論文  参考訳（メタデータ） (2025-02-17T21:25:31Z)
• Stochastic interior-point methods for smooth conic optimization with applications [3.294420397461204]
  一般円錐最適化のためのインテリアポイント法を4つの新しいSIPM変種とともに導入する。 未開発の前提の下では,提案したSIPMのグローバル収束率を確立する。 頑健な線形回帰、マルチタスク関係学習、クラスタリングデータストリームの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2024-12-17T15:06:44Z)
• Go With the Flow: Fast Diffusion for Gaussian Mixture Models [13.03355083378673]
  Schr"odinger Bridges (SB) は、適切なコスト関数を最小化しながら、有限時間で与えられた初期分布を他の最終状態に分配する拡散過程である。 本稿では,ある分布から別の分布へシステムをステアリングするための一組のSBポリシーの潜在メトリゼーションを提案する。 オートエンコーダの空間における画像から画像への変換のような低次元問題におけるこのアプローチの可能性を示す。
  論文  参考訳（メタデータ） (2024-12-12T08:40:22Z)
• Structured Regularization for Constrained Optimization on the SPD Manifold [1.1126342180866644]
  対称ゲージ関数に基づく構造化正規化器のクラスを導入し、より高速な非制約手法でSPD多様体上の制約付き最適化を解けるようにする。 構造正規化器は望ましい構造(特に凸性や凸の差)を保存または誘導するために選択できることを示す。
  論文  参考訳（メタデータ） (2024-10-12T22:11:22Z)
• Accelerated First-Order Optimization under Nonlinear Constraints [73.2273449996098]
  我々は、制約付き最適化のための一階アルゴリズムと非滑らかなシステムの間で、新しい一階アルゴリズムのクラスを設計する。 これらのアルゴリズムの重要な性質は、制約がスパース変数の代わりに速度で表されることである。
  論文  参考訳（メタデータ） (2023-02-01T08:50:48Z)
• Breaking the Convergence Barrier: Optimization via Fixed-Time Convergent Flows [4.817429789586127]
  本稿では, 固定時間安定力学系の概念に基づいて, 加速を実現するための多言語最適化フレームワークを提案する。 提案手法の高速化された収束特性を,最先端の最適化アルゴリズムに対して様々な数値例で検証する。
  論文  参考訳（メタデータ） (2021-12-02T16:04:40Z)
• Faster Algorithm and Sharper Analysis for Constrained Markov Decision Process [56.55075925645864]
  制約付き意思決定プロセス (CMDP) の問題点について検討し, エージェントは, 複数の制約を条件として, 期待される累積割引報酬を最大化することを目的とする。 新しいユーティリティ・デュアル凸法は、正規化ポリシー、双対正則化、ネステロフの勾配降下双対という3つの要素の新たな統合によって提案される。 これは、凸制約を受ける全ての複雑性最適化に対して、非凸CMDP問題が$mathcal O (1/epsilon)$の低い境界に達する最初の実演である。
  論文  参考訳（メタデータ） (2021-10-20T02:57:21Z)
• On Constraints in First-Order Optimization: A View from Non-Smooth Dynamical Systems [99.59934203759754]
  本稿では,スムーズな制約付き最適化のための一階法について紹介する。 提案手法の2つの特徴は、実現可能な集合全体の投影や最適化が避けられることである。 結果として得られるアルゴリズムの手順は、制約が非線形であっても簡単に実装できる。
  論文  参考訳（メタデータ） (2021-07-17T11:45:13Z)
• On dissipative symplectic integration with applications to gradient-based optimization [77.34726150561087]
  本稿では,離散化を体系的に実現する幾何学的枠組みを提案する。 我々は、シンプレクティックな非保守的、特に散逸的なハミルトン系への一般化が、制御された誤差まで収束率を維持することができることを示す。
  論文  参考訳（メタデータ） (2020-04-15T00:36:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。