論文の概要: Optimization on manifolds: A symplectic approach

• arxiv url: http://arxiv.org/abs/2107.11231v2
• Date: Tue, 4 Jul 2023 16:46:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-07 00:55:38.967645
• Title: Optimization on manifolds: A symplectic approach
• Title（参考訳）: 多様体上の最適化:シンプレクティックアプローチ
• Authors: Guilherme Fran\c{c}a, Alessandro Barp, Mark Girolami, Michael I. Jordan
• Abstract要約: 本稿では、最適化問題を解くための一般的な枠組みとして、ディラックの制約付きハミルトン系理論の散逸拡張を提案する。 我々の(加速された)アルゴリズムのクラスは単純で効率的なだけでなく、幅広い文脈にも適用できる。
• 参考スコア（独自算出の注目度）: 127.54402681305629
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Optimization tasks are crucial in statistical machine learning. Recently, there has been great interest in leveraging tools from dynamical systems to derive accelerated and robust optimization methods via suitable discretizations of continuous-time systems. However, these ideas have mostly been limited to Euclidean spaces and unconstrained settings, or to Riemannian gradient flows. In this work, we propose a dissipative extension of Dirac's theory of constrained Hamiltonian systems as a general framework for solving optimization problems over smooth manifolds, including problems with nonlinear constraints. We develop geometric/symplectic numerical integrators on manifolds that are "rate-matching," i.e., preserve the continuous-time rates of convergence. In particular, we introduce a dissipative RATTLE integrator able to achieve optimal convergence rate locally. Our class of (accelerated) algorithms are not only simple and efficient but also applicable to a broad range of contexts.
• Abstract（参考訳）: 統計的機械学習では最適化タスクが不可欠である。 近年、動的システムからのツールを活用することで、連続時間システムの適切な離散化を通じて、加速的かつロバストな最適化手法を導出することに大きな関心が寄せられている。 しかし、これらのアイデアは主にユークリッド空間や制約のない設定、あるいはリーマン勾配フローに限られている。 本研究では, 非線形制約を伴う問題を含む滑らかな多様体上の最適化問題を解くための一般的な枠組みとして, ディラックの制約付きハミルトン系理論の散逸拡張を提案する。 本研究では,「レートマッチング」である多様体上の幾何学的・漸近的数値積分器,すなわち連続時間収束率を保存する。 特に,最適収束率を局所的に達成できる散逸型RATTLE積分器を提案する。 我々の(加速された)アルゴリズムのクラスは単純で効率的なだけでなく、幅広いコンテキストに適用できる。

関連論文リスト

• Structured Regularization for Constrained Optimization on the SPD Manifold [1.1126342180866644]
  対称ゲージ関数に基づく構造化正規化器のクラスを導入し、より高速な非制約手法でSPD多様体上の制約付き最適化を解けるようにする。 構造正規化器は望ましい構造(特に凸性や凸の差)を保存または誘導するために選択できることを示す。
  論文  参考訳（メタデータ） (2024-10-12T22:11:22Z)
• ODE-based Learning to Optimize [28.380622776436905]
  我々は、慣性系とヘッセン駆動制振方程式(ISHD)を統合した包括的枠組みを提案する。 収束・安定条件を考慮した停止時間を最小化することを目的とした新しい学習法(L2O)を定式化する。 本フレームワークの実証検証は,多種多様な最適化問題に対する広範な数値実験を通じて行われる。
  論文  参考訳（メタデータ） (2024-06-04T06:39:45Z)
• Learning to optimize with convergence guarantees using nonlinear system theory [0.4143603294943439]
  本研究では,スムーズな目的関数に対するアルゴリズムの非制約パラメトリゼーションを提案する。 特に、私たちのフレームワークは自動微分ツールと直接互換性があります。
  論文  参考訳（メタデータ） (2024-03-14T13:40:26Z)
• Analyzing and Enhancing the Backward-Pass Convergence of Unrolled Optimization [50.38518771642365]
  ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 この設定における中心的な課題は最適化問題の解によるバックプロパゲーションであり、しばしば閉形式を欠いている。 本稿では, 非線形最適化の後方通過に関する理論的知見を提供し, 特定の反復法による線形システムの解と等価であることを示す。 Folded Optimizationと呼ばれるシステムが提案され、非ローリングなソルバ実装からより効率的なバックプロパゲーションルールを構築する。
  論文  参考訳（メタデータ） (2023-12-28T23:15:18Z)
• Accelerated First-Order Optimization under Nonlinear Constraints [73.2273449996098]
  我々は、制約付き最適化のための一階アルゴリズムと非滑らかなシステムの間で、新しい一階アルゴリズムのクラスを設計する。 これらのアルゴリズムの重要な性質は、制約がスパース変数の代わりに速度で表されることである。
  論文  参考訳（メタデータ） (2023-02-01T08:50:48Z)
• Breaking the Convergence Barrier: Optimization via Fixed-Time Convergent Flows [4.817429789586127]
  本稿では, 固定時間安定力学系の概念に基づいて, 加速を実現するための多言語最適化フレームワークを提案する。 提案手法の高速化された収束特性を,最先端の最適化アルゴリズムに対して様々な数値例で検証する。
  論文  参考訳（メタデータ） (2021-12-02T16:04:40Z)
• Faster Algorithm and Sharper Analysis for Constrained Markov Decision Process [56.55075925645864]
  制約付き意思決定プロセス (CMDP) の問題点について検討し, エージェントは, 複数の制約を条件として, 期待される累積割引報酬を最大化することを目的とする。 新しいユーティリティ・デュアル凸法は、正規化ポリシー、双対正則化、ネステロフの勾配降下双対という3つの要素の新たな統合によって提案される。 これは、凸制約を受ける全ての複雑性最適化に対して、非凸CMDP問題が$mathcal O (1/epsilon)$の低い境界に達する最初の実演である。
  論文  参考訳（メタデータ） (2021-10-20T02:57:21Z)
• On Constraints in First-Order Optimization: A View from Non-Smooth Dynamical Systems [99.59934203759754]
  本稿では,スムーズな制約付き最適化のための一階法について紹介する。 提案手法の2つの特徴は、実現可能な集合全体の投影や最適化が避けられることである。 結果として得られるアルゴリズムの手順は、制約が非線形であっても簡単に実装できる。
  論文  参考訳（メタデータ） (2021-07-17T11:45:13Z)
• On dissipative symplectic integration with applications to gradient-based optimization [77.34726150561087]
  本稿では,離散化を体系的に実現する幾何学的枠組みを提案する。 我々は、シンプレクティックな非保守的、特に散逸的なハミルトン系への一般化が、制御された誤差まで収束率を維持することができることを示す。
  論文  参考訳（メタデータ） (2020-04-15T00:36:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。