論文の概要: ODE-based Learning to Optimize

• arxiv url: http://arxiv.org/abs/2406.02006v1
• Date: Tue, 4 Jun 2024 06:39:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-05 17:50:34.129200
• Title: ODE-based Learning to Optimize
• Title（参考訳）: 最適化のためのODEベースの学習
• Authors: Zhonglin Xie, Wotao Yin, Zaiwen Wen,
• Abstract要約: 我々は、慣性系とヘッセン駆動制振方程式(ISHD)を統合した包括的枠組みを提案する。 収束・安定条件を考慮した停止時間を最小化することを目的とした新しい学習法(L2O)を定式化する。 本フレームワークの実証検証は,多種多様な最適化問題に対する広範な数値実験を通じて行われる。
• 参考スコア（独自算出の注目度）: 28.380622776436905
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent years have seen a growing interest in understanding acceleration methods through the lens of ordinary differential equations (ODEs). Despite the theoretical advancements, translating the rapid convergence observed in continuous-time models to discrete-time iterative methods poses significant challenges. In this paper, we present a comprehensive framework integrating the inertial systems with Hessian-driven damping equation (ISHD) and learning-based approaches for developing optimization methods through a deep synergy of theoretical insights. We first establish the convergence condition for ensuring the convergence of the solution trajectory of ISHD. Then, we show that provided the stability condition, another relaxed requirement on the coefficients of ISHD, the sequence generated through the explicit Euler discretization of ISHD converges, which gives a large family of practical optimization methods. In order to select the best optimization method in this family for certain problems, we introduce the stopping time, the time required for an optimization method derived from ISHD to achieve a predefined level of suboptimality. Then, we formulate a novel learning to optimize (L2O) problem aimed at minimizing the stopping time subject to the convergence and stability condition. To navigate this learning problem, we present an algorithm combining stochastic optimization and the penalty method (StoPM). The convergence of StoPM using the conservative gradient is proved. Empirical validation of our framework is conducted through extensive numerical experiments across a diverse set of optimization problems. These experiments showcase the superior performance of the learned optimization methods.
• Abstract（参考訳）: 近年、通常の微分方程式(ODE)のレンズを通して加速法を理解することへの関心が高まっている。 理論的な進歩にもかかわらず、連続時間モデルで観測される急激な収束を離散時間反復法に変換することは大きな課題となる。 本稿では,慣性系をヘッセン駆動制振方程式(ISHD)と統合した包括的枠組みと,理論的洞察の深い相乗効果による最適化手法開発のための学習に基づくアプローチを提案する。 まず、ISHDの解軌道の収束を保証する収束条件を確立する。 次に,ISHDの係数に関する他の緩和条件である安定性条件を条件として,ISHDの明示的なオイラー離散化によって生成されるシーケンスが収束し,実用的な最適化手法が多数存在することを示す。 特定の問題に対して最適な最適化手法を選択するために,ISHDから派生した最適化手法が予め定義された準最適レベルを達成するのに必要な停止時間と時間を導入する。 そこで,本研究では,収束と安定条件を考慮した停止時間を最小化することを目的とした,L2O(L2O)問題を最適化するための新しい学習法を定式化する。 そこで本研究では,確率的最適化とペナルティ法(StoPM)を組み合わせたアルゴリズムを提案する。 保守勾配を用いたStoPMの収束性を実証した。 本フレームワークの実証検証は,多種多様な最適化問題に対する広範な数値実験を通じて行われる。 これらの実験は、学習した最適化手法の優れた性能を示す。

関連論文リスト

• Fast Two-Time-Scale Stochastic Gradient Method with Applications in Reinforcement Learning [5.325297567945828]
  本稿では,従来の手法よりもはるかに高速な収束を実現する2段階最適化手法を提案する。 提案アルゴリズムは,様々な条件下で特徴付けられ,オンラインサンプルベース手法に特化していることを示す。
  論文  参考訳（メタデータ） (2024-05-15T19:03:08Z)
• An Optimization-based Deep Equilibrium Model for Hyperspectral Image Deconvolution with Convergence Guarantees [71.57324258813675]
  本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。 新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。 導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
  論文  参考訳（メタデータ） (2023-06-10T08:25:16Z)
• Generalized Gradient Flows with Provable Fixed-Time Convergence and Fast Evasion of Non-Degenerate Saddle Points [8.452349885923507]
  グラディエントベースの1次凸最適化アルゴリズムは、機械学習タスクを含むさまざまな領域で広く適用可能である。 最適時間の固定時間理論の最近の進歩に触発されて,高速化最適化アルゴリズムを設計するための枠組みを導入する。 非ド・サドル点を許容する関数に対しては、これらのサドル点を避けるのに必要な時間は初期条件すべてに一様有界であることを示す。
  論文  参考訳（メタデータ） (2022-12-07T16:36:23Z)
• Last-Iterate Convergence of Saddle-Point Optimizers via High-Resolution Differential Equations [83.3201889218775]
  広く使われている1次サドル点最適化法は、帰納的導出時に同一の連続時間常微分方程式(ODE)を導出する。 しかし、これらの方法の収束特性は、単純な双線型ゲームでさえ質的に異なる。 いくつかのサドル点最適化法のための微分方程式モデルの設計に流体力学の研究フレームワークを採用する。
  論文  参考訳（メタデータ） (2021-12-27T18:31:34Z)
• Breaking the Convergence Barrier: Optimization via Fixed-Time Convergent Flows [4.817429789586127]
  本稿では, 固定時間安定力学系の概念に基づいて, 加速を実現するための多言語最適化フレームワークを提案する。 提案手法の高速化された収束特性を,最先端の最適化アルゴリズムに対して様々な数値例で検証する。
  論文  参考訳（メタデータ） (2021-12-02T16:04:40Z)
• Faster Algorithm and Sharper Analysis for Constrained Markov Decision Process [56.55075925645864]
  制約付き意思決定プロセス (CMDP) の問題点について検討し, エージェントは, 複数の制約を条件として, 期待される累積割引報酬を最大化することを目的とする。 新しいユーティリティ・デュアル凸法は、正規化ポリシー、双対正則化、ネステロフの勾配降下双対という3つの要素の新たな統合によって提案される。 これは、凸制約を受ける全ての複雑性最適化に対して、非凸CMDP問題が$mathcal O (1/epsilon)$の低い境界に達する最初の実演である。
  論文  参考訳（メタデータ） (2021-10-20T02:57:21Z)
• Optimization on manifolds: A symplectic approach [127.54402681305629]
  本稿では、最適化問題を解くための一般的な枠組みとして、ディラックの制約付きハミルトン系理論の散逸拡張を提案する。 我々の(加速された)アルゴリズムのクラスは単純で効率的なだけでなく、幅広い文脈にも適用できる。
  論文  参考訳（メタデータ） (2021-07-23T13:43:34Z)
• A Contraction Theory Approach to Optimization Algorithms from Acceleration Flows [1.90365714903665]
  私たちは、適切なODEを設計し、識別するための原則化された方法論を提供するために収縮理論を使用します。 本稿では, ODE の新しいシステム,すなわち Accelerated-Contracting-Nesterov フローを提案する。 注目すべきことに、この流れの単純明示的なオイラー離散化はネステロフ加速度法に対応する。
  論文  参考訳（メタデータ） (2021-05-18T21:11:37Z)
• Quantum variational optimization: The role of entanglement and problem hardness [0.0]
  本稿では, 絡み合いの役割, 変動量子回路の構造, 最適化問題の構造について検討する。 数値計算の結果,絡み合うゲートの分布を問題のトポロジに適応させる利点が示唆された。 リスク型コスト関数に条件値を適用することで最適化が向上し、最適解と重複する確率が増大することを示す。
  論文  参考訳（メタデータ） (2021-03-26T14:06:54Z)
• Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
  バイレベル最適化は多くの機械学習問題に対するツールである。 Stoc-BiO という新しい確率効率勾配推定器を提案する。
  論文  参考訳（メタデータ） (2020-10-15T18:09:48Z)
• Fast Objective & Duality Gap Convergence for Non-Convex Strongly-Concave Min-Max Problems with PL Condition [52.08417569774822]
  本稿では,深層学習(深層AUC)により注目度が高まっている,円滑な非凹部min-max問題の解法に焦点をあてる。
  論文  参考訳（メタデータ） (2020-06-12T00:32:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。