論文の概要: Optimizing Optimizers: Regret-optimal gradient descent algorithms

• arxiv url: http://arxiv.org/abs/2101.00041v2
• Date: Tue, 19 Jan 2021 22:50:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-17 19:48:43.548573
• Title: Optimizing Optimizers: Regret-optimal gradient descent algorithms
• Title（参考訳）: 最適化オプティマイザ:回帰最適勾配降下アルゴリズム
• Authors: Philippe Casgrain, Anastasis Kratsios
• Abstract要約: 我々は,後悔最適アルゴリズムの存在,一意性,一貫性について検討する。 制御問題に対する一階最適条件を提供することにより、後悔最適アルゴリズムはそれらの力学において特定の構造を満たす必要があることを示す。 それらを近似する高速な数値法を提案し,長期的後悔を直接最適化する最適化アルゴリズムを生成する。
• 参考スコア（独自算出の注目度）: 9.89901717499058
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The need for fast and robust optimization algorithms are of critical importance in all areas of machine learning. This paper treats the task of designing optimization algorithms as an optimal control problem. Using regret as a metric for an algorithm's performance, we study the existence, uniqueness and consistency of regret-optimal algorithms. By providing first-order optimality conditions for the control problem, we show that regret-optimal algorithms must satisfy a specific structure in their dynamics which we show is equivalent to performing dual-preconditioned gradient descent on the value function generated by its regret. Using these optimal dynamics, we provide bounds on their rates of convergence to solutions of convex optimization problems. Though closed-form optimal dynamics cannot be obtained in general, we present fast numerical methods for approximating them, generating optimization algorithms which directly optimize their long-term regret. Lastly, these are benchmarked against commonly used optimization algorithms to demonstrate their effectiveness.
• Abstract（参考訳）: 高速で堅牢な最適化アルゴリズムの必要性は、機械学習のあらゆる領域において重要である。 本稿では最適化アルゴリズムを最適制御問題として設計する作業について述べる。 後悔をアルゴリズムのパフォーマンスの指標として用い,後悔最適アルゴリズムの存在,独自性,一貫性について検討する。 制御問題に対して一階の最適性条件を提供することにより,後悔の最適化アルゴリズムは,その後悔によって生成される値関数上での2条件勾配降下を行うのと同値となる,そのダイナミクスの特定の構造を満足しなければならないことを示した。 これらの最適ダイナミクスを用いて、凸最適化問題の解への収束率の境界を与える。 閉形式最適力学は一般には得られないが, より高速に近似し, 長期的後悔を直接最適化する最適化アルゴリズムを生成する。 最後に、これらはそれらの効率性を示すためによく使われる最適化アルゴリズムに対してベンチマークされる。

関連論文リスト

• Provably Faster Algorithms for Bilevel Optimization via Without-Replacement Sampling [96.47086913559289]
  勾配に基づくアルゴリズムはバイレベル最適化に広く用いられている。 本研究では,より高速な収束率を実現する非置換サンプリングに基づくアルゴリズムを提案する。 合成および実世界の両方のアプリケーションに対してアルゴリズムを検証する。
  論文  参考訳（メタデータ） (2024-11-07T17:05:31Z)
• A Pure Quantum Approximate Optimization Algorithm Based on CNR Operation [0.0]
  汎用的な純粋量子近似最適化アルゴリズムを提案する。 このアルゴリズムは$p$レベルの分割・対数構造に構成されている。 2つの最適化問題の必要なキュービット数が10である場合、アルゴリズムの性能を詳細に示す。
  論文  参考訳（メタデータ） (2023-10-27T06:54:39Z)
• Performance Evaluation of Evolutionary Algorithms for Analog Integrated Circuit Design Optimisation [0.0]
  本稿では,アナログ回路の自動サイズ化手法について述べる。 探索空間を対象とする探索は粒子生成関数と補修バウンド関数を用いて実装されている。 アルゴリズムは、より良い最適解に収束するように調整され、修正される。
  論文  参考訳（メタデータ） (2023-10-19T03:26:36Z)
• First-Order Dynamic Optimization for Streaming Convex Costs [0.0]
  最適解を有界誤差で追従する手法を開発する。 本アルゴリズムはコスト関数の1次微分を用いてのみ実行される。
  論文  参考訳（メタデータ） (2023-10-11T22:41:00Z)
• Accelerating Cutting-Plane Algorithms via Reinforcement Learning Surrogates [49.84541884653309]
  凸離散最適化問題に対する現在の標準的なアプローチは、カットプレーンアルゴリズムを使うことである。 多くの汎用カット生成アルゴリズムが存在するにもかかわらず、大規模な離散最適化問題は、難易度に悩まされ続けている。 そこで本研究では,強化学習による切削平面アルゴリズムの高速化手法を提案する。
  論文  参考訳（メタデータ） (2023-07-17T20:11:56Z)
• Accelerated First-Order Optimization under Nonlinear Constraints [73.2273449996098]
  我々は、制約付き最適化のための一階アルゴリズムと非滑らかなシステムの間で、新しい一階アルゴリズムのクラスを設計する。 これらのアルゴリズムの重要な性質は、制約がスパース変数の代わりに速度で表されることである。
  論文  参考訳（メタデータ） (2023-02-01T08:50:48Z)
• Provably Faster Algorithms for Bilevel Optimization [54.83583213812667]
  バイレベル最適化は多くの重要な機械学習アプリケーションに広く適用されている。 両レベル最適化のための2つの新しいアルゴリズムを提案する。 両アルゴリズムが$mathcalO(epsilon-1.5)$の複雑さを達成し,既存のアルゴリズムを桁違いに上回っていることを示す。
  論文  参考訳（メタデータ） (2021-06-08T21:05:30Z)
• Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
  モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。 我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
  論文  参考訳（メタデータ） (2020-06-11T17:43:19Z)
• Private Stochastic Convex Optimization: Optimal Rates in Linear Time [74.47681868973598]
  本研究では,凸損失関数の分布から得られた個体群損失を最小化する問題について検討する。 Bassilyらによる最近の研究は、$n$のサンプルを与えられた過剰な人口損失の最適境界を確立している。 本稿では,余剰損失に対する最適境界を達成するとともに,$O(minn, n2/d)$グラデーション計算を用いて凸最適化アルゴリズムを導出する2つの新しい手法について述べる。
  論文  参考訳（メタデータ） (2020-05-10T19:52:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。