論文の概要: Safeguarded Learned Convex Optimization

• arxiv url: http://arxiv.org/abs/2003.01880v3
• Date: Mon, 26 Sep 2022 19:18:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-26 13:44:26.025793
• Title: Safeguarded Learned Convex Optimization
• Title（参考訳）: 保護された学習凸最適化
• Authors: Howard Heaton and Xiaohan Chen and Zhangyang Wang and Wotao Yin
• Abstract要約: 解析最適化アルゴリズムは、反復的な方法で問題を確実に解くために手作業で設計することができる。 データ駆動アルゴリズムは、汎用最適化アルゴリズムと同様のイテレーション当たりのコストと、はるかに少ないイテレーションで"L2O"を最適化する。 我々はこれらのアプローチの利点を融合させるSafe-L2Oフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 106.81731132086851
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Applications abound in which optimization problems must be repeatedly solved, each time with new (but similar) data. Analytic optimization algorithms can be hand-designed to provably solve these problems in an iterative fashion. On one hand, data-driven algorithms can "learn to optimize" (L2O) with much fewer iterations and similar cost per iteration as general-purpose optimization algorithms. On the other hand, unfortunately, many L2O algorithms lack converge guarantees. To fuse the advantages of these approaches, we present a Safe-L2O framework. Safe-L2O updates incorporate a safeguard to guarantee convergence for convex problems with proximal and/or gradient oracles. The safeguard is simple and computationally cheap to implement, and it is activated only when the data-driven L2O updates would perform poorly or appear to diverge. This yields the numerical benefits of employing machine learning to create rapid L2O algorithms while still guaranteeing convergence. Our numerical examples show convergence of Safe-L2O algorithms, even when the provided data is not from the distribution of training data.
• Abstract（参考訳）: 最適化問題が繰り返し解決されなければならないアプリケーションには、新しい(しかし類似した)データがある。 解析最適化アルゴリズムは、反復的な方法でこれらの問題を解決するために手作業で設計することができる。 一方、データ駆動型アルゴリズムは、汎用最適化アルゴリズムとして、より少ないイテレーションと1イテレーションあたりの同様のコストで、"最適化に導く(learn to optimize)"ことができる。 一方、残念ながら多くのL2Oアルゴリズムは収束保証を欠いている。 これらのアプローチの利点を融合させるために、Safe-L2Oフレームワークを提案する。 Safe-L2Oアップデートには、近位および/または勾配のオラクルによる凸問題の収束を保証するためのセーフガードが組み込まれている。 safeguardはシンプルで、計算コストも安く、データ駆動のl2oアップデートがパフォーマンスが悪いか、あるいは分岐しているように見える場合にのみ有効になる。 これにより、機械学習を用いて高速なL2Oアルゴリズムを作成することで、収束を保証しながら数値的なメリットが得られる。 この数値例は,トレーニングデータの分布から提供されたデータが得られなくても,safe-l2oアルゴリズムの収束を示す。

関連論文リスト

• Accelerating Cutting-Plane Algorithms via Reinforcement Learning Surrogates [49.84541884653309]
  凸離散最適化問題に対する現在の標準的なアプローチは、カットプレーンアルゴリズムを使うことである。 多くの汎用カット生成アルゴリズムが存在するにもかかわらず、大規模な離散最適化問題は、難易度に悩まされ続けている。 そこで本研究では,強化学習による切削平面アルゴリズムの高速化手法を提案する。
  論文  参考訳（メタデータ） (2023-07-17T20:11:56Z)
• A Simple Guard for Learned Optimizers [0.0]
  我々はLos-Guarded L2O(LGL2O)と呼ばれる新しいセーフガード型L2Oを提案する。 保護されたL2Oは、学習したアルゴリズムを一般的な学習アルゴリズムで保護し、2つのアルゴリズムを条件的に切り替えることで、結果のアルゴリズムは確実に収束する。 LGL2Oの収束保証とGL2Oとの比較実験結果の理論的証明を示す。
  論文  参考訳（メタデータ） (2022-01-28T21:32:28Z)
• Learning to Optimize: A Primer and A Benchmark [94.29436694770953]
  最適化への学習(L2O)は、機械学習を活用して最適化方法を開発する新しいアプローチです。 この記事では、継続的最適化のためのL2Oの総合的な調査とベンチマークを行う。
  論文  参考訳（メタデータ） (2021-03-23T20:46:20Z)
• Single-Timescale Stochastic Nonconvex-Concave Optimization for Smooth Nonlinear TD Learning [145.54544979467872]
  本稿では,各ステップごとに1つのデータポイントしか必要としない2つの単一スケールシングルループアルゴリズムを提案する。 本研究の結果は, 同時一次および二重側収束の形で表される。
  論文  参考訳（メタデータ） (2020-08-23T20:36:49Z)
• New Oracle-Efficient Algorithms for Private Synthetic Data Release [52.33506193761153]
  微分プライベートな合成データを構築するための3つの新しいアルゴリズムを提案する。 アルゴリズムは最悪の場合でも差分プライバシーを満たす。 現状の手法である高次元行列機構 citeMcKennaMHM18 と比較すると,我々のアルゴリズムは大規模作業負荷の精度が向上する。
  論文  参考訳（メタデータ） (2020-07-10T15:46:05Z)
• Provably Convergent Working Set Algorithm for Non-Convex Regularized Regression [0.0]
  本稿では、収束保証付き非正則正規化器のためのワーキングセットアルゴリズムを提案する。 その結果,ブロックコーディネートや勾配ソルバの完全解法と比較して高い利得を示した。
  論文  参考訳（メタデータ） (2020-06-24T07:40:31Z)
• Private Stochastic Convex Optimization: Optimal Rates in Linear Time [74.47681868973598]
  本研究では,凸損失関数の分布から得られた個体群損失を最小化する問題について検討する。 Bassilyらによる最近の研究は、$n$のサンプルを与えられた過剰な人口損失の最適境界を確立している。 本稿では,余剰損失に対する最適境界を達成するとともに,$O(minn, n2/d)$グラデーション計算を用いて凸最適化アルゴリズムを導出する2つの新しい手法について述べる。
  論文  参考訳（メタデータ） (2020-05-10T19:52:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。