論文の概要: OpReg-Boost: Learning to Accelerate Online Algorithms with Operator Regression

• arxiv url: http://arxiv.org/abs/2105.13271v1
• Date: Thu, 27 May 2021 16:17:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-28 16:02:06.840810
• Title: OpReg-Boost: Learning to Accelerate Online Algorithms with Operator Regression
• Title（参考訳）: opreg-boost:オペレータ回帰によるオンラインアルゴリズムの高速化
• Authors: Nicola Bastianello, Andrea Simonetto, Emiliano Dall'Anese
• Abstract要約: 本稿では,オンライン最適化と学習アルゴリズムの収束性を高めるために,新たな正規化手法であるOpsReg-Boostを提案する。 本稿では,演算子の回帰問題を形式化し,計算効率の良いピースマン・ラフフォード解法を提案する。
• 参考スコア（独自算出の注目度）: 5.457279006229211
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents a new regularization approach -- termed OpReg-Boost -- to boost the convergence and lessen the asymptotic error of online optimization and learning algorithms. In particular, the paper considers online algorithms for optimization problems with a time-varying (weakly) convex composite cost. For a given online algorithm, OpReg-Boost learns the closest algorithmic map that yields linear convergence; to this end, the learning procedure hinges on the concept of operator regression. We show how to formalize the operator regression problem and propose a computationally-efficient Peaceman-Rachford solver that exploits a closed-form solution of simple quadratically-constrained quadratic programs (QCQPs). Simulation results showcase the superior properties of OpReg-Boost w.r.t. the more classical forward-backward algorithm, FISTA, and Anderson acceleration, and with respect to its close relative convex-regression-boost (CvxReg-Boost) which is also novel but less performing.
• Abstract（参考訳）: 本稿では,オンライン最適化と学習アルゴリズムの漸近誤差を低減するために,新たな正規化手法であるOpsReg-Boostを提案する。 特に,時間的(弱く)凸複合コストを伴う最適化問題に対するオンラインアルゴリズムについて考察する。 与えられたオンラインアルゴリズムに対して、OpReg-Boostは線形収束をもたらす最も近いアルゴリズムマップを学習する。 演算子回帰問題を定式化する方法を示し,単純な二次制約付き二次プログラム (qcqps) の閉形式解法を利用する計算効率の高いpeaceman-rachfordソルバを提案する。 シミュレーション結果はopreg-boost w.r.t.の優れた特性を示す。 より古典的なフォワード・バックワードアルゴリズムであるFISTAとアンダーソン・アクセラレーションは、その近接相対凸-回帰-ブースト(CvxReg-Boost)に関して、これも新しいが性能は低い。

関連論文リスト

• Optimizing Tensor Computation Graphs with Equality Saturation and Monte Carlo Tree Search [0.0]
  モンテカルロ木探索を用いて優れた表現を構築するテンソルグラフ書き換え手法を提案する。 提案手法は,既存の手法と比較して,ニューラルネットワークの推論速度を最大11%向上させる。
  論文  参考訳（メタデータ） (2024-10-07T22:22:02Z)
• Minimax Adaptive Boosting for Online Nonparametric Regression [10.138723409205497]
  本稿では,非パラメトリック回帰に対するパラメータフリーオンライン勾配向上アルゴリズムを提案する。 連鎖木への応用は、リプシッツ関数と競合する際の極小極小後悔を達成できることを示す。
  論文  参考訳（メタデータ） (2024-10-04T12:30:03Z)
• Stochastic Optimization for Non-convex Problem with Inexact Hessian Matrix, Gradient, and Function [99.31457740916815]
  信頼領域(TR)と立方体を用いた適応正則化は、非常に魅力的な理論的性質を持つことが証明されている。 TR法とARC法はヘッセン関数,勾配関数,関数値の非コンパクトな計算を同時に行うことができることを示す。
  論文  参考訳（メタデータ） (2023-10-18T10:29:58Z)
• Online Dynamic Submodular Optimization [0.0]
  オンラインバイナリ最適化のための証明可能な性能を持つ新しいアルゴリズムを提案する。 高速な需要応答とリアルタイム分散ネットワーク再構成という2つのパワーシステムアプリケーションでアルゴリズムを数値的にテストする。
  論文  参考訳（メタデータ） (2023-06-19T10:37:15Z)
• Online Learning Under A Separable Stochastic Approximation Framework [20.26530917721778]
  分離可能な近似フレームワークを用いて,機械学習モデルのクラスに対するオンライン学習アルゴリズムを提案する。 提案アルゴリズムは,他の一般的な学習アルゴリズムと比較して,より堅牢でテスト性能が高いことを示す。
  論文  参考訳（メタデータ） (2023-05-12T13:53:03Z)
• Implicit Parameter-free Online Learning with Truncated Linear Models [51.71216912089413]
  パラメータフリーアルゴリズムは、設定された学習率を必要としないオンライン学習アルゴリズムである。 そこで我々は,「単純」なフレーバーを持つ新しい更新によって,切り離された線形モデルを活用できる新しいパラメータフリーアルゴリズムを提案する。 後悔の新たな分解に基づいて、新しい更新は効率的で、各ステップで1つの勾配しか必要とせず、切り捨てられたモデルの最小値をオーバーシュートすることはない。
  論文  参考訳（メタデータ） (2022-03-19T13:39:49Z)
• Provably Faster Algorithms for Bilevel Optimization [54.83583213812667]
  バイレベル最適化は多くの重要な機械学習アプリケーションに広く適用されている。 両レベル最適化のための2つの新しいアルゴリズムを提案する。 両アルゴリズムが$mathcalO(epsilon-1.5)$の複雑さを達成し,既存のアルゴリズムを桁違いに上回っていることを示す。
  論文  参考訳（メタデータ） (2021-06-08T21:05:30Z)
• SHINE: SHaring the INverse Estimate from the forward pass for bi-level optimization and implicit models [15.541264326378366]
  近年,深層ニューラルネットワークの深度を高める手法として暗黙の深度学習が登場している。 トレーニングは双レベル問題として実行され、その計算複雑性は巨大なヤコビ行列の反復反転によって部分的に駆動される。 本稿では,この計算ボトルネックに対処する新たな手法を提案する。
  論文  参考訳（メタデータ） (2021-06-01T15:07:34Z)
• Boosting for Online Convex Optimization [64.15578413206715]
  多数の専門家とオンライン凸最適化の意思決定フレームワークを検討します。 弱学習アルゴリズムは、基本クラスの専門家に対するおよその後悔を保証するメカニズムとして定義します。 ベースクラスの凸船体に対するほぼ最適の後悔を保証する効率的なブースティングアルゴリズムを提供します。
  論文  参考訳（メタデータ） (2021-02-18T12:30:49Z)
• Accelerated Message Passing for Entropy-Regularized MAP Inference [89.15658822319928]
  離散値のランダムフィールドにおけるMAP推論の最大化は、機械学習の基本的な問題である。 この問題の難しさから、特殊メッセージパッシングアルゴリズムの導出には線形プログラミング(LP)緩和が一般的である。 古典的加速勾配の根底にある手法を活用することにより,これらのアルゴリズムを高速化するランダム化手法を提案する。
  論文  参考訳（メタデータ） (2020-07-01T18:43:32Z)
• Proximal Gradient Algorithm with Momentum and Flexible Parameter Restart for Nonconvex Optimization [73.38702974136102]
  アルゴリズムの高速化のために,パラメータ再起動方式が提案されている。 本論文では,非滑らかな問題を解くアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-26T16:06:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。