論文の概要: Robustified Learning for Online Optimization with Memory Costs
- arxiv url: http://arxiv.org/abs/2305.00677v1
- Date: Mon, 1 May 2023 06:12:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-02 13:51:25.988137
- Title: Robustified Learning for Online Optimization with Memory Costs
- Title(参考訳): メモリコストを考慮したオンライン最適化のためのロバスト化学習
- Authors: Pengfei Li, Jianyi Yang, Shaolei Ren
- Abstract要約: 本稿では,高い平均性能とロバスト性を両立する,新しいエキスパート・ロバスト学習(ERL)手法を提案する。
任意の$lambdageq1$に対して、ERLはエキスパートアルゴリズムに対して$lambda$-competitive、最適なオフラインアルゴリズムに対して$lambdacdot C$-competitiveを達成することができる。
- 参考スコア(独自算出の注目度): 28.737193318136725
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Online optimization with memory costs has many real-world applications, where
sequential actions are made without knowing the future input. Nonetheless, the
memory cost couples the actions over time, adding substantial challenges.
Conventionally, this problem has been approached by various expert-designed
online algorithms with the goal of achieving bounded worst-case competitive
ratios, but the resulting average performance is often unsatisfactory. On the
other hand, emerging machine learning (ML) based optimizers can improve the
average performance, but suffer from the lack of worst-case performance
robustness. In this paper, we propose a novel expert-robustified learning (ERL)
approach, achieving {both} good average performance and robustness. More
concretely, for robustness, ERL introduces a novel projection operator that
robustifies ML actions by utilizing an expert online algorithm; for average
performance, ERL trains the ML optimizer based on a recurrent architecture by
explicitly considering downstream expert robustification. We prove that, for
any $\lambda\geq1$, ERL can achieve $\lambda$-competitive against the expert
algorithm and $\lambda\cdot C$-competitive against the optimal offline
algorithm (where $C$ is the expert's competitive ratio). Additionally, we
extend our analysis to a novel setting of multi-step memory costs. Finally, our
analysis is supported by empirical experiments for an energy scheduling
application.
- Abstract(参考訳): メモリコストによるオンライン最適化には、将来的な入力を知らずにシーケンシャルなアクションが実行される多くの実世界のアプリケーションがある。
それにもかかわらず、メモリコストは時間とともにアクションを結合し、かなりの課題を加えます。
従来、この問題は様々な専門家が設計したオンラインアルゴリズムによって、境界付き最悪のケースの競合比を達成するためにアプローチされてきたが、結果の平均性能はしばしば満足できない。
一方、新興機械学習(ML)ベースのオプティマイザは平均的なパフォーマンスを改善することができるが、最悪のパフォーマンスの堅牢性の欠如に悩まされている。
本稿では,新しいエキスパート・ロバスト学習(ERL)手法を提案し,高い平均性能とロバスト性を実現する。
より具体的には、ロバスト性のために、erlは、エキスパートオンラインアルゴリズムを利用してmlアクションを堅牢化する新しいプロジェクション演算子を導入し、平均パフォーマンスのために、erlは、下流のエキスパートロバスト化を明示的に考慮して、リカレントアーキテクチャに基づいてmlオプティマイザを訓練する。
我々は、任意の$\lambda\geq1$に対して、ERLはエキスパートアルゴリズムに対して$\lambda$-competitiveを、最適なオフラインアルゴリズムに対して$\lambda\cdot C$-competitiveを達成可能であることを証明している。
さらに、我々は分析を複数ステップのメモリコストの新たな設定にまで拡張する。
最後に,エネルギースケジューリングアプリケーションのための実証実験によって解析が支持される。
関連論文リスト
- Learning-augmented Online Algorithm for Two-level Ski-rental Problem [8.381344684943212]
本研究では,3つの支払いオプションのうちの1つを選択することで,複数の項目に対する要求の順序を満たす必要がある2段階のスキーレンタル問題について検討する。
我々は、機械学習予測を頑健なオンラインアルゴリズムに組み込むことにより、学習増強アルゴリズム(LADTSR)を開発した。
論文 参考訳(メタデータ) (2024-02-09T16:10:54Z) - Robust Learning for Smoothed Online Convex Optimization with Feedback
Delay [43.85262428603507]
我々は、新しい機械学習(ML)拡張オンラインアルゴリズム、Robustness-Constrained Learning(RCL)を提案する。
RCLは信頼できないML予測と、制約付きプロジェクションを通じて信頼された専門家のオンラインアルゴリズムを組み合わせることで、ML予測を堅牢化する。
RCLは、マルチステップ切替コストとフィードバック遅延の場合に、証明可能な堅牢性を保証する最初のML拡張アルゴリズムである。
論文 参考訳(メタデータ) (2023-10-31T00:22:55Z) - Maximize to Explore: One Objective Function Fusing Estimation, Planning,
and Exploration [87.53543137162488]
我々はtextttMEX というオンライン強化学習(オンラインRL)フレームワークを提案する。
textttMEXは、自動的に探索エクスプロイトのバランスをとりながら、見積もりと計画コンポーネントを統合する。
様々な MuJoCo 環境では,ベースラインを安定的なマージンで上回り,十分な報酬を得られる。
論文 参考訳(メタデータ) (2023-05-29T17:25:26Z) - Why So Pessimistic? Estimating Uncertainties for Offline RL through
Ensembles, and Why Their Independence Matters [35.17151863463472]
オフライン強化学習(RL)における悲観主義の根源として、Q$関数のアンサンブルをどのように活用できるかを、再検討する。
我々は、完全に独立したネットワークに基づいて、独立に計算されたターゲットと$Q$関数のアンサンブルを訓練する実用的なオフラインRLアルゴリズムMSGを提案する。
D4RL と RL Unplugged のオフライン RL ベンチマーク実験により,深いアンサンブルを持つMSG が高度に調整された最先端の手法を広いマージンで超えることを示した。
論文 参考訳(メタデータ) (2022-05-27T01:30:12Z) - Expert-Calibrated Learning for Online Optimization with Switching Costs [28.737193318136725]
スイッチングコストによるオンライン凸最適化について検討する。
機械学習(ML)ベースのパワーを取り入れることで、MLに強化されたオンラインアルゴリズムが最先端として現れている。
本稿では,エキスパートキャリブレータを明示的に考慮し,MLに基づくアルゴリズムを訓練するEC-L2Oを提案する。
論文 参考訳(メタデータ) (2022-04-18T21:54:33Z) - Learning for Robust Combinatorial Optimization: Algorithm and
Application [26.990988571097827]
最適化学習(L2O)は、ニューラルネットワークの強い予測力を活用することにより、最適化問題を解決するための有望なアプローチとして登場した。
本稿では,不確実な状況下で頑健な解を迅速に出力するLRCOという新しい学習ベース最適化を提案する。
その結果、LRCOは、非常に少ない複雑さで、最悪のケースコストとランタイムを大幅に削減できることがわかった。
論文 参考訳(メタデータ) (2021-12-20T07:58:50Z) - Learning to Optimize: A Primer and A Benchmark [94.29436694770953]
最適化への学習(L2O)は、機械学習を活用して最適化方法を開発する新しいアプローチです。
この記事では、継続的最適化のためのL2Oの総合的な調査とベンチマークを行う。
論文 参考訳(メタデータ) (2021-03-23T20:46:20Z) - Online Apprenticeship Learning [58.45089581278177]
見習い学習(AL)では、コスト関数にアクセスせずにマルコフ決定プロセス(MDP)が与えられます。
目標は、事前に定義されたコスト関数のセットで専門家のパフォーマンスに一致するポリシーを見つけることです。
ミラー下降型ノンレグレットアルゴリズムを2つ組み合わせることで,OAL問題を効果的に解くことができることを示す。
論文 参考訳(メタデータ) (2021-02-13T12:57:51Z) - Cost-Efficient Online Hyperparameter Optimization [94.60924644778558]
実験の単一実行でヒトのエキスパートレベルのパフォーマンスに達するオンラインHPOアルゴリズムを提案します。
提案するオンラインhpoアルゴリズムは,実験の1回で人間のエキスパートレベルのパフォーマンスに到達できるが,通常のトレーニングに比べて計算オーバーヘッドは少ない。
論文 参考訳(メタデータ) (2021-01-17T04:55:30Z) - Self-Directed Online Machine Learning for Topology Optimization [58.920693413667216]
自己指向型オンライン学習最適化は、ディープニューラルネットワーク(DNN)と有限要素法(FEM)計算を統合している。
本アルゴリズムは, コンプライアンスの最小化, 流体構造最適化, 伝熱促進, トラス最適化の4種類の問題によって検証された。
その結果, 直接使用法と比較して計算時間を2~5桁削減し, 実験で検証した全ての最先端アルゴリズムより優れていた。
論文 参考訳(メタデータ) (2020-02-04T20:00:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。