論文の概要: Accelerating Quadratic Optimization with Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2107.10847v1
• Date: Thu, 22 Jul 2021 17:59:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-23 15:21:32.118367
• Title: Accelerating Quadratic Optimization with Reinforcement Learning
• Title（参考訳）: 強化学習による二次最適化の高速化
• Authors: Jeffrey Ichnowski, Paras Jain, Bartolomeo Stellato, Goran Banjac, Michael Luo, Francesco Borrelli, Joseph E. Gonzalez, Ion Stoica, Ken Goldberg
• Abstract要約: 強化学習は、収束を加速するためにパラメータをチューニングするためのポリシーを学ぶことができるかを示す。 我々のポリシーであるRLQPは最先端のQPソルバを最大3倍に上回ります。 RLQPは、異なるアプリケーションから異なる次元と構造を持つ以前に見られなかった問題に驚くほどよく一般化する。
• 参考スコア（独自算出の注目度）: 39.64039435793601
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: First-order methods for quadratic optimization such as OSQP are widely used for large-scale machine learning and embedded optimal control, where many related problems must be rapidly solved. These methods face two persistent challenges: manual hyperparameter tuning and convergence time to high-accuracy solutions. To address these, we explore how Reinforcement Learning (RL) can learn a policy to tune parameters to accelerate convergence. In experiments with well-known QP benchmarks we find that our RL policy, RLQP, significantly outperforms state-of-the-art QP solvers by up to 3x. RLQP generalizes surprisingly well to previously unseen problems with varying dimension and structure from different applications, including the QPLIB, Netlib LP and Maros-Meszaros problems. Code for RLQP is available at https://github.com/berkeleyautomation/rlqp.
• Abstract（参考訳）: OSQPのような二次最適化の一階法は大規模機械学習や組込み最適制御に広く用いられている。 これらの手法は、手動のハイパーパラメータチューニングと高精度解への収束時間という2つの永続的な課題に直面している。 これらの課題に対処するために,RL(Reinforcement Learning)がパラメータをチューニングして収束を加速するためのポリシを学習する方法を検討する。 有名なQPベンチマークによる実験では、我々のRLポリシであるRLQPが最先端のQPソルバを最大3倍に上回ることがわかった。 RLQP は、QPLIB、Netlib LP、Maros-Meszaros 問題など、様々なアプリケーションから異なる次元と構造を持つ未確認問題に対して驚くほどよく一般化する。 rlqpのコードはhttps://github.com/berkeleyautomation/rlqpで入手できる。

関連論文リスト

• Enhancing Multi-Step Reasoning Abilities of Language Models through Direct Q-Function Optimization [50.485788083202124]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデルを人間の好みと整合させ、複雑なタスクを遂行する能力を向上させる上で重要な役割を担っている。 反応生成過程をマルコフ決定プロセス(MDP)として定式化し,ソフトアクター・クリティック(SAC)フレームワークを用いて,言語モデルによって直接パラメータ化されたQ関数を最適化する,直接Q関数最適化(DQO)を提案する。 GSM8KとMATHという2つの数学問題解決データセットの実験結果から、DQOは従来の手法よりも優れており、言語モデルを整合させるための有望なオフライン強化学習手法として確立されている。
  論文  参考訳（メタデータ） (2024-10-11T23:29:20Z)
• Adaptive $Q$-Network: On-the-fly Target Selection for Deep Reinforcement Learning [18.579378919155864]
  我々は、追加のサンプルを必要としない最適化手順の非定常性を考慮するために、Adaptive $Q$Network (AdaQN)を提案する。 AdaQNは理論上は健全で、MuJoCo制御問題やAtari 2600のゲームで実証的に検証されている。
  論文  参考訳（メタデータ） (2024-05-25T11:57:43Z)
• SF-DQN: Provable Knowledge Transfer using Successor Feature for Deep Reinforcement Learning [89.04776523010409]
  本稿では、複数のRL問題が異なる報酬関数を持つが、基礎となる遷移力学を共有する転写強化学習(RL)問題を考察する。 この設定では、各RL問題(タスク)のQ-関数を後継特徴(SF)と報酬マッピングに分解することができる。 GPIを用いたSF-DQNの証明可能な一般化保証を用いた最初の収束解析を確立する。
  論文  参考訳（メタデータ） (2024-05-24T20:30:14Z)
• VQC-Based Reinforcement Learning with Data Re-uploading: Performance and Trainability [0.0]
  強化学習(Reinforcement Learning, RL)は、人間の監督なしに知的意思決定を行うエージェントを設計する。 Deep NNを使用するRLアルゴリズムであるDeep Q-Learningは、いくつかの特定のタスクで超人的なパフォーマンスを達成した。 また、RLアルゴリズムの関数近似器として変分量子回路(VQC)を用いることもできる。
  論文  参考訳（メタデータ） (2024-01-21T18:00:15Z)
• Accelerate Presolve in Large-Scale Linear Programming via Reinforcement Learning [92.31528918811007]
  本稿では,P1)-(P3) を同時に扱うための簡易かつ効率的な強化学習フレームワーク,すなわち,事前解決のための強化学習(RL4Presolve)を提案する。 2つの解法と8つのベンチマーク(実世界と合成)の実験により、RL4Presolveは大規模LPの解法効率を大幅に改善することを示した。
  論文  参考訳（メタデータ） (2023-10-18T09:51:59Z)
• Hyperparameter Tuning for Deep Reinforcement Learning Applications [0.3553493344868413]
  本稿では,分散可変長遺伝的アルゴリズムを用いて,様々なRLアプリケーションに対してハイパーパラメータをチューニングする手法を提案する。 以上の結果から, より世代を要し, トレーニングエピソードが少なく, 計算コストも安価で, デプロイの堅牢性も高い最適解が得られた。
  論文  参考訳（メタデータ） (2022-01-26T20:43:13Z)
• Reinforcement Learning to Solve NP-hard Problems: an Application to the CVRP [0.0]
  古典的最適化問題の解法として強化学習(Reinforcement Learning, RL)を応用した。 最も有望なRLアプローチの2つを、ベンチマークインスタンスのセットで従来の問題解決手法と比較する。 最良解を返さないにもかかわらず、RLアプローチは従来の解法よりも多くの利点があることがわかった。
  論文  参考訳（メタデータ） (2022-01-14T11:16:17Z)
• Online Target Q-learning with Reverse Experience Replay: Efficiently finding the Optimal Policy for Linear MDPs [50.75812033462294]
  我々は,Q-ラーニングの実践的成功と悲観的理論的結果とのギャップを埋める。 本稿では,新しいQ-Rex法とQ-RexDaReを提案する。 Q-Rex は線形 MDP の最適ポリシを効率的に見つけることができる。
  論文  参考訳（メタデータ） (2021-10-16T01:47:41Z)
• SUNRISE: A Simple Unified Framework for Ensemble Learning in Deep Reinforcement Learning [102.78958681141577]
  SUNRISEは単純な統一アンサンブル法であり、様々な非政治的な深層強化学習アルゴリズムと互換性がある。 SUNRISEは, (a) アンサンブルに基づく重み付きベルマンバックアップと, (b) 最上位の自信境界を用いて行動を選択する推論手法を統合し, 効率的な探索を行う。
  論文  参考訳（メタデータ） (2020-07-09T17:08:44Z)
• Lookahead-Bounded Q-Learning [8.738692817482526]
  本稿では,新しいQ-ラーニング法であるルックアヘッドバウンドQ-ラーニングアルゴリズム(LBQL)を紹介する。 われわれのアプローチは、高価なシミュレーションや現実世界の対話を必要とする問題に特に魅力的である。
  論文  参考訳（メタデータ） (2020-06-28T19:50:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。