論文の概要: Introduction to Online Nonstochastic Control

• arxiv url: http://arxiv.org/abs/2211.09619v3
• Date: Fri, 19 Jul 2024 00:46:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-23 02:31:08.826560
• Title: Introduction to Online Nonstochastic Control
• Title（参考訳）: オンライン非確率制御入門
• Authors: Elad Hazan, Karan Singh,
• Abstract要約: オンラインの非確率制御では、コスト関数と仮定された力学モデルからの摂動の両方が敵によって選択される。 目標は、ベンチマーククラスの政策から見て、最高の政策に対して低い後悔を得ることだ。
• 参考スコア（独自算出の注目度）: 34.77535508151501
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: This text presents an introduction to an emerging paradigm in control of dynamical systems and differentiable reinforcement learning called online nonstochastic control. The new approach applies techniques from online convex optimization and convex relaxations to obtain new methods with provable guarantees for classical settings in optimal and robust control. The primary distinction between online nonstochastic control and other frameworks is the objective. In optimal control, robust control, and other control methodologies that assume stochastic noise, the goal is to perform comparably to an offline optimal strategy. In online nonstochastic control, both the cost functions as well as the perturbations from the assumed dynamical model are chosen by an adversary. Thus the optimal policy is not defined a priori. Rather, the target is to attain low regret against the best policy in hindsight from a benchmark class of policies. This objective suggests the use of the decision making framework of online convex optimization as an algorithmic methodology. The resulting methods are based on iterative mathematical optimization algorithms, and are accompanied by finite-time regret and computational complexity guarantees.
• Abstract（参考訳）: 本文は、動的システムの制御における新たなパラダイムと、オンライン非確率的制御と呼ばれる微分可能強化学習を紹介する。 新しいアプローチでは、オンライン凸最適化と凸緩和の手法を適用し、最適かつ堅牢な制御における古典的設定の保証を証明可能な新しい方法を得る。 オンラインの非確率的制御と他のフレームワークの主な違いは、目的である。 確率的雑音を仮定する最適制御、ロバスト制御、その他の制御手法において、目的はオフラインの最適戦略と相容れない実行を行うことである。 オンラインの非確率制御では、コスト関数と仮定された力学モデルからの摂動の両方が敵によって選択される。 したがって、最適ポリシーは優先順位を定義しない。 むしろ目標は、ベンチマーククラスのポリシーから見て、最高のポリシーに対して低い後悔をすることにある。 本研究の目的は,オンライン凸最適化の意思決定フレームワークをアルゴリズム手法として活用することである。 得られた手法は反復的な数学的最適化アルゴリズムに基づいており、有限時間後悔と計算複雑性の保証を伴っている。

関連論文リスト

• Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
  人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。 過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。 報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
  論文  参考訳（メタデータ） (2024-05-26T05:38:50Z)
• Optimal Baseline Corrections for Off-Policy Contextual Bandits [61.740094604552475]
  オンライン報酬指標の偏りのないオフライン推定を最適化する意思決定ポリシーを学習することを目指している。 学習シナリオにおける同値性に基づく単一のフレームワークを提案する。 我々のフレームワークは、分散最適非バイアス推定器の特徴付けを可能にし、それに対する閉形式解を提供する。
  論文  参考訳（メタデータ） (2024-05-09T12:52:22Z)
• Acceleration in Policy Optimization [50.323182853069184]
  我々は、楽観的かつ適応的な更新を通じて、政策改善のステップにフォレストを組み込むことにより、強化学習(RL)における政策最適化手法を加速するための統一パラダイムに向けて研究する。 我々は、楽観主義を、政策の将来行動の予測モデルとして定義し、適応性は、過度な予測や変化に対する遅延反応からエラーを軽減するために、即時かつ予測的な修正措置をとるものである。 我々は,メタグラディエント学習による適応型楽観的ポリシー勾配アルゴリズムを設計し,実証的なタスクにおいて,加速度に関連するいくつかの設計選択を実証的に強調する。
  論文  参考訳（メタデータ） (2023-06-18T15:50:57Z)
• Online Nonstochastic Model-Free Reinforcement Learning [35.377261344335736]
  本研究では,動的あるいは敵対的な環境に対するロバストモデルロバスト性保証について検討する。 これらのポリシーを最適化するための効率的かつ効率的なアルゴリズムを提供する。 これらは状態空間に依存せず、状態空間に依存しない最もよく知られた発展である。
  論文  参考訳（メタデータ） (2023-05-27T19:02:55Z)
• A Nonstochastic Control Approach to Optimization [26.744354103012448]
  制御前提条件からの最近の手法が凸ノリティの課題を克服できることを示す。 メソッドのクラスから、類似の結果を後見で得る方法を学ぶことができる。
  論文  参考訳（メタデータ） (2023-01-19T06:08:01Z)
• Lessons from AlphaZero for Optimal, Model Predictive, and Adaptive Control [0.0]
  値空間とロールアウトの近似に関するAlphaZero/TDGammonの原理が決定論的かつ最適制御問題に広く適用されていることを示す。 これらの考え方は、モデル制御、適応制御、分散制御、ニューラルネットワークに基づく値とポリシー近似など、他の重要な方法論と効果的に統合することができる。
  論文  参考訳（メタデータ） (2021-08-20T19:17:35Z)
• Reinforcement Learning for Adaptive Optimal Stationary Control of Linear Stochastic Systems [15.410124023805249]
  本稿では,加法雑音と乗法雑音を併用した連続時間線形系の最適定常制御について検討する。 楽観的な最小二乗法に基づく反復法則という,非政治強化学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-07-16T09:27:02Z)
• COMBO: Conservative Offline Model-Based Policy Optimization [120.55713363569845]
  ディープニューラルネットワークのような複雑なモデルによる不確実性推定は困難であり、信頼性が低い。 我々は,サポート外状態動作の値関数を正規化するモデルベースオフラインRLアルゴリズムCOMBOを開発した。 従来のオフラインモデルフリーメソッドやモデルベースメソッドと比べて、comboは一貫してパフォーマンスが良いことが分かりました。
  論文  参考訳（メタデータ） (2021-02-16T18:50:32Z)
• Non-stationary Online Learning with Memory and Non-stochastic Control [71.14503310914799]
  我々は,過去の決定に依拠する損失関数を許容するメモリを用いたオンライン凸最適化(OCO)の問題について検討する。 本稿では,非定常環境に対してロバストなアルゴリズムを設計するための性能指標として,動的ポリシーの後悔を紹介する。 我々は,時間的地平線,非定常度,メモリ長といった面で,最適な動的ポリシーの後悔を確実に享受するメモリ付きOCOの新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-07T09:45:15Z)
• Logistic Q-Learning [87.00813469969167]
  MDPにおける最適制御の正規化線形プログラミング定式化から導いた新しい強化学習アルゴリズムを提案する。 提案アルゴリズムの主な特徴は,広範に使用されているベルマン誤差の代わりとして理論的に音声として機能する,政策評価のための凸損失関数である。
  論文  参考訳（メタデータ） (2020-10-21T17:14:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。