論文の概要: The Role of Inherent Bellman Error in Offline Reinforcement Learning with Linear Function Approximation

• arxiv url: http://arxiv.org/abs/2406.11686v1
• Date: Mon, 17 Jun 2024 16:04:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-18 13:53:20.927128
• Title: The Role of Inherent Bellman Error in Offline Reinforcement Learning with Linear Function Approximation
• Title（参考訳）: 線形関数近似を用いたオフライン強化学習における遺伝的ベルマン誤差の役割
• Authors: Noah Golowich, Ankur Moitra,
• Abstract要約: 本稿では,線形関数近似を用いたオフラインRL問題について検討する。 我々の構造的前提は、MDPはベルマン誤差が低いということである。 我々は、$sqrtvarepsilon_mathrmBE$によるサブ最適性のスケーリングは、どんなアルゴリズムでも改善できないことを示した。
• 参考スコア（独自算出の注目度）: 29.69428894587431
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we study the offline RL problem with linear function approximation. Our main structural assumption is that the MDP has low inherent Bellman error, which stipulates that linear value functions have linear Bellman backups with respect to the greedy policy. This assumption is natural in that it is essentially the minimal assumption required for value iteration to succeed. We give a computationally efficient algorithm which succeeds under a single-policy coverage condition on the dataset, namely which outputs a policy whose value is at least that of any policy which is well-covered by the dataset. Even in the setting when the inherent Bellman error is 0 (termed linear Bellman completeness), our algorithm yields the first known guarantee under single-policy coverage. In the setting of positive inherent Bellman error ${\varepsilon_{\mathrm{BE}}} > 0$, we show that the suboptimality error of our algorithm scales with $\sqrt{\varepsilon_{\mathrm{BE}}}$. Furthermore, we prove that the scaling of the suboptimality with $\sqrt{\varepsilon_{\mathrm{BE}}}$ cannot be improved for any algorithm. Our lower bound stands in contrast to many other settings in reinforcement learning with misspecification, where one can typically obtain performance that degrades linearly with the misspecification error.
• Abstract（参考訳）: 本稿では,線形関数近似を用いたオフラインRL問題について検討する。 我々の構造的前提は、MDP はベルマン誤差が低いことであり、これは線型値関数がグリーディポリシーに関して線形ベルマンバックアップを持つことを規定している。 この仮定は、本質的に価値の反復が成功するために必要な最小限の仮定であるという点において自然なものです。 我々は,データセット上で単一政治カバレッジ条件の下で成功する計算効率のよいアルゴリズム,すなわち,データセットがよく知っているポリシーの少なくともその値のポリシーを出力するアルゴリズムを提案する。 固有ベルマン誤差が 0 であるとき (終端線形ベルマン完全性) であっても、このアルゴリズムは単一政治被覆の下で最初の既知保証が得られる。 正固有ベルマン誤差 ${\varepsilon_{\mathrm{BE}}} > 0$ の設定において、我々のアルゴリズムの準最適誤差は $\sqrt{\varepsilon_{\mathrm{BE}}}$ でスケールすることを示す。 さらに、$\sqrt{\varepsilon_{\mathrm{BE}}}$でのサブ最適性のスケーリングは、いかなるアルゴリズムに対しても改善できないことを証明した。 我々の下限は、不特定性のある強化学習における他の多くの設定とは対照的であり、典型的には、不特定性エラーと線形に劣化する性能を得ることができる。

関連論文リスト

• Computationally Efficient RL under Linear Bellman Completeness for Deterministic Dynamics [39.07258580928359]
  線形ベルマン完全設定に対する計算的および統計的に効率的な強化学習アルゴリズムについて検討する。 この設定では線形関数近似を用いて値関数をキャプチャし、線形マルコフ決定プロセス(MDP)や線形二次レギュレータ(LQR)のような既存のモデルを統一する。 我々の研究は、線形ベルマン完全設定のための計算効率の良いアルゴリズムを提供し、大きなアクション空間、ランダムな初期状態、ランダムな報酬を持つMDPに対して機能するが、決定論的となる基礎となる力学に依存している。
  論文  参考訳（メタデータ） (2024-06-17T17:52:38Z)
• Linear Bellman Completeness Suffices for Efficient Online Reinforcement Learning with Few Actions [29.69428894587431]
  ベルマンが成り立つと仮定し、これらの回帰問題が十分に特定されていることを保証している。 数作用が定数であるとき、線形ベルマンの下でRLの最初の特別なアルゴリズムを与える。
  論文  参考訳（メタデータ） (2024-06-17T15:24:49Z)
• Nearly Minimax Optimal Regret for Learning Linear Mixture Stochastic Shortest Path [80.60592344361073]
  線形混合遷移カーネルを用いた最短経路(SSP)問題について検討する。 エージェントは繰り返し環境と対話し、累積コストを最小化しながら特定の目標状態に到達する。 既存の作業は、イテレーションコスト関数の厳密な下限や、最適ポリシーに対する期待長の上限を仮定することが多い。
  論文  参考訳（メタデータ） (2024-02-14T07:52:00Z)
• Logarithmic Switching Cost in Reinforcement Learning beyond Linear MDPs [31.673857053336352]
  本稿では,時間ホリゾン$H$において,エピソード数と線形数に切り替えコストの対数性を持たせることで,ほぼ最適の後悔を実現するアルゴリズムを提案する。 また、ELEANOR-LowSwitchingで使われる「二重化トリック」を一般化線形関数近似にさらに活用できることを示す。
  論文  参考訳（メタデータ） (2023-02-24T05:14:27Z)
• Offline Minimax Soft-Q-learning Under Realizability and Partial Coverage [100.8180383245813]
  オフライン強化学習(RL)のための値ベースアルゴリズムを提案する。 ソフトマージン条件下でのバニラQ関数の類似した結果を示す。 我々のアルゴリズムの損失関数は、推定問題を非線形凸最適化問題とラグランジフィケーションとしてキャストすることによって生じる。
  論文  参考訳（メタデータ） (2023-02-05T14:22:41Z)
• Robust Losses for Learning Value Functions [26.515147684526124]
  強化学習におけるほとんどの値関数学習アルゴリズムは、平均2乗(投影)ベルマン誤差に基づいている。 我々は、サドルポイント最適化問題として正方形ベルマン誤差を修正した最近の知見に基づいて構築する。 オンラインのオフライン予測と制御設定の両方において、これらの損失を最小限に抑えるために、音の勾配に基づくアプローチを導出する。
  論文  参考訳（メタデータ） (2022-05-17T16:10:05Z)
• Safe Online Bid Optimization with Return-On-Investment and Budget Constraints subject to Uncertainty [87.81197574939355]
  最適化問題と学習問題の両方について検討する。 我々は、潜在的に線形な数の制約違反を犠牲にして、サブ線形後悔を保証するアルゴリズム、すなわちGCBを提供する。 より興味深いことに、我々はGCB_safe(psi,phi)というアルゴリズムを提供し、サブ線形擬似回帰と安全性w.h.p.の両方を、耐性 psi と phi を受け入れるコストで保証する。
  論文  参考訳（メタデータ） (2022-01-18T17:24:20Z)
• Provable Benefits of Actor-Critic Methods for Offline Reinforcement Learning [85.50033812217254]
  アクター批判法はオフラインの強化学習に広く用いられているが、理論的にはそれほどよく理解されていない。 ペシミズムの原理を自然に取り入れた新しいオフラインアクター批判アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-08-19T17:27:29Z)
• Online Apprenticeship Learning [58.45089581278177]
  見習い学習(AL)では、コスト関数にアクセスせずにマルコフ決定プロセス(MDP)が与えられます。 目標は、事前に定義されたコスト関数のセットで専門家のパフォーマンスに一致するポリシーを見つけることです。 ミラー下降型ノンレグレットアルゴリズムを2つ組み合わせることで,OAL問題を効果的に解くことができることを示す。
  論文  参考訳（メタデータ） (2021-02-13T12:57:51Z)
• Learning Near Optimal Policies with Low Inherent Bellman Error [115.16037976819331]
  エピソード強化学習における近似線形作用値関数を用いた探索問題について検討する。 我々は,検討した設定に対して最適な統計率を達成するアルゴリズムを用いて,Emphbatch仮定のみを用いて探索を行うことが可能であることを示す。
  論文  参考訳（メタデータ） (2020-02-29T02:02:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。