論文の概要: On the Statistical Complexity for Offline and Low-Adaptive Reinforcement Learning with Structures

• arxiv url: http://arxiv.org/abs/2501.02089v1
• Date: Fri, 03 Jan 2025 20:27:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-07 17:08:46.364997
• Title: On the Statistical Complexity for Offline and Low-Adaptive Reinforcement Learning with Structures
• Title（参考訳）: 構造をもつオフライン・低適応強化学習における統計的複雑さについて
• Authors: Ming Yin, Mengdi Wang, Yu-Xiang Wang,
• Abstract要約: 本稿では、オフラインおよび低適応環境における強化学習(RL)の統計的基礎に関する最近の進歩を概観する。 まず最初に、オフラインRLが、RLを使用する最近のAIブレークスルーとは無関係であっても、ほぼすべての実生活のML問題に対して適切なモデルである理由について議論する。 オフラインポリシー評価(OPE)とオフラインポリシー学習(OPL)という,オフラインRLの基本的な2つの問題に展開する。
• 参考スコア（独自算出の注目度）: 63.36095790552758
• License:
• Abstract: This article reviews the recent advances on the statistical foundation of reinforcement learning (RL) in the offline and low-adaptive settings. We will start by arguing why offline RL is the appropriate model for almost any real-life ML problems, even if they have nothing to do with the recent AI breakthroughs that use RL. Then we will zoom into two fundamental problems of offline RL: offline policy evaluation (OPE) and offline policy learning (OPL). It may be surprising to people that tight bounds for these problems were not known even for tabular and linear cases until recently. We delineate the differences between worst-case minimax bounds and instance-dependent bounds. We also cover key algorithmic ideas and proof techniques behind near-optimal instance-dependent methods in OPE and OPL. Finally, we discuss the limitations of offline RL and review a burgeoning problem of \emph{low-adaptive exploration} which addresses these limitations by providing a sweet middle ground between offline and online RL.
• Abstract（参考訳）: 本稿では、オフラインおよび低適応環境における強化学習(RL)の統計的基礎に関する最近の進歩を概観する。 まず最初に、オフラインRLが、RLを使用する最近のAIブレークスルーとは無関係であっても、ほぼすべての実生活のML問題に対して適切なモデルである理由について議論する。 次に、オフラインポリシー評価(OPE)とオフラインポリシー学習(OPL)という、オフラインRLの基本的な2つの問題を拡大する。 これらの問題に対する厳密な境界が、最近まで表や線状の場合でさえ分かっていなかったことは、驚くかもしれない。 最悪ケースのミニマックス境界とインスタンス依存境界の違いを列挙する。 また,OPE と OPL のほぼ最適インスタンス依存手法の背景にある重要なアルゴリズム的アイデアと証明手法についても述べる。 最後に、オフラインRLの限界について議論し、オフラインRLとオンラインRLの間の甘い中間点を提供することにより、これらの制限に対処する \emph{low-adaptive Explor} の華やかな問題をレビューする。

関連論文リスト

• Active Advantage-Aligned Online Reinforcement Learning with Offline Data [56.98480620108727]
  A3 RLは、ポリシー改善を最適化するために、オンラインとオフラインの組み合わせからデータを積極的に選択する新しい方法である。 アクティブサンプリング戦略の有効性を検証する理論的保証を提供する。
  論文  参考訳（メタデータ） (2025-02-11T20:31:59Z)
• Efficient Online Reinforcement Learning Fine-Tuning Need Not Retain Offline Data [64.74333980417235]
  オフラインRLを微調整するために適切に設計されたオンラインRLアプローチを使用する限り、オフラインデータの保持は不要であることを示す。 Warm-start RL(WSRL)はオフラインデータを保持することなく微調整が可能であり,既存のアルゴリズムよりも高速に学習でき,高い性能が得られることを示す。
  論文  参考訳（メタデータ） (2024-12-10T18:57:12Z)
• Hybrid Reinforcement Learning Breaks Sample Size Barriers in Linear MDPs [15.033410073144939]
  Xie ら (2022) による重要な疑問は、ハイブリッド RL が純粋にオフラインかつ純粋にオンラインの RL で確立された既存の下位境界に対して改善できるかどうかである。 本研究では,線形関数近似を用いたPACと後悔最小化RLの計算効率のよいアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-08-08T15:26:18Z)
• Bridging Distributionally Robust Learning and Offline RL: An Approach to Mitigate Distribution Shift and Partial Data Coverage [32.578787778183546]
  オフライン強化学習(RL)アルゴリズムは、過去の(オフライン)データを用いて最適な警察を学習する。 オフラインRLの主な課題の1つは、分散シフトである。 分散ロバスト学習(DRL)フレームワークを用いた2つのオフラインRLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-27T19:19:30Z)
• Efficient Diffusion Policies for Offline Reinforcement Learning [85.73757789282212]
  Diffsuion-QLは、拡散モデルでポリシーを表現することによってオフラインRLの性能を大幅に向上させる。 これら2つの課題を克服するために,効率的な拡散政策(EDP)を提案する。 EDPは、サンプリングチェーンの実行を避けるために、トレーニング中の腐敗したアクションからアクションを構築する。
  論文  参考訳（メタデータ） (2023-05-31T17:55:21Z)
• Behavior Proximal Policy Optimization [14.701955559885615]
  オフライン強化学習(英語: offline reinforcement learning, RL)は、既存の非政治アクター批判的手法が不十分な課題である。 オンラインのオンライン政治アルゴリズムは、自然にオフラインのRLを解くことができる。 本稿では,制約や正規化を伴わずにオフラインのRLを解消する振舞いプロキシポリシー最適化(BPPO)を提案する。
  論文  参考訳（メタデータ） (2023-02-22T11:49:12Z)
• Dual RL: Unification and New Methods for Reinforcement and Imitation Learning [26.59374102005998]
  我々はまず,共有構造を持つ2つのRLアプローチのインスタンスとして,最先端のオフラインRLとオフライン模倣学習(IL)アルゴリズムをいくつか導入した。 本稿では、任意のオフポリシーデータから模倣を学習し、ほぼ専門的な性能を得る新しい差別化手法であるReCOILを提案する。 オフラインRLでは、最近のオフラインRLメソッドXQLをデュアルフレームワークにフレーム化し、Gumbel回帰損失に対して代替的な選択肢を提供する新しい方法f-DVLを提案する。
  論文  参考訳（メタデータ） (2023-02-16T20:10:06Z)
• The Least Restriction for Offline Reinforcement Learning [0.0]
  我々は、創造的なオフライン強化学習フレームワーク、Least Restriction (LR)を提案する。 LRは、アクションを選択することを確率分布からサンプルを取るとみなす。 ランダムとサブ最適のデモを含む、さまざまなオフラインデータセットから堅牢に学習することができる。
  論文  参考訳（メタデータ） (2021-07-05T01:50:40Z)
• OptiDICE: Offline Policy Optimization via Stationary Distribution Correction Estimation [59.469401906712555]
  より原理的な方法で過大評価を防止するオフライン強化学習アルゴリズムを提案する。 提案アルゴリズムであるOptiDICEは,最適ポリシーの定常分布補正を直接推定する。 OptiDICEは最先端の手法と競合して動作することを示す。
  論文  参考訳（メタデータ） (2021-06-21T00:43:30Z)
• MOPO: Model-based Offline Policy Optimization [183.6449600580806]
  オフライン強化学習(英語: offline reinforcement learning, RL)とは、以前に収集された大量のデータから完全に学習ポリシーを学習する問題を指す。 既存のモデルベースRLアルゴリズムは,すでにオフライン設定において大きな利益を上げていることを示す。 本稿では,既存のモデルに基づくRL法を,力学の不確実性によって人為的に罰せられる報酬で適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-27T08:46:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。