論文の概要: Embed to Control Partially Observed Systems: Representation Learning with Provable Sample Efficiency

• arxiv url: http://arxiv.org/abs/2205.13476v2
• Date: Mon, 1 Apr 2024 01:53:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 14:31:02.352415
• Title: Embed to Control Partially Observed Systems: Representation Learning with Provable Sample Efficiency
• Title（参考訳）: 部分観測システムへの埋め込み:確率的サンプル効率による表現学習
• Authors: Lingxiao Wang, Qi Cai, Zhuoran Yang, Zhaoran Wang,
• Abstract要約: 部分的に観察されたマルコフ決定過程(POMDP)における強化学習は2つの課題に直面している。 しばしば、未来を予測するのに完全な歴史を要し、地平線と指数関数的にスケールするサンプルの複雑さを誘導する。 本稿では,2段階の表現を最適化しながら学習するETC(Embed to Control)という強化学習アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 105.17746223041954
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning in partially observed Markov decision processes (POMDPs) faces two challenges. (i) It often takes the full history to predict the future, which induces a sample complexity that scales exponentially with the horizon. (ii) The observation and state spaces are often continuous, which induces a sample complexity that scales exponentially with the extrinsic dimension. Addressing such challenges requires learning a minimal but sufficient representation of the observation and state histories by exploiting the structure of the POMDP. To this end, we propose a reinforcement learning algorithm named Embed to Control (ETC), which learns the representation at two levels while optimizing the policy.~(i) For each step, ETC learns to represent the state with a low-dimensional feature, which factorizes the transition kernel. (ii) Across multiple steps, ETC learns to represent the full history with a low-dimensional embedding, which assembles the per-step feature. We integrate (i) and (ii) in a unified framework that allows a variety of estimators (including maximum likelihood estimators and generative adversarial networks). For a class of POMDPs with a low-rank structure in the transition kernel, ETC attains an $O(1/\epsilon^2)$ sample complexity that scales polynomially with the horizon and the intrinsic dimension (that is, the rank). Here $\epsilon$ is the optimality gap. To our best knowledge, ETC is the first sample-efficient algorithm that bridges representation learning and policy optimization in POMDPs with infinite observation and state spaces.
• Abstract（参考訳）: 部分的に観察されたマルコフ決定過程(POMDP)における強化学習は2つの課題に直面している。 (i)未来を予測するには、しばしば完全な歴史を要し、地平線と指数関数的にスケールするサンプルの複雑さを誘導する。 (II)観測空間と状態空間はしばしば連続であり、外生次元と指数関数的にスケールするサンプル複雑性を誘導する。 このような課題に対処するには、POMDPの構造を利用して観測と状態履歴の最小かつ十分な表現を学ぶ必要がある。 そこで本研究では,ポリシーを最適化しながら2段階の表現を学習するETC(Embed to Control)という強化学習アルゴリズムを提案する。 ~ i) 各ステップにおいて、ETCは、遷移カーネルを分解する低次元の特徴を持つ状態を表現することを学習する。 (ii)複数のステップにまたがって、ECCは、各ステップの特徴を組み立てる低次元の埋め込みを用いて、すべての履歴を表現することを学習する。 統合 (i)および (ii) 様々な推定器(最大極大推定器や生成逆数ネットワークを含む)を許容する統一的な枠組みにおいて。 遷移核に低ランク構造を持つPOMDPのクラスに対して、ECCは、水平線と内在次元(すなわちランク)と多項式的にスケールする$O(1/\epsilon^2)$サンプル複雑性を得る。 ここで$\epsilon$は最適性ギャップです。 我々の知る限り、ETCは、無限観測空間と状態空間を持つPOMDPにおける表現学習とポリシー最適化を橋渡しする最初のサンプル効率アルゴリズムである。

関連論文リスト

• Near-optimal Policy Identification in Active Reinforcement Learning [84.27592560211909]
  AE-LSVI はカーネル化された最小二乗値 RL (LSVI) アルゴリズムの新しい変種であり、楽観主義と悲観主義を組み合わせて活発な探索を行う。 AE-LSVIは初期状態に対するロバスト性が必要な場合、様々な環境で他のアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-19T14:46:57Z)
• DIAMOND: Taming Sample and Communication Complexities in Decentralized Bilevel Optimization [27.317118892531827]
  我々は、DIAMOND(運動量と勾配追跡を伴う分散単時間スケール近似)と呼ばれる新しい分散二段階最適化を開発する。 我々はDIAMONDが$mathcalO(epsilon-3/2)$をサンプルと通信の複雑さで楽しむことを示し、$epsilon$-stationaryソリューションを実現する。
  論文  参考訳（メタデータ） (2022-12-05T15:58:00Z)
• GEC: A Unified Framework for Interactive Decision Making in MDP, POMDP, and Beyond [101.5329678997916]
  対話型意思決定の一般的な枠組みの下で, サンプル高能率強化学習(RL)について検討した。 本稿では,探索とエクスプロイトの基本的なトレードオフを特徴付ける,新しい複雑性尺度である一般化エルダー係数(GEC)を提案する。 低 GEC の RL 問題は非常にリッチなクラスであり、これは低ベルマン楕円体次元問題、双線型クラス、低証人ランク問題、PO-双線型クラス、一般化正規PSR を仮定する。
  論文  参考訳（メタデータ） (2022-11-03T16:42:40Z)
• PAC Reinforcement Learning for Predictive State Representations [60.00237613646686]
  部分的に観察可能な力学系におけるオンライン強化学習(RL)について検討する。 我々は、他のよく知られたモデルをキャプチャする表現モデルである予測状態表現(PSR)モデルに焦点を当てる。 我々は,サンプル複雑性のスケーリングにおいて,ほぼ最適なポリシを学習可能な,PSRのための新しいモデルベースアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-07-12T17:57:17Z)
• Reinforcement Learning from Partial Observation: Linear Function Approximation with Provable Sample Efficiency [111.83670279016599]
  部分観察決定過程(POMDP)の無限観測および状態空間を用いた強化学習について検討した。 線形構造をもつPOMDPのクラスに対する部分可観測性と関数近似の最初の試みを行う。
  論文  参考訳（メタデータ） (2022-04-20T21:15:38Z)
• Sample-Efficient Reinforcement Learning of Undercomplete POMDPs [91.40308354344505]
  この研究は、これらの硬度障壁が、部分観測可能決定過程(POMDP)の豊かで興味深いサブクラスに対する効率的な強化学習を妨げないことを示している。 提案手法は, 観測回数が潜伏状態の数よりも大きく, 探索が学習に不可欠であり, 先行研究と区別できるような, エピソード有限不完全POMDPに対するサンプル効率アルゴリズムOOM-UCBを提案する。
  論文  参考訳（メタデータ） (2020-06-22T17:58:54Z)
• A Second look at Exponential and Cosine Step Sizes: Simplicity, Adaptivity, and Performance [23.89815527019194]
  Gradient Descent(SGD)は、大規模な機械学習モデルで人気のあるツールである。 ステップサイズの選択にもよるが、非常に可変である。 ステップサイズを調整するための様々な戦略が提案されている。
  論文  参考訳（メタデータ） (2020-02-12T23:10:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。