論文の概要: Dyna-T: Dyna-Q and Upper Confidence Bounds Applied to Trees

• arxiv url: http://arxiv.org/abs/2201.04502v1
• Date: Wed, 12 Jan 2022 15:06:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-13 16:32:20.944380
• Title: Dyna-T: Dyna-Q and Upper Confidence Bounds Applied to Trees
• Title（参考訳）: Dyna-T:Dyna-Qと木に適用される上部信頼境界
• Authors: Tarek Faycal and Claudio Zito
• Abstract要約: 本稿ではDyna-Tという新しいアルゴリズムについて予備検討する。 強化学習(RL)では、計画エージェントは環境をモデルとして表現する。 より良いモデルを学ぶために、あるいは価値関数とポリシーを直接改善するために、経験を使うことができる。
• 参考スコア（独自算出の注目度）: 0.9137554315375919
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work we present a preliminary investigation of a novel algorithm called Dyna-T. In reinforcement learning (RL) a planning agent has its own representation of the environment as a model. To discover an optimal policy to interact with the environment, the agent collects experience in a trial and error fashion. Experience can be used for learning a better model or improve directly the value function and policy. Typically separated, Dyna-Q is an hybrid approach which, at each iteration, exploits the real experience to update the model as well as the value function, while planning its action using simulated data from its model. However, the planning process is computationally expensive and strongly depends on the dimensionality of the state-action space. We propose to build a Upper Confidence Tree (UCT) on the simulated experience and search for the best action to be selected during the on-line learning process. We prove the effectiveness of our proposed method on a set of preliminary tests on three testbed environments from Open AI. In contrast to Dyna-Q, Dyna-T outperforms state-of-the-art RL agents in the stochastic environments by choosing a more robust action selection strategy.
• Abstract（参考訳）: 本研究では,Dyna-Tという新しいアルゴリズムについて予備的検討を行う。 強化学習(rl)では、計画エージェントはモデルとして環境を独自の表現を持つ。 環境と相互作用する最適なポリシーを見つけるために、エージェントは試行錯誤の方法で経験を収集する。 経験は、よりよいモデルを学ぶか、価値関数とポリシーを直接改善するために利用できます。 一般的に分離されたdyna-qは、各イテレーションにおいて、モデルからシミュレーションデータを使用してアクションを計画しながら、実際の経験を利用してモデルと値関数を更新するハイブリッドアプローチである。 しかし、計画プロセスは計算コストが高く、状態-作用空間の次元性に強く依存する。 そこで本研究では,オンライン学習プロセスにおいて,模擬経験に基づくアッパー信頼木 (UCT) の構築と最適な行動の探索を提案する。 提案手法の有効性を,Open AIによる3つのテストベッド環境における予備試験のセットで検証した。 Dyna-Qとは対照的に、Dyna-Tはより堅牢なアクション選択戦略を選択することにより、確率環境における最先端のRLエージェントより優れる。

関連論文リスト

• Reparameterized Policy Learning for Multimodal Trajectory Optimization [61.13228961771765]
  本研究では,高次元連続行動空間における強化学習のためのパラメータ化政策の課題について検討する。 本稿では,連続RLポリシーを最適軌道の生成モデルとしてモデル化する原理的フレームワークを提案する。 本稿では,マルチモーダルポリシーパラメータ化と学習世界モデルを活用した実用的モデルベースRL手法を提案する。
  論文  参考訳（メタデータ） (2023-07-20T09:05:46Z)
• Adaptive action supervision in reinforcement learning from real-world multi-agent demonstrations [10.174009792409928]
  マルチエージェントシナリオにおける実世界の実演からRLにおける適応的行動監視手法を提案する。 実験では,未知のソースとターゲット環境の異なるダイナミックスを用いて,チェイス・アンド・エスケープとフットボールのタスクを用いて,本手法がベースラインと比較して一般化能力と一般化能力のバランスを保っていることを示す。
  論文  参考訳（メタデータ） (2023-05-22T13:33:37Z)
• Predictive Experience Replay for Continual Visual Control and Forecasting [62.06183102362871]
  視覚力学モデリングのための新しい連続学習手法を提案し,その視覚制御と予測における有効性について検討する。 まず,タスク固有のダイナミクスをガウスの混合で学習する混合世界モデルを提案し,その上で,破滅的な忘れを克服するための新たなトレーニング戦略を提案する。 我々のモデルは,DeepMind Control と Meta-World のベンチマークにおいて,既存の連続的学習アルゴリズムと視覚的RLアルゴリズムの単純な組み合わせよりも優れている。
  論文  参考訳（メタデータ） (2023-03-12T05:08:03Z)
• CostNet: An End-to-End Framework for Goal-Directed Reinforcement Learning [9.432068833600884]
  強化学習(Reinforcement Learning, RL)は、環境における報酬の最大化を目指すエージェントに関する一般的なフレームワークである。 モデルベースとモデルフリー強化学習の2つのアプローチがあり、いくつかの分野において具体的な結果を示している。 本稿ではマルコフ決定過程における2つの状態間の距離を予測するための新しい強化学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-10-03T21:16:14Z)
• Mastering the Unsupervised Reinforcement Learning Benchmark from Pixels [112.63440666617494]
  強化学習アルゴリズムは成功するが、エージェントと環境の間の大量の相互作用を必要とする。 本稿では,教師なしモデルベースRLを用いてエージェントを事前学習する手法を提案する。 我々はReal-Word RLベンチマークにおいて、適応中の環境摂動に対する抵抗性を示唆し、堅牢な性能を示す。
  論文  参考訳（メタデータ） (2022-09-24T14:22:29Z)
• Efficient Model-based Multi-agent Reinforcement Learning via Optimistic Equilibrium Computation [93.52573037053449]
  H-MARL (Hallucinated Multi-Agent Reinforcement Learning) は,環境と数回交流した後の平衡政策を学習する。 自律運転シミュレーションベンチマークにおいて,本手法を実験的に実証した。
  論文  参考訳（メタデータ） (2022-03-14T17:24:03Z)
• Independent Learning in Stochastic Games [16.505046191280634]
  動的環境におけるマルチエージェント学習のためのゲームモデルを提案する。 ゲームのためのシンプルで独立した学習力学の開発に焦点をあてる。 我々は最近提案したゼロサムゲームにおける収束を保証する単純かつ独立な学習力学について述べる。
  論文  参考訳（メタデータ） (2021-11-23T09:27:20Z)
• Multitask Adaptation by Retrospective Exploration with Learned World Models [77.34726150561087]
  本稿では,タスク非依存ストレージから取得したMBRLエージェントのトレーニングサンプルを提供するRAMaというメタ学習型アドレッシングモデルを提案する。 このモデルは、期待されるエージェントのパフォーマンスを最大化するために、ストレージから事前のタスクを解く有望な軌道を選択することで訓練される。
  論文  参考訳（メタデータ） (2021-10-25T20:02:57Z)
• PsiPhi-Learning: Reinforcement Learning with Demonstrations using Successor Features and Inverse Temporal Difference Learning [102.36450942613091]
  時間差学習(ITD)と呼ばれる逆強化学習アルゴリズムを提案する。 Psi Phi$-learningと呼ばれるデモで強化学習のための新しいアルゴリズムに到達し、オンライン環境の相互作用から学習とITDをシームレスに統合する方法を示します。
  論文  参考訳（メタデータ） (2021-02-24T21:12:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。