論文の概要: Snapshot Reinforcement Learning: Leveraging Prior Trajectories for
Efficiency
- arxiv url: http://arxiv.org/abs/2403.00673v2
- Date: Tue, 12 Mar 2024 12:20:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-14 00:36:50.802862
- Title: Snapshot Reinforcement Learning: Leveraging Prior Trajectories for
Efficiency
- Title（参考訳）: スナップショット強化学習 - 事前トラジェクトリを有効活用する
- Authors: Yanxiao Zhao, Yangge Qian, Tianyi Wang, Jingyang Shan, Xiaolin Qin
- Abstract要約: 深部強化学習(DRL)アルゴリズムは、高い性能を達成するために、かなりのサンプルと計算資源を必要とする。
本稿では,環境変更によるサンプル効率の向上を目的としたSnapshot Reinforcement Learningフレームワークを提案する。
本稿では,既存のDRLアルゴリズムとよく統合された,シンプルで効果的なSnapshotRLベースラインアルゴリズムS3RLを提案する。
- 参考スコア（独自算出の注目度）: 6.267119107674013
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep reinforcement learning (DRL) algorithms require substantial samples and
computational resources to achieve higher performance, which restricts their
practical application and poses challenges for further development. Given the
constraint of limited resources, it is essential to leverage existing
computational work (e.g., learned policies, samples) to enhance sample
efficiency and reduce the computational resource consumption of DRL algorithms.
Previous works to leverage existing computational work require intrusive
modifications to existing algorithms and models, designed specifically for
specific algorithms, lacking flexibility and universality. In this paper, we
present the Snapshot Reinforcement Learning (SnapshotRL) framework, which
enhances sample efficiency by simply altering environments, without making any
modifications to algorithms and models. By allowing student agents to choose
states in teacher trajectories as the initial state to sample, SnapshotRL can
effectively utilize teacher trajectories to assist student agents in training,
allowing student agents to explore a larger state space at the early training
phase. We propose a simple and effective SnapshotRL baseline algorithm, S3RL,
which integrates well with existing DRL algorithms. Our experiments demonstrate
that integrating S3RL with TD3, SAC, and PPO algorithms on the MuJoCo benchmark
significantly improves sample efficiency and average return, without extra
samples and additional computational resources.
- Abstract（参考訳）: 深層強化学習(DRL)アルゴリズムは、高い性能を達成するために、かなりのサンプルと計算資源を必要とするため、実用的応用を制限し、さらなる開発に挑戦する。
限られた資源の制約を考えると、サンプル効率を高め、DRLアルゴリズムの計算資源消費を減らすために既存の計算作業(例えば、学習済みのポリシーやサンプル)を活用することが不可欠である。
既存の計算処理を活用するためには、柔軟性と普遍性に欠ける特定のアルゴリズムのために設計された既存のアルゴリズムとモデルに侵入的な修正が必要である。
本稿では,スナップショット強化学習(snapshotrl)フレームワークを提案する。このフレームワークは,単に環境を変更するだけで,アルゴリズムやモデルを変更することなくサンプル効率を向上させる。
スナップショットRLは、教師の軌跡の状態を初期状態として選択することで、教師の軌跡を効果的に活用し、訓練中の生徒のエージェントを支援することにより、学生のエージェントは早期訓練段階でより大きな状態空間を探索することができる。
本稿では,既存のDRLアルゴリズムとよく統合された,シンプルで効果的なSnapshotRLベースラインアルゴリズムS3RLを提案する。
実験により,S3RLとTD3,SAC,PPOのアルゴリズムをMuJoCoベンチマークに組み込むことで,余分なサンプルや計算資源を必要とせず,サンプル効率と平均戻り率を大幅に向上することが示された。
関連論文リスト
- How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。
大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。
我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
論文 参考訳（メタデータ） (2024-02-25T20:07:13Z) - Provable Reward-Agnostic Preference-Based Reinforcement Learning [61.39541986848391]
PbRL(Preference-based Reinforcement Learning)は、RLエージェントが、軌道上のペアワイドな嗜好に基づくフィードバックを用いてタスクを最適化することを学ぶパラダイムである。
本稿では,隠れた報酬関数の正確な学習を可能にする探索軌道を求める理論的報酬非依存PbRLフレームワークを提案する。
論文 参考訳（メタデータ） (2023-05-29T15:00:09Z) - Human-Inspired Framework to Accelerate Reinforcement Learning [1.6317061277457001]
強化学習(Reinforcement Learning, RL)は、データサイエンスの意思決定において重要であるが、サンプルの不効率に悩まされている。
本稿では,RLアルゴリズムのサンプル効率を向上させるための,人間に触発された新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2023-02-28T13:15:04Z) - Mastering the Unsupervised Reinforcement Learning Benchmark from Pixels [112.63440666617494]
強化学習アルゴリズムは成功するが、エージェントと環境の間の大量の相互作用を必要とする。
本稿では,教師なしモデルベースRLを用いてエージェントを事前学習する手法を提案する。
我々はReal-Word RLベンチマークにおいて、適応中の環境摂動に対する抵抗性を示唆し、堅牢な性能を示す。
論文 参考訳（メタデータ） (2022-09-24T14:22:29Z) - Jump-Start Reinforcement Learning [68.82380421479675]
本稿では、オフラインデータやデモ、あるいは既存のポリシーを使ってRLポリシーを初期化するメタアルゴリズムを提案する。
特に,タスク解決に2つのポリシーを利用するアルゴリズムであるJump-Start Reinforcement Learning (JSRL)を提案する。
実験により、JSRLは既存の模倣と強化学習アルゴリズムを大幅に上回っていることを示す。
論文 参考訳（メタデータ） (2022-04-05T17:25:22Z) - Constraint Sampling Reinforcement Learning: Incorporating Expertise For
Faster Learning [43.562783189118]
本稿では,人間の洞察を高速学習に組み込むための実践的アルゴリズムを提案する。
我々のアルゴリズムであるConstraint Sampling Reinforcement Learning (CSRL)は、事前のドメイン知識をRLポリシーの制約/制約として組み込む。
すべてのケースにおいて、CSRLはベースラインよりも早く良いポリシーを学ぶ。
論文 参考訳（メタデータ） (2021-12-30T22:02:42Z) - POAR: Efficient Policy Optimization via Online Abstract State
Representation Learning [6.171331561029968]
状態表現学習(SRL)は,複雑な感覚データからタスク関連特徴を低次元状態に符号化する。
我々は、SRLの解釈を改善するために、専門家のデモンストレーションを活用するために、ドメイン類似と呼ばれる新しいSRLを導入する。
我々はPOARを実証的に検証し、高次元のタスクを効率的に処理し、スクラッチから直接実生活ロボットの訓練を容易にする。
論文 参考訳（メタデータ） (2021-09-17T16:52:03Z) - Few-shot Quality-Diversity Optimization [50.337225556491774]
品質多様性(QD)の最適化は、強化学習における知覚的最小値とスパース報酬を扱う上で効果的なツールであることが示されている。
本稿では,タスク分布の例から,パラメータ空間の最適化によって得られる経路の情報を利用して,未知の環境でQD手法を初期化する場合,数発の適応が可能であることを示す。
ロボット操作とナビゲーションベンチマークを用いて、疎密な報酬設定と密集した報酬設定の両方で実施された実験は、これらの環境でのQD最適化に必要な世代数を著しく削減することを示している。
論文 参考訳（メタデータ） (2021-09-14T17:12:20Z) - Text Generation with Efficient (Soft) Q-Learning [91.47743595382758]
強化学習(RL)は、任意のタスクメトリクスを報酬としてプラグインすることで、より柔軟なソリューションを提供する。
ソフトQ-ラーニングの観点からテキスト生成のための新しいRL式を導入する。
雑音/負の例から学習し、敵攻撃、即時生成など、幅広いタスクにアプローチを適用する。
論文 参考訳（メタデータ） (2021-06-14T18:48:40Z) - A Survey of Reinforcement Learning Algorithms for Dynamically Varying
Environments [1.713291434132985]
強化学習(Reinforcement Learning, RL)アルゴリズムは、在庫管理、レコメンデータシステム、車両交通管理、クラウドコンピューティング、ロボット工学などの分野で応用されている。
これらの領域で生じる多くのタスクの現実的な合併症は、古典的RLアルゴリズムの基礎となる基本的な仮定で解くのを難しくする。
本稿では、動的に変化する環境モデルを扱うために開発されたRL法について調査する。
これらのアルゴリズムの代表的コレクションは、それらの分類と相対的なメリットとデメリットと共に、この研究で詳細に議論されている。
論文 参考訳（メタデータ） (2020-05-19T09:42:42Z) - PoPS: Policy Pruning and Shrinking for Deep Reinforcement Learning [16.269923100433232]
DRLモデルを高い性能で訓練するための,PoPS(Po Policy Pruning and Shrinking)と呼ばれる作業アルゴリズムを開発した。
PoPSは、トランスファーラーニングの力を利用する、新しい反復的なポリシープルーニングと縮小法に基づいている。
本稿では,一般的なCartpole環境,Lunar Lander環境,Pong環境,Pacman環境を用いて,PoPSの強い性能を示す実験を行った。
論文 参考訳（メタデータ） (2020-01-14T19:28:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。