論文の概要: Active Reinforcement Learning Strategies for Offline Policy Improvement
- arxiv url: http://arxiv.org/abs/2412.13106v2
- Date: Thu, 26 Dec 2024 10:15:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-30 17:21:44.028791
- Title: Active Reinforcement Learning Strategies for Offline Policy Improvement
- Title（参考訳）: オフライン政策改善のためのアクティブ強化学習戦略
- Authors: Ambedkar Dukkipati, Ranga Shaarad Ayyagari, Bodhisattwa Dasgupta, Parag Dutta, Prabhas Reddy Onteru,
- Abstract要約: 本稿では,既存のオフラインデータを拡張可能なトラジェクトリを収集できる能動的強化学習手法を提案する。
提案手法は,競争基準よりも環境とのオンラインインタラクションを最大75%削減できることを示す。
- 参考スコア（独自算出の注目度）: 8.2883946876766
- License:
- Abstract: Learning agents that excel at sequential decision-making tasks must continuously resolve the problem of exploration and exploitation for optimal learning. However, such interactions with the environment online might be prohibitively expensive and may involve some constraints, such as a limited budget for agent-environment interactions and restricted exploration in certain regions of the state space. Examples include selecting candidates for medical trials and training agents in complex navigation environments. This problem necessitates the study of active reinforcement learning strategies that collect minimal additional experience trajectories by reusing existing offline data previously collected by some unknown behavior policy. In this work, we propose an active reinforcement learning method capable of collecting trajectories that can augment existing offline data. With extensive experimentation, we demonstrate that our proposed method reduces additional online interaction with the environment by up to 75% over competitive baselines across various continuous control environments such as Gym-MuJoCo locomotion environments as well as Maze2d, AntMaze, CARLA and IsaacSimGo1. To the best of our knowledge, this is the first work that addresses the active learning problem in the context of sequential decision-making and reinforcement learning.
- Abstract（参考訳）: シーケンシャルな意思決定タスクに優れる学習エージェントは、最適な学習のための探索と搾取の問題を継続的に解決しなければならない。
しかし、このような環境との対話は違法に高価であり、エージェントと環境の相互作用の予算の制限や、州空間の特定の領域での探索の制限など、いくつかの制約が伴う可能性がある。
例えば、複雑なナビゲーション環境において、臨床試験の候補を選ぶことや、トレーニングエージェントを選択することなどがある。
この問題は、以前に未知の行動方針によって収集された既存のオフラインデータを再利用することにより、最小限の付加体験軌道を収集するアクティブ強化学習戦略の研究を必要とする。
本研究では,既存のオフラインデータを拡張可能なトラジェクトリを収集できる能動的強化学習手法を提案する。
本研究では,Gym-MuJoCoロコモーション環境,Maze2d,AntMaze,CARLA,IsaacSimGo1など,各種連続制御環境の競争ベースラインを最大75%以上越えることで,環境とのオンラインインタラクションを最大75%削減できることを実証した。
私たちの知る限りでは、シーケンシャルな意思決定と強化学習という文脈において、アクティブな学習問題に対処する最初の研究である。
関連論文リスト
- Temporal Abstraction in Reinforcement Learning with Offline Data [8.370420807869321]
本稿では,オンライン階層型強化学習アルゴリズムを,未知の行動ポリシーによって収集されたトランジションのオフラインデータセット上でトレーニング可能なフレームワークを提案する。
我々は,Gym MuJoCo環境とロボットグリップのブロックスタッキングタスク,トランスファーおよびゴール条件設定について検証した。
論文 参考訳（メタデータ） (2024-07-21T18:10:31Z) - Interactive Graph Convolutional Filtering [79.34979767405979]
インタラクティブ・レコメンダ・システム(IRS)は、パーソナライズされた記事レコメンデーション、ソーシャルメディア、オンライン広告など、さまざまな領域でますます利用されている。
これらの問題は、コールドスタート問題とデータスポーサリティ問題によって悪化する。
既存のMulti-Armed Bandit手法は、慎重に設計された探査戦略にもかかわらず、しばしば初期の段階で満足な結果を提供するのに苦労する。
提案手法は,ユーザとアイテム間の協調フィルタリング性能を向上させるため,協調フィルタリングをグラフモデルに拡張する。
論文 参考訳（メタデータ） (2023-09-04T09:02:31Z) - Safe Multi-agent Learning via Trapping Regions [89.24858306636816]
我々は、動的システムの定性理論から知られているトラップ領域の概念を適用し、分散学習のための共同戦略空間に安全セットを作成する。
本稿では,既知の学習力学を持つシステムにおいて,候補がトラップ領域を形成することを検証するための二分分割アルゴリズムと,学習力学が未知のシナリオに対するサンプリングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-02-27T14:47:52Z) - Let Offline RL Flow: Training Conservative Agents in the Latent Space of
Normalizing Flows [58.762959061522736]
オフライン強化学習は、追加の環境相互作用なしに、事前に記録された、固定されたデータセット上でポリシーをトレーニングすることを目的としている。
我々は、最近、潜在行動空間における学習ポリシーを基礎として、生成モデルの構築に正規化フローの特別な形式を用いる。
提案手法が最近提案したアルゴリズムより優れていることを示すため,様々な移動タスクとナビゲーションタスクについて評価を行った。
論文 参考訳（メタデータ） (2022-11-20T21:57:10Z) - Offline Reinforcement Learning with Instrumental Variables in Confounded
Markov Decision Processes [93.61202366677526]
未測定の共同設立者を対象にオフライン強化学習(RL)について検討した。
そこで本稿では, 最適クラスポリシーを見つけるための, 有限サンプルの準最適性を保証した多種多様なポリシー学習手法を提案する。
論文 参考訳（メタデータ） (2022-09-18T22:03:55Z) - Latent-Variable Advantage-Weighted Policy Optimization for Offline RL [70.01851346635637]
オフラインの強化学習メソッドは、新しいトランジションを環境に問い合わせる必要なしに、事前にコンパイルされたデータセットから学習ポリシーを保証します。
実際には、オフラインデータセットは、しばしば異種、すなわち様々なシナリオで収集される。
より広範な政策分布を表現できる潜在変数ポリシーを活用することを提案する。
提案手法は,次回のオフライン強化学習法の性能を,異種データセット上で49%向上させる。
論文 参考訳（メタデータ） (2022-03-16T21:17:03Z) - Unsupervised Reinforcement Learning in Multiple Environments [37.5349071806395]
複数の環境のクラスにおける教師なし強化学習の課題に対処する。
本稿では,クラス間のインタラクションを通じて導入対象を最適化するために,ポリシー勾配アルゴリズムである$alpha$MEPOLを提案する。
事前学習した探索戦略から,強化学習が大きなメリットがあることが示唆された。
論文 参考訳（メタデータ） (2021-12-16T09:54:37Z) - Combining Online Learning and Offline Learning for Contextual Bandits
with Deficient Support [53.11601029040302]
現在のオフライン政治学習アルゴリズムは、主に逆確率スコア(IPS)重み付けに基づいている。
オフライン学習とオンライン探索を組み合わせた新しい手法を提案する。
提案手法は,最小限のオンライン探索数を用いて理論的保証を伴う最適政策を決定する。
論文 参考訳（メタデータ） (2021-07-24T05:07:43Z) - Online learning with dynamics: A minimax perspective [25.427783092065546]
本研究では,学習者が複数のラウンドでステートフルな環境と対話する,ダイナミックスを用いたオンライン学習の課題について検討する。
本研究の主な成果は,オンライン学習に十分な条件を提供することである。
論文 参考訳（メタデータ） (2020-12-03T05:06:08Z) - PLAS: Latent Action Space for Offline Reinforcement Learning [18.63424441772675]
オフライン強化学習の目標は、環境とのさらなる相互作用なしに、固定データセットからポリシーを学ぶことである。
既存のオフプライシアルゴリズムでは、アウト・オブ・ディストリビューションアクションによる外挿エラーによる静的データセットのパフォーマンスが制限されている。
提案手法は,各種の連続制御タスクと異なる種類のデータセットに対して,一貫して競合性能を提供することを示す。
論文 参考訳（メタデータ） (2020-11-14T03:38:38Z) - Offline Learning for Planning: A Summary [0.0]
自律的なエージェントの訓練は、しばしば、環境との高価で安全でない試行錯誤の相互作用を必要とする。
さまざまなタスクを実行するインテリジェントエージェントの記録された経験を含むデータセットは、インターネット上でアクセス可能である。
本稿では,最先端のオフライン学習ベースラインの開発を動機とするアイデアを要約する。
論文 参考訳（メタデータ） (2020-10-05T11:41:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。