論文の概要: Goal-Conditioned Offline Reinforcement Learning via Metric Learning
- arxiv url: http://arxiv.org/abs/2402.10820v1
- Date: Fri, 16 Feb 2024 16:46:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-19 15:03:19.377463
- Title: Goal-Conditioned Offline Reinforcement Learning via Metric Learning
- Title(参考訳): メトリック学習によるゴールコンディションオフライン強化学習
- Authors: Alfredo Reichlin, Miguel Vasco, Hang Yin, Danica Kragic
- Abstract要約: 目標条件付きオフライン強化学習の文脈における最適データセットからの最適行動学習の問題に対処する。
本稿では, 目標条件付きオフラインRL問題に対する最適値関数を, 厳密な報酬, 対称性, 決定論的行動の下で近似する方法を提案する。
提案手法は,準最適オフラインデータセットからの学習において,他のオフラインRLベースラインを一貫して上回ることを示す。
- 参考スコア(独自算出の注目度): 24.224380153671394
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this work, we address the problem of learning optimal behavior from
sub-optimal datasets in the context of goal-conditioned offline reinforcement
learning. To do so, we propose a novel way of approximating the optimal value
function for goal-conditioned offline RL problems under sparse rewards,
symmetric and deterministic actions. We study a property for representations to
recover optimality and propose a new optimization objective that leads to such
property. We use the learned value function to guide the learning of a policy
in an actor-critic fashion, a method we name MetricRL. Experimentally, we show
how our method consistently outperforms other offline RL baselines in learning
from sub-optimal offline datasets. Moreover, we show the effectiveness of our
method in dealing with high-dimensional observations and in multi-goal tasks.
- Abstract(参考訳): 本研究では,目標条件付きオフライン強化学習の文脈における最適データセットからの最適行動学習の問題に対処する。
そこで本研究では,目標条件付きオフラインrl問題の最適値関数を分散報酬,対称的,決定論的に近似する新しい手法を提案する。
最適性を回復するための表現の特性を考察し,その性質を導く新しい最適化目標を提案する。
我々は、学習値関数を用いて、アクター-批判的な方法でポリシーの学習をガイドする。
実験により,本手法が準最適オフラインデータセットからの学習において,他のオフラインRLベースラインを一貫して上回ることを示す。
さらに,本手法が高次元観測や多目的タスクにおいて有効であることを示す。
関連論文リスト
- From Function to Distribution Modeling: A PAC-Generative Approach to
Offline Optimization [30.689032197123755]
本稿では、オフラインデータ例の集合を除いて目的関数が不明なオフライン最適化の問題について考察する。
未知の目的関数を学習して最適化するのではなく、より直感的で直接的な視点で、最適化は生成モデルからサンプリングするプロセスと考えることができる。
論文 参考訳(メタデータ) (2024-01-04T01:32:50Z) - Beyond Uniform Sampling: Offline Reinforcement Learning with Imbalanced
Datasets [53.8218145723718]
オフラインポリシー学習は、既存のトラジェクトリのデータセットを使用して、追加データを収集せずに意思決定ポリシーを学ぶことを目的としている。
我々は、データセットが最適下軌道に支配されている場合、最先端のオフラインRLアルゴリズムはデータセットにおけるトラジェクトリの戻り平均よりも大幅に改善されないことを論じる。
本稿では,標準オフラインRLアルゴリズムにおいて,サンプリング戦略の実現と,プラグイン・アンド・プレイモジュールとして使用できるアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-10-06T17:58:14Z) - Pessimistic Nonlinear Least-Squares Value Iteration for Offline
Reinforcement Learning [58.962016644796]
非線形関数近似を用いたオフラインRLにおけるPNLSVI(Pessimistic Least-Square Value Iteration)と呼ばれるオラクル効率のアルゴリズムを提案する。
本アルゴリズムは,関数クラスの複雑性に強く依存する後悔境界を享受し,線形関数近似に特化して最小限のインスタンス依存後悔を実現する。
論文 参考訳(メタデータ) (2023-10-02T17:42:01Z) - Optimal Goal-Reaching Reinforcement Learning via Quasimetric Learning [73.80728148866906]
準メトリック強化学習(QRL)は、準メトリックモデルを用いて最適な値関数を学習する新しいRL法である。
オフラインおよびオンラインの目標達成ベンチマークでは、QRLはサンプル効率とパフォーマンスが改善されている。
論文 参考訳(メタデータ) (2023-04-03T17:59:58Z) - Efficient Online Reinforcement Learning with Offline Data [78.92501185886569]
オンライン学習時にオフラインデータを活用するために、既存のオフライン手法を単純に適用できることを示します。
私たちはこれらの設計選択を広範囲に改善し、パフォーマンスに最も影響を与える重要な要因を示します。
これらのシンプルなレコメンデーションの正しい適用によって、既存のアプローチよりも$mathbf2.5times$の改善が得られます。
論文 参考訳(メタデータ) (2023-02-06T17:30:22Z) - Benchmarks and Algorithms for Offline Preference-Based Reward Learning [41.676208473752425]
本稿では、オフラインデータセットを用いて、プールベースのアクティブラーニングによる嗜好クエリを作成するアプローチを提案する。
提案手法では,報酬学習や政策最適化のステップに対して,実際の物理ロールアウトや正確なシミュレータを必要としない。
論文 参考訳(メタデータ) (2023-01-03T23:52:16Z) - Offline Reinforcement Learning with Value-based Episodic Memory [19.12430651038357]
オフライン強化学習(RL)は、実世界の問題にRLを適用することを約束している。
本稿では,最適値学習と行動クローニングを円滑に補間する予測型Vラーニング(EVL)を提案する。
本稿では,VEM(Value-based Episodic Memory)と呼ばれる新しいオフライン手法を提案する。
論文 参考訳(メタデータ) (2021-10-19T08:20:11Z) - Offline Preference-Based Apprenticeship Learning [11.21888613165599]
我々は、オフラインデータセットを使用して、自律システムが人間から学び、適応し、協力しようとするときに直面する2つの課題に対処する方法について研究する。
まず、オフラインデータセットを使用して、プールベースのアクティブな嗜好学習を通じて、人間の報酬関数を効率的に推測する。
第2に、この学習報酬関数から、推定された人間の意図に基づいてポリシーを最適化するオフライン強化学習を行う。
論文 参考訳(メタデータ) (2021-07-20T04:15:52Z) - Behavioral Priors and Dynamics Models: Improving Performance and Domain
Transfer in Offline RL [82.93243616342275]
適応行動優先型オフラインモデルに基づくRL(Adaptive Behavioral Priors:MABE)を導入する。
MABEは、ドメイン内の一般化をサポートする動的モデルと、ドメイン間の一般化をサポートする振る舞いの事前が相補的であることの発見に基づいている。
クロスドメインの一般化を必要とする実験では、MABEが先行手法より優れていることが判明した。
論文 参考訳(メタデータ) (2021-06-16T20:48:49Z) - Provably Correct Optimization and Exploration with Non-linear Policies [65.60853260886516]
ENIACは、批評家の非線形関数近似を可能にするアクター批判手法である。
特定の仮定の下では、学習者は$o(poly(d))$の探索ラウンドで最適に近い方針を見つける。
我々は,この適応を経験的に評価し,線形手法に触発された前処理よりも優れることを示す。
論文 参考訳(メタデータ) (2021-03-22T03:16:33Z) - Representation Matters: Offline Pretraining for Sequential Decision
Making [27.74988221252854]
本稿では,オフラインデータを逐次意思決定に組み込む手法について考察する。
教師なし学習目標を用いた事前学習は,政策学習アルゴリズムの性能を劇的に向上させることができる。
論文 参考訳(メタデータ) (2021-02-11T02:38:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。