Fugu-MT 論文翻訳(概要): Provable Zero-Shot Generalization in Offline Reinforcement Learning

論文の概要: Provable Zero-Shot Generalization in Offline Reinforcement Learning

arxiv url: http://arxiv.org/abs/2503.07988v1
Date: Tue, 11 Mar 2025 02:44:32 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-12 15:45:22.820202
Title: Provable Zero-Shot Generalization in Offline Reinforcement Learning
Title（参考訳）: オフライン強化学習における確率的ゼロショット一般化
Authors: Zhiyong Wang, Chen Yang, John C. S. Lui, Dongruo Zhou,
Abstract要約: ゼロショット一般化特性(ZSG)を用いたオフライン強化学習について検討する。既存の研究によると、古典的なオフラインRLは新しい、目に見えない環境に一般化できなかった。 PERM と PPPO はともに,ZSG による準最適政策を見出すことができることを示す。
参考スコア（独自算出の注目度）: 55.169228792596805
License:
Abstract: In this work, we study offline reinforcement learning (RL) with zero-shot generalization property (ZSG), where the agent has access to an offline dataset including experiences from different environments, and the goal of the agent is to train a policy over the training environments which performs well on test environments without further interaction. Existing work showed that classical offline RL fails to generalize to new, unseen environments. We propose pessimistic empirical risk minimization (PERM) and pessimistic proximal policy optimization (PPPO), which leverage pessimistic policy evaluation to guide policy learning and enhance generalization. We show that both PERM and PPPO are capable of finding a near-optimal policy with ZSG. Our result serves as a first step in understanding the foundation of the generalization phenomenon in offline reinforcement learning.
Abstract（参考訳）: 本研究では、エージェントが異なる環境からの経験を含むオフラインデータセットにアクセス可能なゼロショット一般化特性(ZSG)を備えたオフライン強化学習(RL)について検討する。既存の研究によると、古典的なオフラインRLは新しい、目に見えない環境に一般化できなかった。本稿では,悲観的リスク最小化 (PERM) と悲観的ポリシー最適化 (PPPO) を提案する。 PERM と PPPO はともに,ZSG による準最適政策を見出すことができることを示す。この結果は,オフライン強化学習における一般化現象の基礎を理解するための第一歩となる。

関連論文リスト

Large Language Model driven Policy Exploration for Recommender Systems [50.70228564385797]
静的ユーザデータに基づいてトレーニングされたオフラインRLポリシは、動的オンライン環境にデプロイされた場合、分散シフトに対して脆弱である。オンラインRLベースのRSも、トレーニングされていないポリシーや不安定なポリシーにユーザをさらけ出すリスクがあるため、運用デプロイメントの課題に直面している。大規模言語モデル(LLM)は、ユーザー目標と事前学習ポリシーをオフラインで模倣する有望なソリューションを提供する。 LLMから抽出したユーザの嗜好を利用した対話型学習ポリシー(iALP)を提案する。
論文参考訳（メタデータ） (2025-01-23T16:37:44Z)
Online Reinforcement Learning in Non-Stationary Context-Driven Environments [12.954992692713898]
非定常環境におけるオンライン強化学習(RL)について検討する。オンラインRLは「破滅的忘れ」 (CF) によってこのような環境において困難である我々は,従来の経験に則った政策出力を固定することでCFと戦うオンラインRLアプローチであるローカル制約政策最適化(LCPO)を提示する。
論文参考訳（メタデータ） (2023-02-04T15:31:19Z)
On the Power of Pre-training for Generalization in RL: Provable Benefits and Hardness [47.09873295916592]
強化学習(RL)の一般化は、目標環境に一般化する訓練中にエージェントを学習することを目的としている。本稿では,RLの一般化を理論的側面から考察する。対象環境との相互作用が許されていない場合、我々は得られる最善策が平均的な意味でほぼ最適であると証明し、この目標を達成するアルゴリズムを設計する。
論文参考訳（メタデータ） (2022-10-19T10:58:24Z)
Offline Reinforcement Learning with Instrumental Variables in Confounded Markov Decision Processes [93.61202366677526]
未測定の共同設立者を対象にオフライン強化学習(RL)について検討した。そこで本稿では, 最適クラスポリシーを見つけるための, 有限サンプルの準最適性を保証した多種多様なポリシー学習手法を提案する。
論文参考訳（メタデータ） (2022-09-18T22:03:55Z)
Model-Based Offline Meta-Reinforcement Learning with Regularization [63.35040401948943]
オフラインのMeta-RLは、これらの課題に対処するための有望なアプローチとして現れています。 MerPOは、効率的なタスク構造推論と情報的メタ政治のためのメタモデルを学ぶ。我々は,MerPOが行動政策とメタ政治の両方に対して,保証された改善を提供することを示す。
論文参考訳（メタデータ） (2022-02-07T04:15:20Z)
Curriculum Offline Imitation Learning [72.1015201041391]
オフラインの強化学習タスクでは、エージェントは、環境とのさらなるインタラクションなしに、事前にコンパイルされたデータセットから学ぶ必要がある。我々は,適応的な近隣政策を模倣する経験的選択戦略を,より高いリターンで活用するテキストカリキュラムオフライン学習(COIL)を提案する。連続制御ベンチマークでは、COILを模倣ベースとRLベースの両方の手法と比較し、混合データセット上で平凡な振る舞いを学ぶことを避けるだけでなく、最先端のオフラインRL手法と競合することを示します。
論文参考訳（メタデータ） (2021-11-03T08:02:48Z)
Multi-Objective SPIBB: Seldonian Offline Policy Improvement with Safety Constraints in Finite MDPs [71.47895794305883]
オフライン強化学習環境における制約下での安全政策改善(SPI)の問題について検討する。本稿では,異なる報酬信号に対するトレードオフを扱うアルゴリズムのユーザの好みを考慮した,このRL設定のためのSPIを提案する。
論文参考訳（メタデータ） (2021-05-31T21:04:21Z)
Instance based Generalization in Reinforcement Learning [24.485597364200824]
部分観測可能なマルコフ決定過程(POMDP)の文脈における政策学習の分析探索戦略とは独立に、再使用したインスタンスは、トレーニング中にエージェントが観察するマルコフダイナミクスに大きな変化をもたらすことを証明している。我々は、データ収集に使用されるコンセンサスポリシーを計算し、インスタンス固有のエクスプロイトを許可しない、特別なポリシーのアンサンブルに対して共有信念表現を訓練することを提案する。
論文参考訳（メタデータ） (2020-11-02T16:19:44Z)
Expert-Supervised Reinforcement Learning for Offline Policy Learning and Evaluation [21.703965401500913]
本稿では,オフライン政策学習のための不確実性定量化手法であるExpert-Supervised RL (ESRL) フレームワークを提案する。具体的には,1)仮説テストによる安全かつ最適なポリシの学習,2)ESRLはアプリケーションコンテキストに合わせて異なるレベルのリスク逆実装を可能にし,3)後続分布を通してESRLのポリシーを解釈する方法を提案する。
論文参考訳（メタデータ） (2020-06-23T17:43:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。