論文の概要: Domain Adaptation for Offline Reinforcement Learning with Limited Samples

• arxiv url: http://arxiv.org/abs/2408.12136v2
• Date: Tue, 5 Nov 2024 21:28:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 05:49:00.827451
• Title: Domain Adaptation for Offline Reinforcement Learning with Limited Samples
• Title（参考訳）: 限定サンプルを用いたオフライン強化学習のためのドメイン適応
• Authors: Weiqin Chen, Sandipan Mishra, Santiago Paternain,
• Abstract要約: オフライン強化学習は、静的ターゲットデータセットから効果的なポリシーを学ぶ。 最先端(SOTA)のオフラインRLアルゴリズムが有望であるにもかかわらず、ターゲットデータセットの品質に強く依存している。 本稿では,各データセットに割り当てられた重みがオフラインRLの性能に与える影響を理論的・実験的に検討した最初のフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 2.3674123304219816
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Offline reinforcement learning (RL) learns effective policies from a static target dataset. Despite state-of-the-art (SOTA) offline RL algorithms being promising, they highly rely on the quality of the target dataset. The performance of SOTA algorithms can degrade in scenarios with limited samples in the target dataset, which is often the case in real-world applications. To address this issue, domain adaptation that leverages auxiliary samples from related source datasets (such as simulators) can be beneficial. In this context, determining the optimal way to trade off the source and target datasets remains a critical challenge in offline RL. To the best of our knowledge, this paper proposes the first framework that theoretically and experimentally explores how the weight assigned to each dataset affects the performance of offline RL. We establish the performance bounds and convergence neighborhood of our framework, both of which depend on the selection of the weight. Furthermore, we identify the existence of an optimal weight for balancing the two datasets. All theoretical guarantees and optimal weight depend on the quality of the source dataset and the size of the target dataset. Our empirical results on the well-known Procgen Benchmark substantiate our theoretical contributions.
• Abstract（参考訳）: オフライン強化学習(RL)は、静的ターゲットデータセットから効果的なポリシーを学習する。 最先端(SOTA)のオフラインRLアルゴリズムが有望であるにもかかわらず、ターゲットデータセットの品質に強く依存している。 SOTAアルゴリズムの性能は、ターゲットデータセット内の限られたサンプルを持つシナリオで劣化する可能性がある。 この問題に対処するために、関連するソースデータセット(シミュレータなど)の補助的なサンプルを活用するドメイン適応が有用である。 この文脈では、ソースとターゲットデータセットをトレードオフする最適な方法を決定することは、オフラインRLにおいて重要な課題である。 本稿では,各データセットに割り当てられた重みがオフラインRLの性能に与える影響を理論的,実験的に検討する最初のフレームワークを提案する。 我々はフレームワークの性能境界と収束近傍を確立し、どちらもウェイトの選択に依存する。 さらに,2つのデータセットのバランスをとるために最適な重みが存在することも確認した。 すべての理論的保証と最適なウェイトは、ソースデータセットの品質とターゲットデータセットのサイズに依存する。 有名な Procgen Benchmark に関する実証的な結果は、我々の理論的な貢献を裏付けるものである。

関連論文リスト

• Reward-Augmented Data Enhances Direct Preference Alignment of LLMs [63.32585910975191]
  報奨条件付き大言語モデル(LLM)を導入し、データセット内の応答品質のスペクトル全体から学習する。 そこで本稿では,品質スコアに優先ペアを条件付け,報酬を加算したデータセットを構築する,効果的なデータレバーベリング手法を提案する。
  論文  参考訳（メタデータ） (2024-10-10T16:01:51Z)
• D5RL: Diverse Datasets for Data-Driven Deep Reinforcement Learning [99.33607114541861]
  ロボット操作と移動環境の現実的なシミュレーションに焦点を当てたオフラインRLのための新しいベンチマークを提案する。 提案するベンチマークでは、状態ベースドメインと画像ベースドメインを対象とし、オフラインRLとオンライン微調整評価の両方をサポートしている。
  論文  参考訳（メタデータ） (2024-08-15T22:27:00Z)
• Pessimistic Value Iteration for Multi-Task Data Sharing in Offline Reinforcement Learning [116.87367592920171]
  オフライン強化学習(RL)は、固定データセットからタスク固有のポリシーを学ぶ上で有望な結果を示している。 特定のタスクのデータセットが制限されているシナリオでは、他のタスクからのデータセットでオフラインのRLを改善することが自然なアプローチである。 データ選択なしでデータセット全体を共有する不確実性に基づくマルチタスクデータ共有(MTDS)手法を提案する。
  論文  参考訳（メタデータ） (2024-04-30T08:16:52Z)
• Beyond Uniform Sampling: Offline Reinforcement Learning with Imbalanced Datasets [53.8218145723718]
  オフラインポリシー学習は、既存のトラジェクトリのデータセットを使用して、追加データを収集せずに意思決定ポリシーを学ぶことを目的としている。 我々は、データセットが最適下軌道に支配されている場合、最先端のオフラインRLアルゴリズムはデータセットにおけるトラジェクトリの戻り平均よりも大幅に改善されないことを論じる。 本稿では,標準オフラインRLアルゴリズムにおいて,サンプリング戦略の実現と,プラグイン・アンド・プレイモジュールとして使用できるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-06T17:58:14Z)
• Offline Policy Evaluation for Reinforcement Learning with Adaptively Collected Data [28.445166861907495]
  我々は,TMISオフライン政策評価(OPE)推定器の理論を開発する。 我々は、その推定誤差に基づいて高確率、インスタンス依存境界を導出する。 また,適応環境での極小最適オフライン学習を復元する。
  論文  参考訳（メタデータ） (2023-06-24T21:48:28Z)
• Harnessing Mixed Offline Reinforcement Learning Datasets via Trajectory Weighting [29.21380944341589]
  我々は、最先端のオフラインRLアルゴリズムが低リターントラジェクトリによって過剰に抑制され、トラジェクトリを最大限活用できないことを示す。 この再加重サンプリング戦略は、任意のオフラインRLアルゴリズムと組み合わせることができる。 私たちは、CQL、IQL、TD3+BCがこの潜在的なポリシー改善の一部しか達成していないのに対して、これらの同じアルゴリズムがデータセットを完全に活用していることを実証的に示しています。
  論文  参考訳（メタデータ） (2023-06-22T17:58:02Z)
• Understanding the Effects of Dataset Characteristics on Offline Reinforcement Learning [4.819336169151637]
  オフライン強化学習は、環境と対話することなく、特定のデータセットからポリシーを学ぶことができる。 個別動作環境におけるオフラインRLアルゴリズムの性能にデータセット特性がどう影響するかを示す。 高いTQを持つデータセットの場合、Behavior Cloningは最高のオフラインRLアルゴリズムよりも優れ、あるいは同等に動作する。
  論文  参考訳（メタデータ） (2021-11-08T18:48:43Z)
• Behavioral Priors and Dynamics Models: Improving Performance and Domain Transfer in Offline RL [82.93243616342275]
  適応行動優先型オフラインモデルに基づくRL(Adaptive Behavioral Priors:MABE)を導入する。 MABEは、ドメイン内の一般化をサポートする動的モデルと、ドメイン間の一般化をサポートする振る舞いの事前が相補的であることの発見に基づいている。 クロスドメインの一般化を必要とする実験では、MABEが先行手法より優れていることが判明した。
  論文  参考訳（メタデータ） (2021-06-16T20:48:49Z)
• D4RL: Datasets for Deep Data-Driven Reinforcement Learning [119.49182500071288]
  オフラインRLのリアルタイムアプリケーションに関連するデータセットのキープロパティによってガイドされるオフライン設定用に特別に設計されたベンチマークを紹介する。 部分的に訓練されたRLエージェントによって収集された単純なベンチマークタスクやデータを超えて、既存のアルゴリズムの重要かつ未承認な欠陥を明らかにする。
  論文  参考訳（メタデータ） (2020-04-15T17:18:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。