論文の概要: CARL: A Benchmark for Contextual and Adaptive Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2110.02102v1
• Date: Tue, 5 Oct 2021 15:04:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-06 14:06:19.527226
• Title: CARL: A Benchmark for Contextual and Adaptive Reinforcement Learning
• Title（参考訳）: carl: コンテキストと適応的な強化学習のためのベンチマーク
• Authors: Carolin Benjamins, Theresa Eimer, Frederik Schubert, Andr\'e Biedenkapp, Bodo Rosenhahn, Frank Hutter, Marius Lindauer
• Abstract要約: 本稿では、文脈RL問題に拡張されたよく知られたRL環境の集合であるCARLについて述べる。 政策学習から状態の表現学習と文脈を分離することで、より一般化が促進されるという最初の証拠を提供する。
• 参考スコア（独自算出の注目度）: 45.52724876199729
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While Reinforcement Learning has made great strides towards solving ever more complicated tasks, many algorithms are still brittle to even slight changes in their environment. This is a limiting factor for real-world applications of RL. Although the research community continuously aims at improving both robustness and generalization of RL algorithms, unfortunately it still lacks an open-source set of well-defined benchmark problems based on a consistent theoretical framework, which allows comparing different approaches in a fair, reliable and reproducibleway. To fill this gap, we propose CARL, a collection of well-known RL environments extended to contextual RL problems to study generalization. We show the urgent need of such benchmarks by demonstrating that even simple toy environments become challenging for commonly used approaches if different contextual instances of this task have to be considered. Furthermore, CARL allows us to provide first evidence that disentangling representation learning of the states from the policy learning with the context facilitates better generalization. By providing variations of diverse benchmarks from classic control, physical simulations, games and a real-world application of RNA design, CARL will allow the community to derive many more such insights on a solid empirical foundation.
• Abstract（参考訳）: 強化学習は、これまで以上に複雑なタスクを解決する上で大きな進歩を遂げてきたが、多くのアルゴリズムは、環境のわずかな変化でさえも脆弱である。 これは実世界のRL応用の制限因子である。 研究コミュニティは、RLアルゴリズムの堅牢性と一般化の両方の改善を継続的に目標としているが、残念なことに、一貫性のある理論的なフレームワークに基づいた、明確なベンチマーク問題のオープンソースセットはいまだに欠けている。 このギャップを埋めるために、一般化を研究するためにコンテキストRL問題に拡張されたよく知られたRL環境の集合であるCARLを提案する。 我々は,このタスクの異なるコンテキストインスタンスを考慮しなければならない場合,汎用的なアプローチでは,単純な玩具環境でさえも困難になることを示すことで,このようなベンチマークを緊急に必要とすることを示す。 さらに、CARLは、政策学習から状態の表現学習を分離することで、より一般化しやすいことを示す最初の証拠を提供することができる。 古典的な制御、物理シミュレーション、ゲーム、RNA設計の現実的な応用から様々なベンチマークを提供することで、CARLはコミュニティがしっかりとした経験的基礎に関する多くの知見を導き出すことができる。

関連論文リスト

• Multi-Agent Environments for Vehicle Routing Problems [1.0179489519625304]
  本稿では,従来の車両ルーティング問題をシミュレートするマルチエージェント環境からなるライブラリを提案する。 PyTorch上に構築されたこのライブラリは、新しいルーティング問題のカスタマイズと導入を容易にする、柔軟なモジュラーアーキテクチャ設計を提供する。
  論文  参考訳（メタデータ） (2024-11-21T18:46:23Z)
• Towards Sample-Efficiency and Generalization of Transfer and Inverse Reinforcement Learning: A Comprehensive Literature Review [50.67937325077047]
  本稿では,転送および逆強化学習(T-IRL)によるRLアルゴリズムのサンプル効率と一般化を実現するための総合的なレビューを行う。 以上の結果から,最近の研究成果の大部分は,人間のループとシム・トゥ・リアル戦略を活用することで,上記の課題に対処していることが示唆された。 IRL構造の下では、経験の少ない移行と、そのようなフレームワークのマルチエージェントおよびマルチインテンション問題への拡張を必要とするトレーニングスキームが近年研究者の優先事項となっている。
  論文  参考訳（メタデータ） (2024-11-15T15:18:57Z)
• Zero-Sum Positional Differential Games as a Framework for Robust Reinforcement Learning: Deep Q-Learning Approach [2.3020018305241337]
  本稿では、位置微分ゲーム理論におけるRRL問題を考慮した最初の提案である。 すなわち、イザックの条件の下では、同じQ-函数をミニマックス方程式とマクシミン・ベルマン方程式の近似解として利用することができる。 本稿ではIssas Deep Q-Networkアルゴリズムについて,他のベースラインRRLやMulti-Agent RLアルゴリズムと比較して,その優位性を示す。
  論文  参考訳（メタデータ） (2024-05-03T12:21:43Z)
• Towards an Information Theoretic Framework of Context-Based Offline Meta-Reinforcement Learning [48.79569442193824]
  我々は,COMRLアルゴリズムが,タスク変数$M$と,その潜在表現$Z$の相互情報目的を,様々な近似境界を実装して最適化していることを示す。 本研究は,COMRL法の情報理論基盤を構築し,強化学習の文脈におけるタスク表現学習の理解を深める。
  論文  参考訳（メタデータ） (2024-02-04T09:58:42Z)
• Blending Imitation and Reinforcement Learning for Robust Policy Improvement [16.588397203235296]
  イミテーション学習(Imitation Learning, IL)は、オークルを用いてサンプル効率を向上させる。 RPIはILの強みを生かし、オラクルクエリを使って探索を容易にする。 RPIは多様なブラックボックスのオラクルから学習し、改善することができる。
  論文  参考訳（メタデータ） (2023-10-03T01:55:54Z)
• ContainerGym: A Real-World Reinforcement Learning Benchmark for Resource Allocation [1.6058099298620425]
  ContainerGymは、実世界の産業資源割り当てタスクにインスパイアされた強化学習のためのベンチマークである。 提案したベンチマークは、実世界のシーケンシャルな意思決定問題でよく遭遇する課題をエンコードする。 様々な難易度の問題をインスタンス化するように構成することもできる。
  論文  参考訳（メタデータ） (2023-07-06T13:44:29Z)
• MARLIN: Soft Actor-Critic based Reinforcement Learning for Congestion Control in Real Networks [63.24965775030673]
  そこで本研究では,汎用的な渋滞制御(CC)アルゴリズムを設計するための新しい強化学習(RL)手法を提案する。 我々の解であるMARLINは、Soft Actor-Criticアルゴリズムを用いてエントロピーとリターンの両方を最大化する。 我々は,MARLINを実ネットワーク上で訓練し,実ミスマッチを克服した。
  論文  参考訳（メタデータ） (2023-02-02T18:27:20Z)
• Contextualize Me -- The Case for Context in Reinforcement Learning [49.794253971446416]
  文脈強化学習(cRL)は、このような変化を原則的にモデル化するためのフレームワークを提供する。 我々は,cRLが有意義なベンチマークや一般化タスクに関する構造化推論を通じて,RLのゼロショット一般化の改善にどのように貢献するかを示す。
  論文  参考訳（メタデータ） (2022-02-09T15:01:59Z)
• Autonomous Reinforcement Learning: Formalism and Benchmarking [106.25788536376007]
  人間や動物が行うような現実世界の具体的学習は、連続的で非エポゾディックな世界にある。 RLの一般的なベンチマークタスクはエピソジックであり、試行錯誤によってエージェントに複数の試行を行う環境がリセットされる。 この相違は、擬似環境向けに開発されたRLアルゴリズムを現実世界のプラットフォーム上で実行しようとする場合、大きな課題となる。
  論文  参考訳（メタデータ） (2021-12-17T16:28:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。