論文の概要: Towards Adapting Reinforcement Learning Agents to New Tasks: Insights from Q-Values

• arxiv url: http://arxiv.org/abs/2407.10335v1
• Date: Sun, 14 Jul 2024 21:28:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-16 18:39:42.549300
• Title: Towards Adapting Reinforcement Learning Agents to New Tasks: Insights from Q-Values
• Title（参考訳）: 強化学習エージェントのタスク適応に向けて:Q値からの考察
• Authors: Ashwin Ramaswamy, Ransalu Senanayake,
• Abstract要約: ポリシー勾配メソッドは、サンプル効率のよい方法でそれらを活用する方法に悩まされる限り、多くのドメインで有用です。 我々は、強化学習におけるDQNのカオス的な性質を探求し、トレーニング時に保持する情報を、異なるタスクにモデルを適用するためにどのように再利用するかを理解した。
• 参考スコア（独自算出の注目度）: 8.694989771294013
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While contemporary reinforcement learning research and applications have embraced policy gradient methods as the panacea of solving learning problems, value-based methods can still be useful in many domains as long as we can wrangle with how to exploit them in a sample efficient way. In this paper, we explore the chaotic nature of DQNs in reinforcement learning, while understanding how the information that they retain when trained can be repurposed for adapting a model to different tasks. We start by designing a simple experiment in which we are able to observe the Q-values for each state and action in an environment. Then we train in eight different ways to explore how these training algorithms affect the way that accurate Q-values are learned (or not learned). We tested the adaptability of each trained model when retrained to accomplish a slightly modified task. We then scaled our setup to test the larger problem of an autonomous vehicle at an unprotected intersection. We observed that the model is able to adapt to new tasks quicker when the base model's Q-value estimates are closer to the true Q-values. The results provide some insights and guidelines into what algorithms are useful for sample efficient task adaptation.
• Abstract（参考訳）: 現代の強化学習研究や応用は、学習問題の解決のパナセアとして政策勾配法を取り入れてきたが、価値に基づく手法は、サンプル効率のよい方法でそれらを活用できる限り、多くの領域で有用である。 本稿では、強化学習におけるDQNのカオス性について検討し、学習時に保持する情報を、異なるタスクにモデルを適用するためにどのように再利用するかを理解する。 まず、環境における各状態と行動のQ値を観察できる簡単な実験を設計することから始めます。 次に、8つの異なる方法でトレーニングを行い、これらのトレーニングアルゴリズムが正確なQ値の学習方法(あるいは学習しない方法)にどのように影響するかを調べます。 若干修正されたタスクを達成するために再訓練された各トレーニングモデルの適応性をテストした。 そして、安全でない交差点で自動運転車の大きな問題をテストするために、セットアップを拡大しました。 我々は,ベースモデルのQ値推定値が真のQ値に近い場合に,モデルが新しいタスクに迅速に適応できることを観察した。 結果は、どのアルゴリズムが効率的なタスク適応に役に立つかについての洞察とガイドラインを提供する。

関連論文リスト

• Adaptive Rentention & Correction for Continual Learning [114.5656325514408]
  連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。 アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。 ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2024-05-23T08:43:09Z)
• Learning How to Infer Partial MDPs for In-Context Adaptation and Exploration [17.27164535440641]
  後方サンプリングは有望なアプローチであるが、ベイズ推論と動的プログラミングが必要である。 部分モデルが環境から関連する情報を除外したとしても、良い政策につながることは明らかである。
  論文  参考訳（メタデータ） (2023-02-08T18:35:24Z)
• NEVIS'22: A Stream of 100 Tasks Sampled from 30 Years of Computer Vision Research [96.53307645791179]
  我々は,100以上の視覚的分類タスクのストリームからなるベンチマークであるNever-Ending VIsual-classification Stream (NEVIS'22)を紹介する。 分類に制限されているにもかかわらず、OCR、テクスチャ分析、シーン認識など、様々なタスクが生成される。 NEVIS'22は、タスクの規模と多様性のために、現在のシーケンシャルな学習アプローチに対して前例のない課題を提起している。
  論文  参考訳（メタデータ） (2022-11-15T18:57:46Z)
• Optimizing the Long-Term Behaviour of Deep Reinforcement Learning for Pushing and Grasping [0.0]
  長期報酬と政策を学習する2つのシステムの能力について検討する。 Ewerton et al.は、最もすぐれた行動のみを考慮に入れたエージェントを使用して、最高のパフォーマンスを得る。 提案手法により,大規模な割引要因でトレーニングされた場合,モデルが長期動作シーケンスを正確に予測できることを示す。
  論文  参考訳（メタデータ） (2022-04-07T15:02:44Z)
• Rectification-based Knowledge Retention for Continual Learning [49.1447478254131]
  ディープラーニングモデルは、インクリメンタルな学習環境で訓練されたときに壊滅的な忘れに苦しむ。 タスクインクリメンタル学習問題に対処するための新しいアプローチを提案する。これは、インクリメンタルに到着する新しいタスクに関するモデルをトレーニングすることを含む。 私たちのアプローチは、ゼロショットと非ゼロショットタスクインクリメンタルラーニング設定の両方で使用できます。
  論文  参考訳（メタデータ） (2021-03-30T18:11:30Z)
• Parrot: Data-Driven Behavioral Priors for Reinforcement Learning [79.32403825036792]
  そこで本研究では,実験で得られた複雑なインプット・アウトプット関係を事前に学習する手法を提案する。 RLエージェントが新規な動作を試す能力を阻害することなく、この学習が新しいタスクを迅速に学習するのにどのように役立つかを示す。
  論文  参考訳（メタデータ） (2020-11-19T18:47:40Z)
• Few Is Enough: Task-Augmented Active Meta-Learning for Brain Cell Classification [8.998976678920236]
  本稿では,Deep Neural Networks を新しいタスクに効率的に適応する tAsk-auGmented actIve meta-LEarning (AGILE) 手法を提案する。 AGILEはメタ学習アルゴリズムと,初期適応モデルを生成するための新しいタスク拡張手法を組み合わせる。 提案するタスク強化メタラーニングフレームワークは,1段階の段階を経て,新たな細胞タイプを分類することができることを示す。
  論文  参考訳（メタデータ） (2020-07-09T18:03:12Z)
• Sequential Transfer in Reinforcement Learning with a Generative Model [48.40219742217783]
  本稿では,従来の課題から知識を移譲することで,新たな課題を学習する際のサンプルの複雑さを軽減する方法について述べる。 この種の事前知識を使用することのメリットを明確に示すために,PAC境界のサンプル複雑性を導出する。 簡単なシミュレートされた領域における理論的な発見を実証的に検証する。
  論文  参考訳（メタデータ） (2020-07-01T19:53:35Z)
• Meta-Reinforcement Learning Robust to Distributional Shift via Model Identification and Experience Relabeling [126.69933134648541]
  本稿では,テスト時にアウト・オブ・ディストリビューション・タスクに直面した場合に,効率よく外挿できるメタ強化学習アルゴリズムを提案する。 我々の手法は単純な洞察に基づいており、動的モデルが非政治データに効率的かつ一貫して適応可能であることを認識している。
  論文  参考訳（メタデータ） (2020-06-12T13:34:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。