論文の概要: Automaton-Guided Curriculum Generation for Reinforcement Learning Agents

• arxiv url: http://arxiv.org/abs/2304.05271v1
• Date: Tue, 11 Apr 2023 15:14:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-12 14:24:22.902994
• Title: Automaton-Guided Curriculum Generation for Reinforcement Learning Agents
• Title（参考訳）: 強化学習エージェントのための自動指導カリキュラム生成
• Authors: Yash Shukla, Abhishek Kulkarni, Robert Wright, Alvaro Velasquez, Jivko Sinapov
• Abstract要約: Automaton-Guided Curriculum Learning (AGCL) は、DAG(Directed Acyclic Graphs)の形式で、対象タスクのためのカリキュラムを自動生成する新しい方法である。 AGCL は決定論的有限オートマトン (DFA) の形式で仕様を符号化し、DFA とオブジェクト指向 MDP 表現を使ってカリキュラムを DAG として生成する。 グリッドワールドと物理に基づくシミュレーションロボティクス領域の実験では、AGCLが生み出すカリキュラムが時間と閾値のパフォーマンスを向上させることが示されている。
• 参考スコア（独自算出の注目度）: 14.20447398253189
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite advances in Reinforcement Learning, many sequential decision making tasks remain prohibitively expensive and impractical to learn. Recently, approaches that automatically generate reward functions from logical task specifications have been proposed to mitigate this issue; however, they scale poorly on long-horizon tasks (i.e., tasks where the agent needs to perform a series of correct actions to reach the goal state, considering future transitions while choosing an action). Employing a curriculum (a sequence of increasingly complex tasks) further improves the learning speed of the agent by sequencing intermediate tasks suited to the learning capacity of the agent. However, generating curricula from the logical specification still remains an unsolved problem. To this end, we propose AGCL, Automaton-guided Curriculum Learning, a novel method for automatically generating curricula for the target task in the form of Directed Acyclic Graphs (DAGs). AGCL encodes the specification in the form of a deterministic finite automaton (DFA), and then uses the DFA along with the Object-Oriented MDP (OOMDP) representation to generate a curriculum as a DAG, where the vertices correspond to tasks, and edges correspond to the direction of knowledge transfer. Experiments in gridworld and physics-based simulated robotics domains show that the curricula produced by AGCL achieve improved time-to-threshold performance on a complex sequential decision-making problem relative to state-of-the-art curriculum learning (e.g, teacher-student, self-play) and automaton-guided reinforcement learning baselines (e.g, Q-Learning for Reward Machines). Further, we demonstrate that AGCL performs well even in the presence of noise in the task's OOMDP description, and also when distractor objects are present that are not modeled in the logical specification of the tasks' objectives.
• Abstract（参考訳）: 強化学習の進歩にもかかわらず、多くのシーケンシャルな意思決定タスクは違法に高価であり、学習することができないままである。 近年、論理的なタスク仕様から報酬関数を自動的に生成する手法が提案されているが、長期的なタスク(例えば、エージェントがアクションを選択しながら将来の遷移を考慮しつつ、ゴール状態に到達するために一連の正しいアクションを実行する必要があるタスク)ではスケールが貧弱である。 カリキュラム(ますます複雑なタスクのシーケンス)を採用することで、エージェントの学習能力に適した中間タスクをシークエンスすることで、エージェントの学習速度をさらに向上させる。 しかし、論理仕様からカリキュラムを生成することは未解決の問題のままである。 そこで本研究では,DAG(Directed Acyclic Graphs)という形式で,対象タスクのカリキュラムを自動的に生成する新しい手法であるAGCLを提案する。 agclは決定論的有限オートマトン(dfa)の形式で仕様を符号化し、オブジェクト指向mdp(oomdp)表現とともにdfaを使用して、頂点がタスクに対応し、エッジが知識伝達の方向に対応するdagとしてカリキュラムを生成する。 グリッドワールドと物理に基づくシミュレーションロボティクス領域の実験では、AGCLが生成するカリキュラムは、最先端のカリキュラム学習(例えば教師学生、自己プレイ)や自動指導強化学習ベースライン(例えば、リワードマシンのQ-Learningなど)と比較して、複雑なシーケンシャルな意思決定問題に対して、時間と閾値のパフォーマンスを向上させることが示されている。 さらに,タスクのOOMDP記述にノイズが存在する場合や,タスクの目的の論理的仕様にモデル化されていないイントラクタオブジェクトが存在する場合においても,AGCLの動作が良好であることを示す。

関連論文リスト

• The Foundations of Computational Management: A Systematic Approach to Task Automation for the Integration of Artificial Intelligence into Existing Workflows [55.2480439325792]
  本稿では,タスク自動化の体系的アプローチである計算管理を紹介する。 この記事では、ワークフロー内でAIを実装するプロセスを開始するための、ステップバイステップの手順を3つ紹介する。
  論文  参考訳（メタデータ） (2024-02-07T01:45:14Z)
• Logical Specifications-guided Dynamic Task Sampling for Reinforcement Learning Agents [9.529492371336286]
  強化学習(Reinforcement Learning、RL)は、人工エージェントが多様な振る舞いを学習できるようにするために大きな進歩を遂げてきた。 論理仕様誘導動的タスクサンプリング(LSTS)と呼ばれる新しい手法を提案する。 LSTSは、エージェントを初期状態から目標状態へ誘導するRLポリシーのセットを、ハイレベルなタスク仕様に基づいて学習する。
  論文  参考訳（メタデータ） (2024-02-06T04:00:21Z)
• TaskBench: Benchmarking Large Language Models for Task Automation [82.2932794189585]
  タスク自動化における大規模言語モデル(LLM)の機能を評価するためのフレームワークであるTaskBenchを紹介する。 具体的には、タスクの分解、ツールの選択、パラメータ予測を評価する。 提案手法は, 自動構築と厳密な人的検証を組み合わせることで, 人的評価との整合性を確保する。
  論文  参考訳（メタデータ） (2023-11-30T18:02:44Z)
• CQM: Curriculum Reinforcement Learning with a Quantized World Model [30.21954044028645]
  本稿では,カリキュラムプロセスに不可欠な情報を含む意味目標空間を自動的に定義する新しいカリキュラム手法を提案する。 自動ゴール空間上の最終目標に収束する不確実性と時間的距離対応のカリキュラム目標を提案する。 また、エゴ中心の視覚入力においても、データ効率と性能に関する最先端のカリキュラムRL法よりも、様々な目標達成タスクにおいて優れています。
  論文  参考訳（メタデータ） (2023-10-26T11:50:58Z)
• Semantically Aligned Task Decomposition in Multi-Agent Reinforcement Learning [56.26889258704261]
  我々は,MARL(SAMA)における意味的アライズされたタスク分解という,新しい「不整合」意思決定手法を提案する。 SAMAは、潜在的な目標を示唆し、適切な目標分解とサブゴールアロケーションを提供するとともに、自己回帰に基づくリプランニングを提供する、チェーン・オブ・シントによる事前訓練された言語モデルを促進する。 SAMAは, 最先端のASG法と比較して, 試料効率に有意な優位性を示す。
  論文  参考訳（メタデータ） (2023-05-18T10:37:54Z)
• Continual Object Detection via Prototypical Task Correlation Guided Gating Mechanism [120.1998866178014]
  pRotOtypeal taSk corrElaTion guided gaTingAnism (ROSETTA)による連続物体検出のためのフレキシブルなフレームワークを提案する。 具体的には、統一されたフレームワークはすべてのタスクで共有され、タスク対応ゲートは特定のタスクのサブモデルを自動的に選択するために導入されます。 COCO-VOC、KITTI-Kitchen、VOCのクラスインクリメンタル検出、および4つのタスクの逐次学習の実験により、ROSETTAが最先端のパフォーマンスを得ることが示された。
  論文  参考訳（メタデータ） (2022-05-06T07:31:28Z)
• Inverse Reinforcement Learning of Autonomous Behaviors Encoded as Weighted Finite Automata [18.972270182221262]
  本稿では,論理タスク仕様とコスト関数を実演から学習する手法を提案する。 本稿では,タスクの未知論理構造を近似した重み付き有限オートマトン(WFA)の抽出にスペクトル学習手法を用いる。 高レベルタスクガイダンスのためのWFAと低レベル制御のためのラベル付きマルコフ決定プロセス(L-MDP)との間にある製品を定義し、実証者の行動にマッチするコスト関数を最適化する。
  論文  参考訳（メタデータ） (2021-03-10T06:42:10Z)
• Induction and Exploitation of Subgoal Automata for Reinforcement Learning [75.55324974788475]
  本稿では,Regressed Learning (RL)タスクにおけるサブゴールの学習と活用のためのISAを提案する。 ISAは、タスクのサブゴールによってエッジがラベル付けされたオートマトンであるサブゴールオートマトンを誘導することで強化学習をインターリーブする。 サブゴールオートマトンはまた、タスクの完了を示す状態と、タスクが成功せずに完了したことを示す状態の2つの特別な状態で構成されている。
  論文  参考訳（メタデータ） (2020-09-08T16:42:55Z)
• Adaptive Procedural Task Generation for Hard-Exploration Problems [78.20918366839399]
  ハード探索問題における強化学習を容易にするために,適応手続きタスク生成(APT-Gen)を導入する。 私たちのアプローチの中心は、ブラックボックスの手続き生成モジュールを通じてパラメータ化されたタスク空間からタスクを作成することを学習するタスクジェネレータです。 学習進捗の直接指標がない場合のカリキュラム学習を可能にするために,生成したタスクにおけるエージェントのパフォーマンスと,対象タスクとの類似性をバランスさせてタスクジェネレータを訓練することを提案する。
  論文  参考訳（メタデータ） (2020-07-01T09:38:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。