論文の概要: Knowledge Sharing and Transfer via Centralized Reward Agent for Multi-Task Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2408.10858v1
• Date: Tue, 20 Aug 2024 13:49:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-21 13:25:13.771502
• Title: Knowledge Sharing and Transfer via Centralized Reward Agent for Multi-Task Reinforcement Learning
• Title（参考訳）: マルチタスク強化学習のための集中リワードエージェントによる知識共有と伝達
• Authors: Haozhe Ma, Zhengding Luo, Thanh Vinh Vo, Kuankuan Sima, Tze-Yun Leong,
• Abstract要約: 本稿では,中央報酬エージェント(CRA)と分散政策エージェントを統合したマルチタスク強化学習フレームワークを提案する。 CRAは知識プールとして機能し、様々なタスクから知識を抽出し、学習効率を向上させるために個別の政策エージェントに配布することを目的としている。 提案手法を離散領域と連続領域の両方で検証し,マルチタスク・スパース・リワード設定におけるロバスト性を実証し,未確認タスクに対する効果的な転送性を示す。
• 参考スコア（独自算出の注目度）: 5.242869847419834
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reward shaping is effective in addressing the sparse-reward challenge in reinforcement learning by providing immediate feedback through auxiliary informative rewards. Based on the reward shaping strategy, we propose a novel multi-task reinforcement learning framework, that integrates a centralized reward agent (CRA) and multiple distributed policy agents. The CRA functions as a knowledge pool, which aims to distill knowledge from various tasks and distribute it to individual policy agents to improve learning efficiency. Specifically, the shaped rewards serve as a straightforward metric to encode knowledge. This framework not only enhances knowledge sharing across established tasks but also adapts to new tasks by transferring valuable reward signals. We validate the proposed method on both discrete and continuous domains, demonstrating its robustness in multi-task sparse-reward settings and its effective transferability to unseen tasks.
• Abstract（参考訳）: 補助的な報奨を通じて即時フィードバックを提供することにより、強化学習におけるスパース・リワードの課題に対処するためには、逆整形が有効である。 本稿では、報酬形成戦略に基づいて、集中型報酬エージェント(CRA)と複数の分散ポリシーエージェントを統合した、新しいマルチタスク強化学習フレームワークを提案する。 CRAは知識プールとして機能し、様々なタスクから知識を抽出し、学習効率を向上させるために個別の政策エージェントに配布することを目的としている。 特に、形状の報酬は知識を符号化するための単純な指標として機能する。 このフレームワークは、確立されたタスク間の知識共有を強化するだけでなく、価値ある報酬信号の転送によって新しいタスクに適応する。 提案手法を離散領域と連続領域の両方で検証し,マルチタスク・スパース・リワード設定におけるロバスト性を実証し,未確認タスクに対する効果的な転送性を示す。

関連論文リスト

• From Novice to Expert: LLM Agent Policy Optimization via Step-wise Reinforcement Learning [62.54484062185869]
  本稿では,エージェントの強化学習プロセスの最適化にステップワイド報酬を利用するStepAgentを紹介する。 エージェント反射とポリシー調整を容易にする暗黙の逆・逆の強化学習手法を提案する。
  論文  参考訳（メタデータ） (2024-11-06T10:35:11Z)
• RILe: Reinforced Imitation Learning [60.63173816209543]
  RILeは、学生のパフォーマンスと専門家によるデモンストレーションとの整合性に基づいて、動的報酬関数を学習する新しいトレーナー学生システムである。 RILeは、従来のメソッドがフェールする複雑な環境でのより良いパフォーマンスを実現し、複雑なシミュレートされたロボット移動タスクにおいて、既存のメソッドを2倍の性能で上回る。
  論文  参考訳（メタデータ） (2024-06-12T17:56:31Z)
• Sharing Knowledge in Multi-Task Deep Reinforcement Learning [57.38874587065694]
  マルチタスク強化学習において、ディープニューラルネットワークを効果的に活用するためのタスク間の表現の共有の利点について検討する。 我々は,タスク間で表現を共有するのに便利な条件を強調する理論的保証を提供することで,これを証明している。
  論文  参考訳（メタデータ） (2024-01-17T19:31:21Z)
• Semantically Aligned Task Decomposition in Multi-Agent Reinforcement Learning [56.26889258704261]
  我々は,MARL(SAMA)における意味的アライズされたタスク分解という,新しい「不整合」意思決定手法を提案する。 SAMAは、潜在的な目標を示唆し、適切な目標分解とサブゴールアロケーションを提供するとともに、自己回帰に基づくリプランニングを提供する、チェーン・オブ・シントによる事前訓練された言語モデルを促進する。 SAMAは, 最先端のASG法と比較して, 試料効率に有意な優位性を示す。
  論文  参考訳（メタデータ） (2023-05-18T10:37:54Z)
• Learning Reward Machines in Cooperative Multi-Agent Tasks [75.79805204646428]
  本稿では,MARL(Multi-Agent Reinforcement Learning)に対する新しいアプローチを提案する。 これは、協調的なタスク分解と、サブタスクの構造をコードする報酬機(RM)の学習を組み合わせる。 提案手法は、部分的に観測可能な環境下での報酬の非マルコフ的性質に対処するのに役立つ。
  論文  参考訳（メタデータ） (2023-03-24T15:12:28Z)
• Rethinking Learning Dynamics in RL using Adversarial Networks [79.56118674435844]
  本稿では,スキル埋め込み空間を通じてパラメータ化された,密接に関連するスキルの強化学習のための学習機構を提案する。 本研究の主な貢献は、エントロピー規則化政策勾配定式化の助けを借りて、強化学習のための敵の訓練体制を定式化することである。
  論文  参考訳（メタデータ） (2022-01-27T19:51:09Z)
• Learning from Guided Play: A Scheduled Hierarchical Approach for Improving Exploration in Adversarial Imitation Learning [7.51557557629519]
  本稿では,主課題,複数の補助課題に加えて,専門家による実演を活用するためのフレームワークであるLearning from Guided Play (LfGP)を紹介する。 主なタスクに対する学習効率は、ボトルネック遷移に挑戦して改善され、専門家データがタスク間で再利用可能になり、学習した補助タスクモデルの再利用を通じて学習を移行することが可能になります。
  論文  参考訳（メタデータ） (2021-12-16T14:58:08Z)
• REPAINT: Knowledge Transfer in Deep Reinforcement Learning [13.36223726517518]
  本研究では,深層強化学習における知識伝達のためのRePresentation And IN Transfer (REPAINT)アルゴリズムを提案する。 RePAINTは、オンライン学習において、事前訓練された教師ポリシーの表現を伝達するだけでなく、利点に基づく経験選択アプローチを用いて、オフポリティ学習において教師ポリシーに従って収集された有用なサンプルを転送する。
  論文  参考訳（メタデータ） (2020-11-24T01:18:32Z)
• Reward Machines for Cooperative Multi-Agent Reinforcement Learning [30.84689303706561]
  協調型マルチエージェント強化学習において、エージェントの集合は共通の目標を達成するために共有環境で対話することを学ぶ。 本稿では、報酬関数の構造化表現として使われる単純な機械である報酬機械(RM)を用いて、チームのタスクを符号化する手法を提案する。 マルチエージェント設定におけるRMの新たな解釈は、要求されるチームメイト相互依存性を明示的に符号化し、チームレベルのタスクを個々のエージェントのサブタスクに分解することを可能にする。
  論文  参考訳（メタデータ） (2020-07-03T23:08:14Z)
• Off-Policy Adversarial Inverse Reinforcement Learning [0.0]
  Adversarial Imitation Learning (AIL)は、強化学習(RL)におけるアルゴリズムのクラスである。 本稿では, サンプル効率が良く, 模倣性能も良好であるOff-policy-AIRLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-05-03T16:51:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。