論文の概要: Augmented Modular Reinforcement Learning based on Heterogeneous
Knowledge
- arxiv url: http://arxiv.org/abs/2306.01158v1
- Date: Thu, 1 Jun 2023 21:31:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-05 17:44:23.264901
- Title: Augmented Modular Reinforcement Learning based on Heterogeneous
Knowledge
- Title(参考訳): 不均一知識に基づく拡張型モジュール強化学習
- Authors: Lorenz Wolf, Mirco Musolesi
- Abstract要約: これらの制約に対処するため、AMRL(Augmented Modular Reinforcement Learning)を提案する。
この新しいフレームワークでは、調停器を使用して異種モジュールを選択し、異なるタイプの知識をシームレスに組み込む。
従来のモジュールRLを異種知識で拡張することで実現可能な性能改善を実証する。
- 参考スコア(独自算出の注目度): 2.5426469613007012
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In order to mitigate some of the inefficiencies of Reinforcement Learning
(RL), modular approaches composing different decision-making policies to derive
agents capable of performing a variety of tasks have been proposed. The modules
at the basis of these architectures are generally reusable, also allowing for
"plug-and-play" integration. However, such solutions still lack the ability to
process and integrate multiple types of information (knowledge), such as rules,
sub-goals, and skills. We propose Augmented Modular Reinforcement Learning
(AMRL) to address these limitations. This new framework uses an arbitrator to
select heterogeneous modules and seamlessly incorporate different types of
knowledge. Additionally, we introduce a variation of the selection mechanism,
namely the Memory-Augmented Arbitrator, which adds the capability of exploiting
temporal information. We evaluate the proposed mechanisms on established as
well as new environments and benchmark them against prominent deep RL
algorithms. Our results demonstrate the performance improvements that can be
achieved by augmenting traditional modular RL with other forms of heterogeneous
knowledge.
- Abstract(参考訳): 強化学習(rl)の非効率を緩和するために,様々なタスクを遂行できるエージェントを導出するための異なる意思決定方針を構成するモジュラーアプローチが提案されている。
これらのアーキテクチャに基づくモジュールは一般的に再利用可能なもので、"プラグ・アンド・プレイ"統合も可能である。
しかし、そのようなソリューションにはルール、サブゴール、スキルといった複数の種類の情報(知識)を処理し統合する能力が欠けている。
これらの制約に対処するため、AMRL(Augmented Modular Reinforcement Learning)を提案する。
この新しいフレームワークは、仲裁器を使って異種モジュールを選択し、異なるタイプの知識をシームレスに組み込む。
さらに,選択機構の変種,すなわち,時間情報を利用する能力を付加したメモリ提示型調停器を導入する。
提案手法の確立と新しい環境の評価を行い,それらを深部RLアルゴリズムと比較した。
この結果から, 従来のモジュールRLを異種知識で拡張することにより, 性能改善を実現することができた。
関連論文リスト
- Self-Supervised Representation Learning with Meta Comprehensive
Regularization [11.387994024747842]
既存の自己管理フレームワークに組み込まれたCompMod with Meta Comprehensive Regularization (MCR)というモジュールを導入する。
提案したモデルを双方向最適化機構により更新し,包括的特徴を捉える。
本稿では,情報理論と因果対実的視点から提案手法の理論的支援を行う。
論文 参考訳(メタデータ) (2024-03-03T15:53:48Z) - A Comprehensive Study of Knowledge Editing for Large Language Models [83.73538305784763]
大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。
本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。
我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
論文 参考訳(メタデータ) (2024-01-02T16:54:58Z) - Promoting Generalization for Exact Solvers via Adversarial Instance
Augmentation [62.738582127114704]
Adarは、模倣学習ベース(ILベース)と強化学習ベース(RLベース)の両方の一般化を理解し、改善するためのフレームワークである。
論文 参考訳(メタデータ) (2023-10-22T03:15:36Z) - Decision Stacks: Flexible Reinforcement Learning via Modular Generative
Models [37.79386205079626]
Decision Stacksは、ゴール条件付きポリシーエージェントを3つの生成モジュールに分解する生成フレームワークである。
これらのモジュールは、教師の強制によって並列に学習できる独立した生成モデルを通じて、観察、報酬、行動の時間的進化をシミュレートする。
我々のフレームワークは、アーキテクチャバイアス、最適化目標とダイナミクス、ドメイン間の転送可能性、推論速度といった重要な要素を考慮するために、個々のモジュールを設計する際の表現性と柔軟性の両方を保証します。
論文 参考訳(メタデータ) (2023-06-09T20:52:16Z) - Modular Deep Learning [120.36599591042908]
トランスファーラーニングは近年、機械学習の主要なパラダイムとなっている。
負の干渉を伴わずに複数のタスクを専門とするモデルを開発する方法はまだ不明である。
これらの課題に対する有望な解決策として、モジュール型ディープラーニングが登場した。
論文 参考訳(メタデータ) (2023-02-22T18:11:25Z) - Weakly Supervised Semantic Segmentation via Alternative Self-Dual
Teaching [82.71578668091914]
本稿では,分類とマスク・リファインメント・コンポーネントを統合された深層モデルに組み込む,コンパクトな学習フレームワークを確立する。
本稿では,高品質な知識相互作用を促進するために,新たな自己双対学習(ASDT)機構を提案する。
論文 参考訳(メタデータ) (2021-12-17T11:56:56Z) - Learning Multi-Objective Curricula for Deep Reinforcement Learning [55.27879754113767]
深部強化学習(DRL)のサンプル効率と最終性能を向上させるために,各種自動カリキュラム学習(ACL)手法が提案されている。
本稿では,多目的だがコヒーレントなカリキュラムを作成するための統合された自動カリキュラム学習フレームワークを提案する。
既存の手設計のカリキュラムパラダイムに加えて,抽象カリキュラムを学習するためのフレキシブルなメモリ機構を設計する。
論文 参考訳(メタデータ) (2021-10-06T19:30:25Z) - Fast and Slow Learning of Recurrent Independent Mechanisms [80.38910637873066]
本稿では,エージェントが必要とする知識の断片と報酬関数が定常的であり,タスク間で再利用可能なトレーニングフレームワークを提案する。
注意機構は、どのモジュールを現在のタスクに適応できるかを動的に選択する。
提案方式のモジュール的側面のメタラーニングは,強化学習装置の高速化に大きく寄与することがわかった。
論文 参考訳(メタデータ) (2021-05-18T17:50:32Z) - A Dual-Memory Architecture for Reinforcement Learning on Neuromorphic
Platforms [3.0616624345970975]
神経型プラットフォーム上で強化学習を行うための柔軟なアーキテクチャを記述します。
このアーキテクチャはIntelのニューロモーフィックプロセッサを用いて実装され、スパイキングダイナミクスを用いて様々なタスクを解くことを実証した。
本研究は,実世界のRL応用のためのエネルギー効率の良い解法を提案し,RL問題に対するニューロモルフィックプラットフォームの適用性を実証する。
論文 参考訳(メタデータ) (2021-03-05T01:54:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。