論文の概要: Heterogeneous Knowledge for Augmented Modular Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2306.01158v2
- Date: Sun, 14 Apr 2024 10:27:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-17 00:17:02.238756
- Title: Heterogeneous Knowledge for Augmented Modular Reinforcement Learning
- Title(参考訳): モジュール強化学習のための不均質な知識
- Authors: Lorenz Wolf, Mirco Musolesi,
- Abstract要約: これらの制約に対処するため、AMRL(Augmented Modular Reinforcement Learning)を提案する。
我々のフレームワークは、セレクタを使用して異種モジュールを結合し、異なる種類の知識表現と処理機構をシームレスに組み込む。
- 参考スコア(独自算出の注目度): 2.8008279194923245
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing modular Reinforcement Learning (RL) architectures are generally based on reusable components, also allowing for ``plug-and-play'' integration. However, these modules are homogeneous in nature - in fact, they essentially provide policies obtained via RL through the maximization of individual reward functions. Consequently, such solutions still lack the ability to integrate and process multiple types of information (i.e., heterogeneous knowledge representations), such as rules, sub-goals, and skills from various sources. In this paper, we discuss several practical examples of heterogeneous knowledge and propose Augmented Modular Reinforcement Learning (AMRL) to address these limitations. Our framework uses a selector to combine heterogeneous modules and seamlessly incorporate different types of knowledge representations and processing mechanisms. Our results demonstrate the performance and efficiency improvements, also in terms of generalization, that can be achieved by augmenting traditional modular RL with heterogeneous knowledge sources and processing mechanisms.
- Abstract(参考訳): 既存のモジュラー強化学習(RL)アーキテクチャは一般に再利用可能なコンポーネントに基づいており、 ``plug-and-play' 統合も可能である。
しかし、これらの加群は本質的に同質であり、実際には、個々の報酬関数の最大化を通じて RL を通じて得られるポリシーを本質的に提供する。
その結果、これらのソリューションには、ルール、サブゴール、様々なソースからのスキルなど、複数の種類の情報(異種知識表現)の統合と処理能力がない。
本稿では、異種知識の実践例をいくつか紹介し、これらの制約に対処するための拡張モジュール強化学習(AMRL)を提案する。
我々のフレームワークは、セレクタを使用して異種モジュールを結合し、異なる種類の知識表現と処理機構をシームレスに組み込む。
本研究は, 従来のモジュールRLを多種多様な知識源と処理機構で拡張することにより, 性能と効率性の向上を, 一般化の観点から示すものである。
関連論文リスト
- MergeNet: Knowledge Migration across Heterogeneous Models, Tasks, and Modalities [75.81899968485203]
異種モデルのパラメータ空間のギャップを埋めることを学ぶMergeNetを提案する。
MergeNetの中核となるメカニズムはパラメータアダプタにあり、ソースモデルの低ランクパラメータをクエリすることで動作する。
MergeNetは両方のモデルと共に学習され、我々のフレームワークは、現在のステージに関する知識を動的に転送し、適応することができます。
論文 参考訳(メタデータ) (2024-04-20T08:34:39Z) - Self-Supervised Representation Learning with Meta Comprehensive
Regularization [11.387994024747842]
既存の自己管理フレームワークに組み込まれたCompMod with Meta Comprehensive Regularization (MCR)というモジュールを導入する。
提案したモデルを双方向最適化機構により更新し,包括的特徴を捉える。
本稿では,情報理論と因果対実的視点から提案手法の理論的支援を行う。
論文 参考訳(メタデータ) (2024-03-03T15:53:48Z) - Promoting Generalization for Exact Solvers via Adversarial Instance
Augmentation [62.738582127114704]
Adarは、模倣学習ベース(ILベース)と強化学習ベース(RLベース)の両方の一般化を理解し、改善するためのフレームワークである。
論文 参考訳(メタデータ) (2023-10-22T03:15:36Z) - Modular Deep Learning [120.36599591042908]
トランスファーラーニングは近年、機械学習の主要なパラダイムとなっている。
負の干渉を伴わずに複数のタスクを専門とするモデルを開発する方法はまだ不明である。
これらの課題に対する有望な解決策として、モジュール型ディープラーニングが登場した。
論文 参考訳(メタデータ) (2023-02-22T18:11:25Z) - Meta-Causal Feature Learning for Out-of-Distribution Generalization [71.38239243414091]
本稿では,協調タスク生成モジュール (BTG) とメタ因果特徴学習モジュール (MCFL) を含む,バランス付きメタ因果学習器 (BMCL) を提案する。
BMCLは、分類のためのクラス不変の視覚領域を効果的に識別し、最先端の手法の性能を向上させるための一般的なフレームワークとして機能する。
論文 参考訳(メタデータ) (2022-08-22T09:07:02Z) - Is a Modular Architecture Enough? [80.32451720642209]
我々は、シンプルで既知のモジュラーデータ分散のレンズを通して、共通のモジュラーアーキテクチャを徹底的に評価する。
モジュール化と疎結合のメリットを強調し、モジュール化システムの最適化において直面する課題に関する洞察を明らかにします。
論文 参考訳(メタデータ) (2022-06-06T16:12:06Z) - Leveraging class abstraction for commonsense reinforcement learning via
residual policy gradient methods [23.199881381599617]
本稿では,オープンソース知識グラフに存在するサブクラス関係を利用して,特定のオブジェクトを抽象化する手法を提案する。
そこで我々は,クラス階層内の抽象レベルをまたいだ知識を統合可能な残留ポリシー勾配法を開発した。
論文 参考訳(メタデータ) (2022-01-28T14:03:49Z) - Fast and Slow Learning of Recurrent Independent Mechanisms [80.38910637873066]
本稿では,エージェントが必要とする知識の断片と報酬関数が定常的であり,タスク間で再利用可能なトレーニングフレームワークを提案する。
注意機構は、どのモジュールを現在のタスクに適応できるかを動的に選択する。
提案方式のモジュール的側面のメタラーニングは,強化学習装置の高速化に大きく寄与することがわかった。
論文 参考訳(メタデータ) (2021-05-18T17:50:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。