論文の概要: Augmented Modular Reinforcement Learning based on Heterogeneous Knowledge

• arxiv url: http://arxiv.org/abs/2306.01158v1
• Date: Thu, 1 Jun 2023 21:31:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-05 17:44:23.264901
• Title: Augmented Modular Reinforcement Learning based on Heterogeneous Knowledge
• Title（参考訳）: 不均一知識に基づく拡張型モジュール強化学習
• Authors: Lorenz Wolf, Mirco Musolesi
• Abstract要約: これらの制約に対処するため、AMRL(Augmented Modular Reinforcement Learning)を提案する。 この新しいフレームワークでは、調停器を使用して異種モジュールを選択し、異なるタイプの知識をシームレスに組み込む。 従来のモジュールRLを異種知識で拡張することで実現可能な性能改善を実証する。
• 参考スコア（独自算出の注目度）: 2.5426469613007012
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In order to mitigate some of the inefficiencies of Reinforcement Learning (RL), modular approaches composing different decision-making policies to derive agents capable of performing a variety of tasks have been proposed. The modules at the basis of these architectures are generally reusable, also allowing for "plug-and-play" integration. However, such solutions still lack the ability to process and integrate multiple types of information (knowledge), such as rules, sub-goals, and skills. We propose Augmented Modular Reinforcement Learning (AMRL) to address these limitations. This new framework uses an arbitrator to select heterogeneous modules and seamlessly incorporate different types of knowledge. Additionally, we introduce a variation of the selection mechanism, namely the Memory-Augmented Arbitrator, which adds the capability of exploiting temporal information. We evaluate the proposed mechanisms on established as well as new environments and benchmark them against prominent deep RL algorithms. Our results demonstrate the performance improvements that can be achieved by augmenting traditional modular RL with other forms of heterogeneous knowledge.
• Abstract（参考訳）: 強化学習(rl)の非効率を緩和するために,様々なタスクを遂行できるエージェントを導出するための異なる意思決定方針を構成するモジュラーアプローチが提案されている。 これらのアーキテクチャに基づくモジュールは一般的に再利用可能なもので、"プラグ・アンド・プレイ"統合も可能である。 しかし、そのようなソリューションにはルール、サブゴール、スキルといった複数の種類の情報(知識)を処理し統合する能力が欠けている。 これらの制約に対処するため、AMRL(Augmented Modular Reinforcement Learning)を提案する。 この新しいフレームワークは、仲裁器を使って異種モジュールを選択し、異なるタイプの知識をシームレスに組み込む。 さらに,選択機構の変種,すなわち,時間情報を利用する能力を付加したメモリ提示型調停器を導入する。 提案手法の確立と新しい環境の評価を行い,それらを深部RLアルゴリズムと比較した。 この結果から, 従来のモジュールRLを異種知識で拡張することにより, 性能改善を実現することができた。

関連論文リスト

• GIVE: Structured Reasoning with Knowledge Graph Inspired Veracity Extrapolation [108.2008975785364]
  Graph Inspired Veracity Extrapolation (GIVE)は、パラメトリックメモリと非パラメトリックメモリを統合する新しい推論フレームワークである。 本手法は,ゴールド回答検索ではなく,専門家の問題解決に類似した論理的・段階的推論手法を提案する。
  論文  参考訳（メタデータ） (2024-10-11T03:05:06Z)
• Identifiable Causal Representation Learning: Unsupervised, Multi-View, and Multi-Environment [10.814585613336778]
  因果表現学習は、機械学習のコアとなる強みと因果性を組み合わせることを目的としている。 この論文は、CRLが直接の監督なしに何が可能であるかを調査し、理論的基礎に寄与する。
  論文  参考訳（メタデータ） (2024-06-19T09:14:40Z)
• MATTER: Memory-Augmented Transformer Using Heterogeneous Knowledge Sources [12.783393023641505]
  我々は、MATTERと呼ばれる効率的なメモリ拡張変換器を導入する。 MATTERは、固定長のニューラルメモリの形で、非構造化ソース(パラグラフ)と半構造化ソース(QAペア)の両方から読み取る。 提案モデルでは,従来のQAベンチマークにおいて,精度と速度の両面で,既存の効率的な検索強化モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-06-07T06:35:37Z)
• Cross-Training with Multi-View Knowledge Fusion for Heterogenous Federated Learning [13.796783869133531]
  本稿では,多視点情報を活用したクロストレーニング手法により,フェデレーション学習を促進する新しい手法を提案する。 具体的には、FedCTと呼ばれる提案手法には、3つの主要なモジュールが含まれており、整合性を考慮した知識放送モジュールはモデルの割り当て戦略を最適化することを目的としている。 多視点知識誘導表現学習モジュールは、グローバルな視点とローカルな視点の両方から融合した知識を活用し、モデル交換前後の局所的な知識の保存を強化する。 ミックスアップベースの機能拡張モジュールは、豊富な情報を集約して、機能空間の多様性をさらに高める。
  論文  参考訳（メタデータ） (2024-05-30T13:27:30Z)
• MergeNet: Knowledge Migration across Heterogeneous Models, Tasks, and Modalities [72.68829963458408]
  異種モデルのパラメータ空間のギャップを埋めることを学ぶMergeNetを提案する。 MergeNetの中核となるメカニズムはパラメータアダプタにあり、ソースモデルの低ランクパラメータをクエリすることで動作する。 MergeNetは両方のモデルと共に学習され、我々のフレームワークは、現在のステージに関する知識を動的に転送し、適応することができます。
  論文  参考訳（メタデータ） (2024-04-20T08:34:39Z)
• Self-Supervised Representation Learning with Meta Comprehensive Regularization [11.387994024747842]
  既存の自己管理フレームワークに組み込まれたCompMod with Meta Comprehensive Regularization (MCR)というモジュールを導入する。 提案したモデルを双方向最適化機構により更新し,包括的特徴を捉える。 本稿では,情報理論と因果対実的視点から提案手法の理論的支援を行う。
  論文  参考訳（メタデータ） (2024-03-03T15:53:48Z)
• Promoting Generalization for Exact Solvers via Adversarial Instance Augmentation [62.738582127114704]
  Adarは、模倣学習ベース(ILベース)と強化学習ベース(RLベース)の両方の一般化を理解し、改善するためのフレームワークである。
  論文  参考訳（メタデータ） (2023-10-22T03:15:36Z)
• Modular Deep Learning [120.36599591042908]
  トランスファーラーニングは近年、機械学習の主要なパラダイムとなっている。 負の干渉を伴わずに複数のタスクを専門とするモデルを開発する方法はまだ不明である。 これらの課題に対する有望な解決策として、モジュール型ディープラーニングが登場した。
  論文  参考訳（メタデータ） (2023-02-22T18:11:25Z)
• Meta-Causal Feature Learning for Out-of-Distribution Generalization [71.38239243414091]
  本稿では,協調タスク生成モジュール (BTG) とメタ因果特徴学習モジュール (MCFL) を含む,バランス付きメタ因果学習器 (BMCL) を提案する。 BMCLは、分類のためのクラス不変の視覚領域を効果的に識別し、最先端の手法の性能を向上させるための一般的なフレームワークとして機能する。
  論文  参考訳（メタデータ） (2022-08-22T09:07:02Z)
• Is a Modular Architecture Enough? [80.32451720642209]
  我々は、シンプルで既知のモジュラーデータ分散のレンズを通して、共通のモジュラーアーキテクチャを徹底的に評価する。 モジュール化と疎結合のメリットを強調し、モジュール化システムの最適化において直面する課題に関する洞察を明らかにします。
  論文  参考訳（メタデータ） (2022-06-06T16:12:06Z)
• Leveraging class abstraction for commonsense reinforcement learning via residual policy gradient methods [23.199881381599617]
  本稿では,オープンソース知識グラフに存在するサブクラス関係を利用して,特定のオブジェクトを抽象化する手法を提案する。 そこで我々は,クラス階層内の抽象レベルをまたいだ知識を統合可能な残留ポリシー勾配法を開発した。
  論文  参考訳（メタデータ） (2022-01-28T14:03:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。