論文の概要: Deep Explainable Relational Reinforcement Learning: A Neuro-Symbolic Approach

• arxiv url: http://arxiv.org/abs/2304.08349v2
• Date: Fri, 14 Jul 2023 07:01:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-17 17:00:05.136478
• Title: Deep Explainable Relational Reinforcement Learning: A Neuro-Symbolic Approach
• Title（参考訳）: 深い説明可能な関係強化学習:ニューロシンボリックアプローチ
• Authors: Rishi Hazra and Luc De Raedt
• Abstract要約: 本稿では,ニューラル世界とシンボリック世界の両方の長所を生かした,説明可能な強化学習(DERRL)を提案する。 DERRLは、シンボリックプランニングからのリレーショナル表現と制約を深層学習と組み合わせて解釈可能なポリシーを抽出する。 これらのポリシーは、それぞれの決定(あるいは行動)がどのように到着するかを説明する論理的なルールの形式です。
• 参考スコア（独自算出の注目度）: 18.38878415765146
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite numerous successes in Deep Reinforcement Learning (DRL), the learned policies are not interpretable. Moreover, since DRL does not exploit symbolic relational representations, it has difficulties in coping with structural changes in its environment (such as increasing the number of objects). Relational Reinforcement Learning, on the other hand, inherits the relational representations from symbolic planning to learn reusable policies. However, it has so far been unable to scale up and exploit the power of deep neural networks. We propose Deep Explainable Relational Reinforcement Learning (DERRL), a framework that exploits the best of both -- neural and symbolic worlds. By resorting to a neuro-symbolic approach, DERRL combines relational representations and constraints from symbolic planning with deep learning to extract interpretable policies. These policies are in the form of logical rules that explain how each decision (or action) is arrived at. Through several experiments, in setups like the Countdown Game, Blocks World, Gridworld, and Traffic, we show that the policies learned by DERRL can be applied to different configurations and contexts, hence generalizing to environmental modifications.
• Abstract（参考訳）: 深層強化学習(DRL)の成功にもかかわらず、学習方針は解釈できない。 さらに、drlはシンボリックリレーショナル表現を利用していないため、その環境の構造の変化(オブジェクト数の増加など)に対処するのが困難である。 一方、リレーショナル強化学習は、再利用可能な政策を学ぶためのシンボリックプランニングからリレーショナル表現を継承する。 しかし、これまでのところ、ディープニューラルネットワークのパワーをスケールアップして活用することはできない。 本稿では,ニューラル世界とシンボリック世界の両方を最大限に活用するフレームワークであるDeep Explainable Relational Reinforcement Learning (DERRL)を提案する。 ニューロシンボリックアプローチを利用することで、DERRLはリレーショナル表現とシンボリックプランニングからの制約を深層学習と組み合わせ、解釈可能なポリシーを抽出する。 これらのポリシーは、各決定(または行動)がどのように到達されるかを説明する論理規則の形式である。 いくつかの実験を通じて、Countdown Game、Blocks World、Gridworld、Trafficといった設定において、DERRLが学んだポリシーが異なる構成や状況に適用できることを示し、それによって環境修正が一般化される。

関連論文リスト

• BlendRL: A Framework for Merging Symbolic and Neural Policy Learning [23.854830898003726]
  BlendRLは、論理とニューラルポリシーの混合を使用するRLエージェントに両方のパラダイムを統合する、ニューラルシンボリックなRLフレームワークである。 我々は,BlendRLエージェントが標準アタリ環境において,ニューラルベースラインとシンボリックベースラインの両方より優れていることを実証的に実証した。 ニューラルポリシーとシンボリックポリシーの相互作用を分析し、それらのハイブリッド利用がエージェントの制限を克服するのにどのように役立つかを説明する。
  論文  参考訳（メタデータ） (2024-10-15T15:24:20Z)
• End-to-End Neuro-Symbolic Reinforcement Learning with Textual Explanations [15.530907808235945]
  構造化状態と象徴的ポリシーを共同学習するための,ニューロシンボリックな枠組みを提案する。 我々は、GPT-4に学習ポリシーと意思決定に関するテキスト説明を生成するパイプラインを設計する。 我々は,9つのアタリ課題に対するアプローチの有効性を検証するとともに,政策と意思決定に関するGPTによる説明を行う。
  論文  参考訳（メタデータ） (2024-03-19T05:21:20Z)
• What Planning Problems Can A Relational Neural Network Solve? [91.53684831950612]
  本稿では,計画問題のポリシーを表すリレーショナルニューラルネットワークの回路複雑性解析について述べる。 回路幅と深さの増大に関して,計画問題には3つの一般的なクラスが存在することを示す。 また、政策学習のためのニューラルネットワーク設計におけるこの分析の有用性についても解説する。
  論文  参考訳（メタデータ） (2023-12-06T18:47:28Z)
• Symbolic Visual Reinforcement Learning: A Scalable Framework with Object-Level Abstraction and Differentiable Expression Search [63.3745291252038]
  DiffSESは、離散的なシンボルポリシーを発見する新しいシンボリック学習手法である。 生のピクセルレベルの入力の代わりにオブジェクトレベルの抽象化を使用することで、DiffSESはシンボリック表現の単純さとスケーラビリティの利点を活用することができる。 我々の実験は、DiffSESが最先端のシンボルRL法よりもシンプルでスケーラブルなシンボリックポリシーを生成することができることを示した。
  論文  参考訳（メタデータ） (2022-12-30T17:50:54Z)
• Symbolic Distillation for Learned TCP Congestion Control [70.27367981153299]
  TCP渋滞制御は、深層強化学習(RL)アプローチで大きな成功を収めた。 ブラックボックスポリシーは解釈可能性と信頼性に欠けており、しばしば従来のTCPデータパスの外で運用する必要がある。 本稿では,まず深部RLエージェントを訓練し,次にNNポリシーをホワイトボックスの軽量なルールに蒸留する,両世界の長所を達成するための新しい2段階のソリューションを提案する。
  論文  参考訳（メタデータ） (2022-10-24T00:58:16Z)
• Neuro-Symbolic Reinforcement Learning with First-Order Logic [63.003353499732434]
  論理ニューラルネットワークと呼ばれる最近のニューラルシンボリック・フレームワークを用いたテキストベースゲームのための新しいRL手法を提案する。 実験の結果,提案手法を用いたRLトレーニングは,TextWorldベンチマークにおいて,他の最先端のニューロシンボリック手法よりもはるかに高速に収束することがわかった。
  論文  参考訳（メタデータ） (2021-10-21T08:21:49Z)
• pix2rule: End-to-end Neuro-symbolic Rule Learning [84.76439511271711]
  本稿では,画像のオブジェクトへの処理,学習関係,論理規則に関する完全なニューロシンボリックな手法を提案する。 主な貢献は、シンボリックリレーションとルールを抽出できるディープラーニングアーキテクチャにおける差別化可能なレイヤである。 我々のモデルは最先端のシンボリックラーナーを超えてスケールし、ディープリレーショナルニューラルネットワークアーキテクチャよりも優れていることを実証する。
  論文  参考訳（メタデータ） (2021-06-14T15:19:06Z)
• Learning Symbolic Rules for Interpretable Deep Reinforcement Learning [31.29595856800344]
  DRLにシンボリックロジックを導入することにより,ニューラルシンボリック強化学習フレームワークを提案する。 私たちのフレームワークは、最先端のアプローチと比較して、より優れた解釈性と競合するパフォーマンスを示します。
  論文  参考訳（メタデータ） (2021-03-15T09:26:00Z)
• Reinforcement Learning with External Knowledge by using Logical Neural Networks [67.46162586940905]
  論理ニューラルネットワーク(LNN)と呼ばれる最近のニューラルシンボリックフレームワークは、ニューラルネットワークとシンボリックロジックの両方のキープロパティを同時に提供することができる。 外部知識ソースからのモデルフリー強化学習を可能にする統合手法を提案する。
  論文  参考訳（メタデータ） (2021-03-03T12:34:59Z)
• Neurosymbolic Reinforcement Learning with Formally Verified Exploration [21.23874800091344]
  本稿では,連続した状態と行動空間を確実に安全に探索するためのフレームワークであるRevelを紹介する。 確実に安全な深層RLの鍵となる課題は、学習ループ内のニューラルネットワークの繰り返し検証が計算不可能であることだ。 この課題は、近似勾配を持つ一般のニューロシンボリッククラスと、効率的な検証を可能にするシンボリックポリシーのより制限されたクラスという2つのポリシークラスを用いて解決する。
  論文  参考訳（メタデータ） (2020-09-26T14:51:04Z)
• Symbolic Relational Deep Reinforcement Learning based on Graph Neural Networks and Autoregressive Policy Decomposition [0.0]
  我々は、自然にオブジェクト、それらの関係、およびオブジェクト中心のアクションの観点で定義される関係問題における強化学習に焦点を当てる。 本稿では、グラフニューラルネットワークと自己回帰ポリシー分解に基づく深いRLフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-09-25T22:41:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。