Fugu-MT 論文翻訳(概要): Reinforcement Learning with External Knowledge by using Logical Neural Networks

論文の概要: Reinforcement Learning with External Knowledge by using Logical Neural Networks

arxiv url: http://arxiv.org/abs/2103.02363v1
Date: Wed, 3 Mar 2021 12:34:59 GMT
ステータス: 処理完了
システム内更新日: 2021-03-04 15:02:25.889274
Title: Reinforcement Learning with External Knowledge by using Logical Neural Networks
Title（参考訳）: 論理ニューラルネットワークを用いた外部知識による強化学習
Authors: Daiki Kimura, Subhajit Chaudhury, Akifumi Wachi, Ryosuke Kohita, Asim Munawar, Michiaki Tatsubori, Alexander Gray
Abstract要約: 論理ニューラルネットワーク(LNN)と呼ばれる最近のニューラルシンボリックフレームワークは、ニューラルネットワークとシンボリックロジックの両方のキープロパティを同時に提供することができる。外部知識ソースからのモデルフリー強化学習を可能にする統合手法を提案する。
参考スコア（独自算出の注目度）: 67.46162586940905
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Conventional deep reinforcement learning methods are sample-inefficient and usually require a large number of training trials before convergence. Since such methods operate on an unconstrained action set, they can lead to useless actions. A recent neuro-symbolic framework called the Logical Neural Networks (LNNs) can simultaneously provide key-properties of both neural networks and symbolic logic. The LNNs functions as an end-to-end differentiable network that minimizes a novel contradiction loss to learn interpretable rules. In this paper, we utilize LNNs to define an inference graph using basic logical operations, such as AND and NOT, for faster convergence in reinforcement learning. Specifically, we propose an integrated method that enables model-free reinforcement learning from external knowledge sources in an LNNs-based logical constrained framework such as action shielding and guide. Our results empirically demonstrate that our method converges faster compared to a model-free reinforcement learning method that doesn't have such logical constraints.
Abstract（参考訳）: 従来の深層強化学習法はサンプル非効率であり、収束する前に多くの訓練試験が必要となる。このようなメソッドは制約のないアクションセットで動作するため、無駄なアクションにつながる可能性がある。論理ニューラルネットワーク(LNN)と呼ばれる最近のニューラルシンボリックフレームワークは、ニューラルネットワークとシンボリックロジックの両方のキープロパティを同時に提供することができる。 LNNは、解釈可能なルールを学ぶための新しい矛盾損失を最小限に抑えるエンドツーエンドの差別化可能なネットワークとして機能します。本稿では,LNNを用いて AND や NOT といった基本的な論理演算を用いて推論グラフを定義し,強化学習の収束を高速化する。具体的には、アクションシールドやガイドなどのLNNsベースの論理制約フレームワークで、外部の知識ソースからモデルフリーで強化学習を可能にする統合手法を提案する。その結果,このような論理的制約を持たないモデルレス強化学習法と比較して,本手法が高速に収束することが実証された。