論文の概要: Reinforcement Learning with External Knowledge by using Logical Neural
Networks
- arxiv url: http://arxiv.org/abs/2103.02363v1
- Date: Wed, 3 Mar 2021 12:34:59 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-04 15:02:25.889274
- Title: Reinforcement Learning with External Knowledge by using Logical Neural
Networks
- Title(参考訳): 論理ニューラルネットワークを用いた外部知識による強化学習
- Authors: Daiki Kimura, Subhajit Chaudhury, Akifumi Wachi, Ryosuke Kohita, Asim
Munawar, Michiaki Tatsubori, Alexander Gray
- Abstract要約: 論理ニューラルネットワーク(LNN)と呼ばれる最近のニューラルシンボリックフレームワークは、ニューラルネットワークとシンボリックロジックの両方のキープロパティを同時に提供することができる。
外部知識ソースからのモデルフリー強化学習を可能にする統合手法を提案する。
- 参考スコア(独自算出の注目度): 67.46162586940905
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Conventional deep reinforcement learning methods are sample-inefficient and
usually require a large number of training trials before convergence. Since
such methods operate on an unconstrained action set, they can lead to useless
actions. A recent neuro-symbolic framework called the Logical Neural Networks
(LNNs) can simultaneously provide key-properties of both neural networks and
symbolic logic. The LNNs functions as an end-to-end differentiable network that
minimizes a novel contradiction loss to learn interpretable rules. In this
paper, we utilize LNNs to define an inference graph using basic logical
operations, such as AND and NOT, for faster convergence in reinforcement
learning. Specifically, we propose an integrated method that enables model-free
reinforcement learning from external knowledge sources in an LNNs-based logical
constrained framework such as action shielding and guide. Our results
empirically demonstrate that our method converges faster compared to a
model-free reinforcement learning method that doesn't have such logical
constraints.
- Abstract(参考訳): 従来の深層強化学習法はサンプル非効率であり、収束する前に多くの訓練試験が必要となる。
このようなメソッドは制約のないアクションセットで動作するため、無駄なアクションにつながる可能性がある。
論理ニューラルネットワーク(LNN)と呼ばれる最近のニューラルシンボリックフレームワークは、ニューラルネットワークとシンボリックロジックの両方のキープロパティを同時に提供することができる。
LNNは、解釈可能なルールを学ぶための新しい矛盾損失を最小限に抑えるエンドツーエンドの差別化可能なネットワークとして機能します。
本稿では,LNNを用いて AND や NOT といった基本的な論理演算を用いて推論グラフを定義し,強化学習の収束を高速化する。
具体的には、アクションシールドやガイドなどのLNNsベースの論理制約フレームワークで、外部の知識ソースからモデルフリーで強化学習を可能にする統合手法を提案する。
その結果,このような論理的制約を持たないモデルレス強化学習法と比較して,本手法が高速に収束することが実証された。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切
の責任を負いません。