論文の概要: Systematic Generalisation through Task Temporal Logic and Deep
Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2006.08767v3
- Date: Mon, 13 Sep 2021 13:12:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 02:03:35.570378
- Title: Systematic Generalisation through Task Temporal Logic and Deep
Reinforcement Learning
- Title(参考訳): タスク時間論理と深層強化学習による体系的一般化
- Authors: Borja G. Le\'on, Murray Shanahan, Francesco Belardinelli
- Abstract要約: 本稿では,記号モジュールがTL仕様を一般化を目標としたDRLエージェントのトレーニングを支援する形式に変換する,ニューロシンボリック・フレームワークを提案する。
異なる環境下での体系的な学習の出現について検討し、新しい命令を一般化する際には、畳み込み層のアーキテクチャが重要であることを示す。
- 参考スコア(独自算出の注目度): 12.136911683449242
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This work introduces a neuro-symbolic agent that combines deep reinforcement
learning (DRL) with temporal logic (TL) to achieve systematic zero-shot, i.e.,
never-seen-before, generalisation of formally specified instructions. In
particular, we present a neuro-symbolic framework where a symbolic module
transforms TL specifications into a form that helps the training of a DRL agent
targeting generalisation, while a neural module learns systematically to solve
the given tasks. We study the emergence of systematic learning in different
settings and find that the architecture of the convolutional layers is key when
generalising to new instructions. We also provide evidence that systematic
learning can emerge with abstract operators such as negation when learning from
a few training examples, which previous research have struggled with.
- Abstract(参考訳): 本研究は、深層強化学習(drl)と時間論理(tl)を組み合わせた神経シンボリックエージェントを導入し、体系的ゼロショット(never-seen-before, generalization of formal specified instructions)を実現する。
特に,記号モジュールがTL仕様を一般化を目標としたDRLエージェントのトレーニングを支援する形で変換し,ニューラルモジュールが与えられた課題を解決するために体系的に学習する,ニューラルシンボリック・フレームワークを提案する。
我々は,異なる環境における系統的学習の出現を考察し,畳み込み層のアーキテクチャが新しい指示に一般化する上で鍵であることを見出した。
また,従来の研究で苦労したいくつかのトレーニング例から学習する場合,否定などの抽象演算子によって体系的な学習が出現する証拠も提示する。
関連論文リスト
- A Neural Rewriting System to Solve Algorithmic Problems [51.485598133884615]
本稿では,特殊なモジュールで構成されたニューラルアーキテクチャとして,書き換えシステムを実装可能であることを示す。
シンボリック・フォーミュラの簡素化を必要とする3種類のアルゴリズムタスクに対して,本モデルの評価を行った。
論文 参考訳(メタデータ) (2024-02-27T10:57:07Z) - Neuro-mimetic Task-free Unsupervised Online Learning with Continual
Self-Organizing Maps [56.827895559823126]
自己組織化マップ(英: Self-organizing map、SOM)は、クラスタリングや次元減少によく用いられるニューラルネットワークモデルである。
低メモリ予算下でのオンライン教師なし学習が可能なSOM(連続SOM)の一般化を提案する。
MNIST, Kuzushiji-MNIST, Fashion-MNISTなどのベンチマークでは, ほぼ2倍の精度が得られた。
論文 参考訳(メタデータ) (2024-02-19T19:11:22Z) - Learning Symbolic Rules over Abstract Meaning Representations for
Textual Reinforcement Learning [63.148199057487226]
本稿では,汎用的な意味一般化とルール誘導システムを組み合わせて,解釈可能なルールをポリシーとして学習するモジュール型 NEuroSymbolic Textual Agent (NESTA) を提案する。
実験の結果,NESTA法は,未確認テストゲームや少ないトレーニングインタラクションから学習することで,深層強化学習技術よりも優れることがわかった。
論文 参考訳(メタデータ) (2023-07-05T23:21:05Z) - Contrastive-Signal-Dependent Plasticity: Forward-Forward Learning of
Spiking Neural Systems [73.18020682258606]
我々は、ニューロンの個々の層が並列に機能する、スパイキングニューロンユニットからなる神経模倣アーキテクチャを開発する。
コントラスト信号依存塑性(CSDP)と呼ばれるイベントベース前方学習の一般化を提案する。
いくつかのパターンデータセットに対する実験結果から,CSDPプロセスは分類と再構成の両方が可能な動的再帰スパイクネットワークのトレーニングに有効であることが示された。
論文 参考訳(メタデータ) (2023-03-30T02:40:28Z) - Generalization Through the Lens of Learning Dynamics [11.009483845261958]
機械学習(ML)システムは、デプロイ時に正確な予測を得るために、新しい状況に一般化することを学ぶ必要がある。
ディープニューラルネットワークの印象的な一般化性能は、理論家たちに悪影響を与えている。
この論文は、教師付き学習タスクと強化学習タスクの両方において、ディープニューラルネットワークの学習ダイナミクスを研究する。
論文 参考訳(メタデータ) (2022-12-11T00:07:24Z) - Hierarchically Structured Task-Agnostic Continual Learning [0.0]
本研究では,連続学習のタスク非依存的な視点を取り入れ,階層的情報理論の最適性原理を考案する。
我々は,情報処理経路の集合を作成することで,忘れを緩和する,Mixture-of-Variational-Experts層と呼ばれるニューラルネットワーク層を提案する。
既存の連続学習アルゴリズムのようにタスク固有の知識を必要としない。
論文 参考訳(メタデータ) (2022-11-14T19:53:15Z) - Iterated learning for emergent systematicity in VQA [3.977144385787228]
ニューラルモジュールネットワークは構成性に対するアーキテクチャ上のバイアスを持っている。
レイアウトとモジュールを共同学習する場合、構成性は自動的に発生せず、適切な構造を示すレイアウトの出現には明示的な圧力が必要です。
本研究では,自然における構成言語の出現に関する認知科学理論である反復学習を用いてこの問題に対処することを提案する。
論文 参考訳(メタデータ) (2021-05-03T18:44:06Z) - Dynamics Generalization via Information Bottleneck in Deep Reinforcement
Learning [90.93035276307239]
本稿では,RLエージェントのより優れた一般化を実現するために,情報理論正則化目標とアニーリングに基づく最適化手法を提案する。
迷路ナビゲーションからロボットタスクまで、さまざまな領域において、我々のアプローチの極端な一般化の利点を実証する。
この研究は、タスク解決のために冗長な情報を徐々に取り除き、RLの一般化を改善するための原則化された方法を提供する。
論文 参考訳(メタデータ) (2020-08-03T02:24:20Z) - Self-organizing Democratized Learning: Towards Large-scale Distributed
Learning Systems [71.14339738190202]
民主化された学習(Dem-AI)は、大規模な分散および民主化された機械学習システムを構築するための基本原則を備えた全体主義的哲学を定めている。
本稿では,Dem-AI哲学にヒントを得た分散学習手法を提案する。
提案アルゴリズムは,従来のFLアルゴリズムと比較して,エージェントにおける学習モデルの一般化性能が向上することを示す。
論文 参考訳(メタデータ) (2020-07-07T08:34:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。