論文の概要: Encoding formulas as deep networks: Reinforcement learning for zero-shot
execution of LTL formulas
- arxiv url: http://arxiv.org/abs/2006.01110v2
- Date: Thu, 6 Aug 2020 16:32:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-26 07:25:01.364819
- Title: Encoding formulas as deep networks: Reinforcement learning for zero-shot
execution of LTL formulas
- Title(参考訳): ディープネットワークとしてのエンコーディング式:ltlのゼロショット実行のための強化学習
- Authors: Yen-Ling Kuo, Boris Katz, Andrei Barbu
- Abstract要約: 入力式を入力とし,満足度を判定する強化学習エージェントを実証する。
入力公式はこれまで見たことがないが、ネットワークはそれらを満足させるためにゼロショットの一般化を実行する。
これはRLエージェントのための新しいマルチタスク学習の形式であり、エージェントは1つの多様なタスクから学習し、新しい多様なタスクセットに一般化する。
- 参考スコア(独自算出の注目度): 21.481360281719006
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We demonstrate a reinforcement learning agent which uses a compositional
recurrent neural network that takes as input an LTL formula and determines
satisfying actions. The input LTL formulas have never been seen before, yet the
network performs zero-shot generalization to satisfy them. This is a novel form
of multi-task learning for RL agents where agents learn from one diverse set of
tasks and generalize to a new set of diverse tasks. The formulation of the
network enables this capacity to generalize. We demonstrate this ability in two
domains. In a symbolic domain, the agent finds a sequence of letters that is
accepted. In a Minecraft-like environment, the agent finds a sequence of
actions that conform to the formula. While prior work could learn to execute
one formula reliably given examples of that formula, we demonstrate how to
encode all formulas reliably. This could form the basis of new multitask agents
that discover sub-tasks and execute them without any additional training, as
well as the agents which follow more complex linguistic commands. The
structures required for this generalization are specific to LTL formulas, which
opens up an interesting theoretical question: what structures are required in
neural networks for zero-shot generalization to different logics?
- Abstract(参考訳): LTL式を入力として、満足な動作を決定する合成再帰ニューラルネットワークを用いた強化学習エージェントを実証する。
入力 ltl の公式はこれまでに見たことがないが、ネットワークはそれらを満たすためにゼロショット一般化を行う。
これはRLエージェントのための新しいマルチタスク学習の形式であり、エージェントは1つの多様なタスクから学習し、新しい多様なタスクセットに一般化する。
ネットワークの定式化により、この能力は一般化できる。
この能力を2つの領域で示す。
シンボリックドメインでは、エージェントは受け入れられる文字列のシーケンスを見つける。
minecraftのような環境では、エージェントは式に準拠した一連のアクションを見つける。
先行研究では、ある式を確実に実行することを学ぶことができたが、全ての式を確実にエンコードする方法を実証する。
これは、サブタスクを発見し、追加のトレーニングなしで実行する新しいマルチタスクエージェントと、より複雑な言語コマンドに従うエージェントの基礎となる可能性がある。
この一般化に必要な構造はLTL式に特有であり、興味深い理論的疑問が開き、異なる論理へのゼロショット一般化のためにニューラルネットワークにどのような構造が必要か?
関連論文リスト
- Provable Pathways: Learning Multiple Tasks over Multiple Paths [31.43753806123382]
複数の経路上の複数のタスクを学習する経験的リスク最小化問題に対する新しい一般化境界を開発する。
同時に、新しい下流タスクに適応する際のマルチパス表現の利点を形式化する。
論文 参考訳(メタデータ) (2023-03-08T02:25:28Z) - A Toy Model of Universality: Reverse Engineering How Networks Learn
Group Operations [0.0]
我々は,小人数のニューラルネットワークが集団構成の実装をどのように学習するかを検討することによって,普遍性仮説を検証した。
本稿では,ニューラルネットワークが任意の有限群の合成を数学的表現理論によって実装できる新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-02-06T18:59:20Z) - Break It Down: Evidence for Structural Compositionality in Neural
Networks [32.382094867951224]
ニューラルネットワークは構成性を学習し、特殊なシンボリックメカニズムの必要性を回避できることを示す。
このことは、ニューラルネットワークが構成性を学ぶことができ、特別なシンボリックメカニズムの必要性を回避できる可能性を示唆している。
論文 参考訳(メタデータ) (2023-01-26T00:53:11Z) - Logical Message Passing Networks with One-hop Inference on Atomic
Formulas [57.47174363091452]
本稿では,ニューラルネットワーク演算子から知識グラフの埋め込みを分解する,複雑な問合せ応答のためのフレームワークを提案する。
クエリグラフの上に、局所的な原子式上のワンホップ推論とグローバル論理的推論を結びつける論理メッセージパッシングニューラルネットワーク(LMPNN)を提案する。
我々のアプローチは、最先端のニューラルCQAモデルをもたらす。
論文 参考訳(メタデータ) (2023-01-21T02:34:06Z) - Improving Cross-task Generalization of Unified Table-to-text Models with
Compositional Task Configurations [63.04466647849211]
メソッドは通常、タスク情報をエンコーダのプレフィックスとして単純なデータセット名でエンコードする。
本稿では,エンコーダがタスク間の一般化を改善するためのプロンプトセットであるコンポジションタスク構成を提案する。
これは、モデルがトレーニング中に異なるタスク間で共有知識をより良く学習できるだけでなく、新しい構成を構築することでモデルを制御できることを示している。
論文 参考訳(メタデータ) (2022-12-17T02:20:14Z) - Learn-to-Decompose: Cascaded Decomposition Network for Cross-Domain
Few-Shot Facial Expression Recognition [60.51225419301642]
本稿では,複合表情認識のための新しいカスケード分解ネットワーク(CDNet)を提案する。
基本的な表現データセット上で同様のタスクをトレーニングすることで、CDNetは、目に見えない複合表現を容易に識別できる学習と分解の能力を学ぶ。
論文 参考訳(メタデータ) (2022-07-16T16:10:28Z) - Neural Networks and the Chomsky Hierarchy [27.470857324448136]
チョムスキー理論の知見が実際にニューラルネットワークの一般化の限界を予測できるかどうかを考察する。
膨大なデータとトレーニング時間さえも、非自明な一般化に繋がらない負の結果を示す。
この結果から,RNNとTransformerは非正規タスクの一般化に失敗し,構造化メモリで拡張されたネットワークのみがコンテキストレス・コンテキスト依存タスクの一般化に成功していることがわかった。
論文 参考訳(メタデータ) (2022-07-05T15:06:11Z) - Fast Inference and Transfer of Compositional Task Structures for
Few-shot Task Generalization [101.72755769194677]
本稿では,タスクがサブタスクグラフによって特徴づけられる,数発の強化学習問題として定式化する。
我々のマルチタスクサブタスクグラフ推論器(MTSGI)は、トレーニングタスクから、まず、サブタスクグラフの観点から、一般的なハイレベルなタスク構造を推測する。
提案手法は,2次元グリッドワールドおよび複雑なWebナビゲーション領域において,タスクの共通基盤構造を学習し,活用し,未知のタスクへの適応を高速化する。
論文 参考訳(メタデータ) (2022-05-25T10:44:25Z) - Text Modular Networks: Learning to Decompose Tasks in the Language of
Existing Models [61.480085460269514]
本稿では,既存のモデルで解けるより単純なモデルに分解することで,複雑なタスクを解くための解釈可能なシステムを構築するためのフレームワークを提案する。
我々はこのフレームワークを用いて、ニューラルネットワークのファクトイド単一スパンQAモデルとシンボリック電卓で答えられるサブクエストに分解することで、マルチホップ推論問題に答えられるシステムであるModularQAを構築する。
論文 参考訳(メタデータ) (2020-09-01T23:45:42Z) - MTL-NAS: Task-Agnostic Neural Architecture Search towards
General-Purpose Multi-Task Learning [71.90902837008278]
汎用マルチタスク学習(GP-MTL)にニューラルアーキテクチャサーチ(NAS)を導入することを提案する。
異なるタスクの組み合わせに対応するため、GP-MTLネットワークを単一タスクのバックボーンに分割する。
また,探索されたアーキテクチャ間の性能ギャップを埋める単一ショット勾配に基づく探索アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-03-31T09:49:14Z) - iNALU: Improved Neural Arithmetic Logic Unit [2.331160520377439]
最近提案されたNeural Arithmetic Logic Unit (NALU)は、ネットワークのユニットによって数学的関係を明確に表現し、和、減算、乗算などの操作を学ぶことができる新しいニューラルネットワークである。
本稿では,本モデルが安定性の問題を解き,算術精度と収束性により元のNALUモデルより優れていることを示す。
論文 参考訳(メタデータ) (2020-03-17T10:37:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。