論文の概要: Encoding formulas as deep networks: Reinforcement learning for zero-shot
execution of LTL formulas
- arxiv url: http://arxiv.org/abs/2006.01110v2
- Date: Thu, 6 Aug 2020 16:32:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-26 07:25:01.364819
- Title: Encoding formulas as deep networks: Reinforcement learning for zero-shot
execution of LTL formulas
- Title（参考訳）: ディープネットワークとしてのエンコーディング式:ltlのゼロショット実行のための強化学習
- Authors: Yen-Ling Kuo, Boris Katz, Andrei Barbu
- Abstract要約: 入力式を入力とし,満足度を判定する強化学習エージェントを実証する。
入力公式はこれまで見たことがないが、ネットワークはそれらを満足させるためにゼロショットの一般化を実行する。
これはRLエージェントのための新しいマルチタスク学習の形式であり、エージェントは1つの多様なタスクから学習し、新しい多様なタスクセットに一般化する。
- 参考スコア（独自算出の注目度）: 21.481360281719006
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We demonstrate a reinforcement learning agent which uses a compositional
recurrent neural network that takes as input an LTL formula and determines
satisfying actions. The input LTL formulas have never been seen before, yet the
network performs zero-shot generalization to satisfy them. This is a novel form
of multi-task learning for RL agents where agents learn from one diverse set of
tasks and generalize to a new set of diverse tasks. The formulation of the
network enables this capacity to generalize. We demonstrate this ability in two
domains. In a symbolic domain, the agent finds a sequence of letters that is
accepted. In a Minecraft-like environment, the agent finds a sequence of
actions that conform to the formula. While prior work could learn to execute
one formula reliably given examples of that formula, we demonstrate how to
encode all formulas reliably. This could form the basis of new multitask agents
that discover sub-tasks and execute them without any additional training, as
well as the agents which follow more complex linguistic commands. The
structures required for this generalization are specific to LTL formulas, which
opens up an interesting theoretical question: what structures are required in
neural networks for zero-shot generalization to different logics?
- Abstract（参考訳）: LTL式を入力として、満足な動作を決定する合成再帰ニューラルネットワークを用いた強化学習エージェントを実証する。
入力 ltl の公式はこれまでに見たことがないが、ネットワークはそれらを満たすためにゼロショット一般化を行う。
これはRLエージェントのための新しいマルチタスク学習の形式であり、エージェントは1つの多様なタスクから学習し、新しい多様なタスクセットに一般化する。
ネットワークの定式化により、この能力は一般化できる。
この能力を2つの領域で示す。
シンボリックドメインでは、エージェントは受け入れられる文字列のシーケンスを見つける。
minecraftのような環境では、エージェントは式に準拠した一連のアクションを見つける。
先行研究では、ある式を確実に実行することを学ぶことができたが、全ての式を確実にエンコードする方法を実証する。
これは、サブタスクを発見し、追加のトレーニングなしで実行する新しいマルチタスクエージェントと、より複雑な言語コマンドに従うエージェントの基礎となる可能性がある。
この一般化に必要な構造はLTL式に特有であり、興味深い理論的疑問が開き、異なる論理へのゼロショット一般化のためにニューラルネットワークにどのような構造が必要か?
関連論文リスト
- Learning Interpretable Classifiers for PDDL Planning [0.0]
PDDLで表される同様の計画課題のセットにおいて,エージェントの振る舞いを他のエージェントと比較して認識する解釈可能なモデルの問題を考える。
我々のアプローチは、エージェントが小さなプランニングインスタンスをどのように解決したかを示す小さな例から、論理式を学習することで構成される。
このような公式の学習はNPハード問題であるため、計算的に難解であることが示される。
論文 参考訳（メタデータ） (2024-10-13T21:12:45Z) - LLM-Augmented Symbolic Reinforcement Learning with Landmark-Based Task Decomposition [11.781353582190546]
強化学習(RL)の基本的な課題の1つは、複雑なタスクを受け取り、RLエージェントがより簡単に学習できるサブタスクに分解できることである。
本稿では,複雑なタスクを解くために,与えられた正の軌道と負の軌道を用いてサブタスクを識別する作業について報告する。
論文 参考訳（メタデータ） (2024-10-02T18:22:42Z) - In-Context Learning with Representations: Contextual Generalization of Trained Transformers [66.78052387054593]
In-context Learning (ICL) は、事前訓練された大規模言語モデルの能力を指し、推論中にいくつか例を挙げると、新しいタスクを学習できる。
本稿では,非線形回帰タスクのレンズによる勾配降下による変圧器のトレーニングダイナミクスについて検討する。
論文 参考訳（メタデータ） (2024-08-19T16:47:46Z) - In-context Learning Generalizes, But Not Always Robustly: The Case of Syntax [36.98247762224868]
In-context Learning (ICL)は、現在、大規模言語モデル(LLM)の新しいタスクを教える一般的な方法である。
モデルは、文脈によって定義されたタスクの基盤構造を推論するか、あるいは、同じ分散例にのみ一般化する表面一般化に依存するか?
GPT, PaLM, および Llama 2 ファミリーのモデルを用いた実験では, LM 間で大きなばらつきが認められた。
この分散は、モデルサイズよりも事前学習コーパスと監督方法の構成によりより説明される。
論文 参考訳（メタデータ） (2023-11-13T23:52:43Z) - ExeDec: Execution Decomposition for Compositional Generalization in Neural Program Synthesis [54.18659323181771]
プログラム合成において望ましいいくつかの異なる構成一般化形式を特徴付ける。
本稿では,ExeDecを提案する。ExeDecは,実行サブゴールを予測し,各ステップでプログラム実行によって段階的に通知される問題を解くための,新しい分解ベースの戦略である。
論文 参考訳（メタデータ） (2023-07-26T01:07:52Z) - A Toy Model of Universality: Reverse Engineering How Networks Learn
Group Operations [0.0]
我々は,小人数のニューラルネットワークが集団構成の実装をどのように学習するかを検討することによって,普遍性仮説を検証した。
本稿では,ニューラルネットワークが任意の有限群の合成を数学的表現理論によって実装できる新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-02-06T18:59:20Z) - Improving Cross-task Generalization of Unified Table-to-text Models with
Compositional Task Configurations [63.04466647849211]
メソッドは通常、タスク情報をエンコーダのプレフィックスとして単純なデータセット名でエンコードする。
本稿では,エンコーダがタスク間の一般化を改善するためのプロンプトセットであるコンポジションタスク構成を提案する。
これは、モデルがトレーニング中に異なるタスク間で共有知識をより良く学習できるだけでなく、新しい構成を構築することでモデルを制御できることを示している。
論文 参考訳（メタデータ） (2022-12-17T02:20:14Z) - Learn-to-Decompose: Cascaded Decomposition Network for Cross-Domain
Few-Shot Facial Expression Recognition [60.51225419301642]
本稿では,複合表情認識のための新しいカスケード分解ネットワーク(CDNet)を提案する。
基本的な表現データセット上で同様のタスクをトレーニングすることで、CDNetは、目に見えない複合表現を容易に識別できる学習と分解の能力を学ぶ。
論文 参考訳（メタデータ） (2022-07-16T16:10:28Z) - Fast Inference and Transfer of Compositional Task Structures for
Few-shot Task Generalization [101.72755769194677]
本稿では,タスクがサブタスクグラフによって特徴づけられる,数発の強化学習問題として定式化する。
我々のマルチタスクサブタスクグラフ推論器(MTSGI)は、トレーニングタスクから、まず、サブタスクグラフの観点から、一般的なハイレベルなタスク構造を推測する。
提案手法は,2次元グリッドワールドおよび複雑なWebナビゲーション領域において,タスクの共通基盤構造を学習し,活用し,未知のタスクへの適応を高速化する。
論文 参考訳（メタデータ） (2022-05-25T10:44:25Z) - Text Modular Networks: Learning to Decompose Tasks in the Language of
Existing Models [61.480085460269514]
本稿では,既存のモデルで解けるより単純なモデルに分解することで,複雑なタスクを解くための解釈可能なシステムを構築するためのフレームワークを提案する。
我々はこのフレームワークを用いて、ニューラルネットワークのファクトイド単一スパンQAモデルとシンボリック電卓で答えられるサブクエストに分解することで、マルチホップ推論問題に答えられるシステムであるModularQAを構築する。
論文 参考訳（メタデータ） (2020-09-01T23:45:42Z) - iNALU: Improved Neural Arithmetic Logic Unit [2.331160520377439]
最近提案されたNeural Arithmetic Logic Unit (NALU)は、ネットワークのユニットによって数学的関係を明確に表現し、和、減算、乗算などの操作を学ぶことができる新しいニューラルネットワークである。
本稿では,本モデルが安定性の問題を解き,算術精度と収束性により元のNALUモデルより優れていることを示す。
論文 参考訳（メタデータ） (2020-03-17T10:37:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。