論文の概要: EXPLORER: Exploration-guided Reasoning for Textual Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2403.10692v1
• Date: Fri, 15 Mar 2024 21:22:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-19 22:14:44.707461
• Title: EXPLORER: Exploration-guided Reasoning for Textual Reinforcement Learning
• Title（参考訳）: EXPLORER:テキスト強化学習のための探索誘導推論
• Authors: Kinjal Basu, Keerthiram Murugesan, Subhajit Chaudhury, Murray Campbell, Kartik Talamadupula, Tim Klinger,
• Abstract要約: テキスト強化学習のための探索誘導推論剤であるEXPLORERについて述べる。 実験の結果,EXPLORERはテキストワールド調理(TW-Cooking)およびテキストワールドコモンセンス(TWC)ゲームにおいて,ベースラインエージェントよりも優れていた。
• 参考スコア（独自算出の注目度）: 23.83162741035859
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text-based games (TBGs) have emerged as an important collection of NLP tasks, requiring reinforcement learning (RL) agents to combine natural language understanding with reasoning. A key challenge for agents attempting to solve such tasks is to generalize across multiple games and demonstrate good performance on both seen and unseen objects. Purely deep-RL-based approaches may perform well on seen objects; however, they fail to showcase the same performance on unseen objects. Commonsense-infused deep-RL agents may work better on unseen data; unfortunately, their policies are often not interpretable or easily transferable. To tackle these issues, in this paper, we present EXPLORER which is an exploration-guided reasoning agent for textual reinforcement learning. EXPLORER is neurosymbolic in nature, as it relies on a neural module for exploration and a symbolic module for exploitation. It can also learn generalized symbolic policies and perform well over unseen data. Our experiments show that EXPLORER outperforms the baseline agents on Text-World cooking (TW-Cooking) and Text-World Commonsense (TWC) games.
• Abstract（参考訳）: テキストベースのゲーム(TBG)は、自然言語理解と推論を組み合わせるために強化学習(RL)エージェントを必要とするNLPタスクの重要なコレクションとして登場した。 このような課題を解決しようとするエージェントにとって重要な課題は、複数のゲームにまたがって一般化し、見えないオブジェクトと見えないオブジェクトの両方で優れたパフォーマンスを示すことである。 純粋に深いRLベースのアプローチは、目に見えないオブジェクトでよく機能するが、見えないオブジェクトで同じパフォーマンスを示すことは失敗する。 コモンセンスを注入したディープRLエージェントは、見えないデータに対してよりうまく機能することがあるが、あいにく、それらのポリシーは解釈できないか、容易に転送可能である。 本稿では,テキスト強化学習のための探索誘導推論エージェントであるEXPLORERを提案する。 EXPLORERは自然界においてニューロシンボリックであり、探索のための神経モジュールと、搾取のためのシンボリックモジュールに依存している。 また、一般化されたシンボルポリシーを学習し、目に見えないデータをうまく処理することができる。 実験の結果,EXPLORERはテキストワールド調理(TW-Cooking)およびテキストワールドコモンセンス(TWC)ゲームにおいて,ベースラインエージェントよりも優れていた。

関連論文リスト

• Language Guided Exploration for RL Agents in Text Environments [15.256908785183617]
  LLM(Large Language Models)は、世界知識の豊富な言語モデルであり、RLエージェントが素早く学習し、分散シフトに適応するのに役立つ。 我々は、事前訓練された言語モデルを用いて、RLエージェント(EXPLORER)に決定レベルのガイダンスを提供するLanguage Guided Exploration(LGE)フレームワークを紹介する。 我々は,難易度の高いテキスト環境であるScienceWorldにおいて,LGEがバニラRLエージェントを著しく上回り,Behaviour CloningやText Decision Transformerなどの高度な手法を上回ります。
  論文  参考訳（メタデータ） (2024-03-05T17:26:41Z)
• Leveraging Reward Consistency for Interpretable Feature Discovery in Reinforcement Learning [69.19840497497503]
  一般的に使われているアクションマッチングの原理は、RLエージェントの解釈よりもディープニューラルネットワーク(DNN)の説明に近いと論じられている。 本稿では,RLエージェントの主目的である報酬を,RLエージェントを解釈する本質的な目的として考察する。 我々は,Atari 2600 ゲームと,挑戦的な自動運転車シミュレータ環境である Duckietown の検証と評価を行った。
  論文  参考訳（メタデータ） (2023-09-04T09:09:54Z)
• Learning Symbolic Rules over Abstract Meaning Representations for Textual Reinforcement Learning [63.148199057487226]
  本稿では,汎用的な意味一般化とルール誘導システムを組み合わせて,解釈可能なルールをポリシーとして学習するモジュール型 NEuroSymbolic Textual Agent (NESTA) を提案する。 実験の結果,NESTA法は,未確認テストゲームや少ないトレーニングインタラクションから学習することで,深層強化学習技術よりも優れることがわかった。
  論文  参考訳（メタデータ） (2023-07-05T23:21:05Z)
• SPRING: Studying the Paper and Reasoning to Play Games [102.5587155284795]
  我々は,ゲーム本来の学術論文を読み取るための新しいアプローチ,SPRINGを提案し,大言語モデル(LLM)を通してゲームの説明とプレイの知識を利用する。 実験では,クラフトオープンワールド環境の設定下で,異なる形態のプロンプトによって引き起こされる文脈内「推論」の品質について検討した。 我々の実験は、LLMが一貫したチェーン・オブ・シークレットによって誘導されると、洗練された高レベル軌道の完成に大きな可能性があることを示唆している。
  論文  参考訳（メタデータ） (2023-05-24T18:14:35Z)
• Learning to Follow Instructions in Text-Based Games [30.713430615498375]
  本研究では,強化学習エージェントが自然言語の指示に従う能力について検討する。 我々はRLエージェントに自然言語命令の内部構造表現を線形時間論理の形で装備する。 我々のフレームワークは、命令の時間的意味論を理解することの利点を共にサポートし、強調します。
  論文  参考訳（メタデータ） (2022-11-08T22:20:17Z)
• Revisiting the Roles of "Text" in Text Games [102.22750109468652]
  本稿では,強化学習におけるテキストの役割について検討する。 本稿では,関連するコンテキスト情報を近似状態ハッシュに抽出する簡単な手法を提案する。 このような軽量なプラグインは最先端のテキストエージェントとの競合性能を実現する。
  論文  参考訳（メタデータ） (2022-10-15T21:52:39Z)
• Reinforcement Learning with Prototypical Representations [114.35801511501639]
  Proto-RLは、プロトタイプ表現を通じて表現学習と探索を結び付ける自己監督型フレームワークである。 これらのプロトタイプは、エージェントの探索経験の要約と同時に、観察を表す基盤としても機能する。 これにより、困難な連続制御タスクのセットで最新の下流ポリシー学習が可能になります。
  論文  参考訳（メタデータ） (2021-02-22T18:56:34Z)
• Deep Reinforcement Learning with Stacked Hierarchical Attention for Text-based Games [64.11746320061965]
  自然言語の文脈におけるインタラクティブなシミュレーションであるテキストベースゲームの強化学習について検討する。 エージェントの動作が解釈可能な推論手順によって生成され、支援されるように、意思決定のための知識グラフを用いた明示的な推論を行うことを目指している。 提案手法を多数の人為的ベンチマークゲームで広範囲に評価し,本手法が既存のテキストベースエージェントよりも優れていることを示す実験結果を得た。
  論文  参考訳（メタデータ） (2020-10-22T12:40:22Z)
• Text-based RL Agents with Commonsense Knowledge: New Challenges, Environments and Baselines [40.03754436370682]
  テキストワールド・コモンセンスにコモンセンスの知識を取り入れたエージェントは,より効率的に行動しながら,より優れた行動を示す。 我々は,TWC上での人的パフォーマンスを推定するユーザスタディを実施し,今後の改善の余地が十分にあることを示す。
  論文  参考訳（メタデータ） (2020-10-08T06:20:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。