論文の概要: End-to-End Neuro-Symbolic Reinforcement Learning with Textual Explanations

• arxiv url: http://arxiv.org/abs/2403.12451v4
• Date: Thu, 13 Jun 2024 06:04:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-14 23:25:56.726056
• Title: End-to-End Neuro-Symbolic Reinforcement Learning with Textual Explanations
• Title（参考訳）: テキスト説明を用いた終端から終端への神経・筋肉強化学習
• Authors: Lirui Luo, Guoxi Zhang, Hongming Xu, Yaodong Yang, Cong Fang, Qing Li,
• Abstract要約: 構造化状態と象徴的ポリシーを共同学習するための,ニューロシンボリックな枠組みを提案する。 我々は、GPT-4に学習ポリシーと意思決定に関するテキスト説明を生成するパイプラインを設計する。 我々は,9つのアタリ課題に対するアプローチの有効性を検証するとともに,政策と意思決定に関するGPTによる説明を行う。
• 参考スコア（独自算出の注目度）: 15.530907808235945
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neuro-symbolic reinforcement learning (NS-RL) has emerged as a promising paradigm for explainable decision-making, characterized by the interpretability of symbolic policies. NS-RL entails structured state representations for tasks with visual observations, but previous methods cannot refine the structured states with rewards due to a lack of efficiency. Accessibility also remains an issue, as extensive domain knowledge is required to interpret symbolic policies. In this paper, we present a neuro-symbolic framework for jointly learning structured states and symbolic policies, whose key idea is to distill the vision foundation model into an efficient perception module and refine it during policy learning. Moreover, we design a pipeline to prompt GPT-4 to generate textual explanations for the learned policies and decisions, significantly reducing users' cognitive load to understand the symbolic policies. We verify the efficacy of our approach on nine Atari tasks and present GPT-generated explanations for policies and decisions.
• Abstract（参考訳）: ニューロシンボリック強化学習(NS-RL)は、象徴的政策の解釈可能性に特徴付けられる、説明可能な意思決定のための有望なパラダイムとして登場した。 NS-RLは、視覚的な観察を行うタスクの構造化状態表現を必要とするが、従来の手法では効率の欠如により、構造状態の洗練はできない。 アクセシビリティも問題であり、シンボリックポリシーの解釈には広範なドメイン知識が必要である。 本稿では,構造化状態と象徴的政策を共同で学習するニューロシンボリック・フレームワークを提案する。その中心となる考え方は,視覚基盤モデルを効率的な知覚モジュールに蒸留し,政策学習中にそれを洗練させることである。 さらに、GPT-4に学習したポリシーや意思決定のテキスト説明を生成させるパイプラインを設計し、シンボルポリシーを理解するためにユーザの認知負荷を大幅に削減する。 我々は,9つのアタリ課題に対するアプローチの有効性を検証するとともに,政策と意思決定に関するGPTによる説明を行う。

関連論文リスト

• Efficient Symbolic Policy Learning with Differentiable Symbolic Expression [30.855457609733637]
  本稿では, ゼロから端から端まで, シンボリックポリシーを学習する学習手法を提案する。 また,シングルタスクRLでのみ動作する従来のシンボルポリシとは対照的に,メタRL上でESPLを拡張して,目に見えないタスクのシンボリックポリシを生成する。
  論文  参考訳（メタデータ） (2023-11-02T03:27:51Z)
• A Novel Neural-symbolic System under Statistical Relational Learning [50.747658038910565]
  本稿では,GBPGRと呼ばれる2段階の確率的グラフィカル推論フレームワークを提案する。 GBPGRでは、シンボル推論の結果を用いて、ディープラーニングモデルによる予測を洗練し、修正する。 提案手法は高い性能を示し, 帰納的タスクと帰納的タスクの両方において効果的な一般化を示す。
  論文  参考訳（メタデータ） (2023-09-16T09:15:37Z)
• Goal Space Abstraction in Hierarchical Reinforcement Learning via Set-Based Reachability Analysis [0.5409704301731713]
  本稿では,目標表現と階層的ポリシの両方を同時に学習するFeudal HRLアルゴリズムを提案する。 複雑なナビゲーションタスクに対する我々のアプローチを評価し、学習された表現が解釈可能で、転送可能であり、データ効率のよい学習結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-09-14T12:39:26Z)
• Goal Space Abstraction in Hierarchical Reinforcement Learning via Reachability Analysis [0.0]
  本研究では,環境状態の集合を抽象化する創発的表現によるサブゴール発見のための発達機構を提案する。 我々は、この表現をポリシーとともに徐々に学習し、それをナビゲーションタスクで評価して、学習した表現が解釈可能であり、結果としてデータ効率が向上することを示すHRLアルゴリズムを作成する。
  論文  参考訳（メタデータ） (2023-09-12T06:53:11Z)
• Learning Symbolic Rules over Abstract Meaning Representations for Textual Reinforcement Learning [63.148199057487226]
  本稿では,汎用的な意味一般化とルール誘導システムを組み合わせて,解釈可能なルールをポリシーとして学習するモジュール型 NEuroSymbolic Textual Agent (NESTA) を提案する。 実験の結果,NESTA法は,未確認テストゲームや少ないトレーニングインタラクションから学習することで,深層強化学習技術よりも優れることがわかった。
  論文  参考訳（メタデータ） (2023-07-05T23:21:05Z)
• Representation-Driven Reinforcement Learning [57.44609759155611]
  強化学習のための表現駆動型フレームワークを提案する。 期待値の見積もりとしてポリシーを表現することにより、我々は、探索と搾取を導くために、文脈的盗賊の手法を活用する。 このフレームワークの有効性を,進化的および政策的勾配に基づくアプローチに適用することによって実証する。
  論文  参考訳（メタデータ） (2023-05-31T14:59:12Z)
• Hierarchical State Abstraction Based on Structural Information Principles [70.24495170921075]
  本稿では、情報理論の観点から、新しい数学的構造情報原理に基づく状態抽象化フレームワーク、すなわちSISAを提案する。 SISAは、様々な表現学習目標と柔軟に統合され、パフォーマンスをさらに向上する一般的なフレームワークである。
  論文  参考訳（メタデータ） (2023-04-24T11:06:52Z)
• Deep Explainable Relational Reinforcement Learning: A Neuro-Symbolic Approach [18.38878415765146]
  本稿では,ニューラル世界とシンボリック世界の両方の長所を生かした,説明可能な強化学習(DERRL)を提案する。 DERRLは、シンボリックプランニングからのリレーショナル表現と制約を深層学習と組み合わせて解釈可能なポリシーを抽出する。 これらのポリシーは、それぞれの決定(あるいは行動)がどのように到着するかを説明する論理的なルールの形式です。
  論文  参考訳（メタデータ） (2023-04-17T15:11:40Z)
• Symbolic Visual Reinforcement Learning: A Scalable Framework with Object-Level Abstraction and Differentiable Expression Search [63.3745291252038]
  DiffSESは、離散的なシンボルポリシーを発見する新しいシンボリック学習手法である。 生のピクセルレベルの入力の代わりにオブジェクトレベルの抽象化を使用することで、DiffSESはシンボリック表現の単純さとスケーラビリティの利点を活用することができる。 我々の実験は、DiffSESが最先端のシンボルRL法よりもシンプルでスケーラブルなシンボリックポリシーを生成することができることを示した。
  論文  参考訳（メタデータ） (2022-12-30T17:50:54Z)
• Learning Symbolic Rules for Interpretable Deep Reinforcement Learning [31.29595856800344]
  DRLにシンボリックロジックを導入することにより,ニューラルシンボリック強化学習フレームワークを提案する。 私たちのフレームワークは、最先端のアプローチと比較して、より優れた解釈性と競合するパフォーマンスを示します。
  論文  参考訳（メタデータ） (2021-03-15T09:26:00Z)
• Tree-Structured Policy based Progressive Reinforcement Learning for Temporally Language Grounding in Video [128.08590291947544]
  非トリミングビデオにおける一時的言語接地は、ビデオ理解における新たな課題である。 ヒトの粗大な意思決定パラダイムにインスパイアされた我々は、新しい木構造政策に基づくプログレッシブ強化学習フレームワークを定式化した。
  論文  参考訳（メタデータ） (2020-01-18T15:08:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。