論文の概要: INSIGHT: End-to-End Neuro-Symbolic Visual Reinforcement Learning with Language Explanations
- arxiv url: http://arxiv.org/abs/2403.12451v1
- Date: Tue, 19 Mar 2024 05:21:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-20 15:12:20.580515
- Title: INSIGHT: End-to-End Neuro-Symbolic Visual Reinforcement Learning with Language Explanations
- Title（参考訳）: INSIGHT: 言語説明による終末から終末へのニューロシンボリック視覚強化学習
- Authors: Lirui Luo, Guoxi Zhang, Hongming Xu, Yaodong Yang, Cong Fang, Qing Li,
- Abstract要約: 構造化状態とシンボルポリシを同時に学習できるフレームワークを提案する。
9つのAtariタスクの実験では,既存のNSRL法よりもかなりの性能向上を示した。
- 参考スコア（独自算出の注目度）: 15.530907808235945
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neuro-symbolic reinforcement learning (NS-RL) has emerged as a promising paradigm for explainable decision-making, characterized by the interpretability of symbolic policies. For tasks with visual observations, NS-RL entails structured representations for states, but previous algorithms are unable to refine the structured states with reward signals due to a lack of efficiency. Accessibility is also an issue, as extensive domain knowledge is required to interpret current symbolic policies. In this paper, we present a framework that is capable of learning structured states and symbolic policies simultaneously, whose key idea is to overcome the efficiency bottleneck by distilling vision foundation models into a scalable perception module. Moreover, we design a pipeline that uses large language models to generate concise and readable language explanations for policies and decisions. In experiments on nine Atari tasks, our approach demonstrates substantial performance gains over existing NSRL methods. We also showcase explanations for policies and decisions.
- Abstract（参考訳）: ニューロシンボリック強化学習(NS-RL)は、象徴的政策の解釈可能性に特徴付けられる、説明可能な意思決定のための有望なパラダイムとして登場した。
視覚的な観察を行うタスクでは、NS-RLは状態の構造化表現を必要とするが、前のアルゴリズムでは効率の欠如により報酬信号で構造化状態を洗練できない。
アクセシビリティもまた問題であり、現在の象徴的なポリシーを解釈するためには広範なドメイン知識が必要である。
本稿では,視覚基盤モデルをスケーラブルな知覚モジュールに蒸留することにより,効率のボトルネックを克服する,構造化状態とシンボルポリシを同時に学習可能なフレームワークを提案する。
さらに、我々は大規模な言語モデルを用いて、ポリシーや決定のための簡潔で読みやすい言語説明を生成するパイプラインを設計する。
9つのAtariタスクの実験では,既存のNSRL法よりもかなりの性能向上を示した。
また、政策や意思決定の説明も紹介する。
関連論文リスト
- Efficient Symbolic Policy Learning with Differentiable Symbolic
Expression [30.855457609733637]
本稿では, ゼロから端から端まで, シンボリックポリシーを学習する学習手法を提案する。
また,シングルタスクRLでのみ動作する従来のシンボルポリシとは対照的に,メタRL上でESPLを拡張して,目に見えないタスクのシンボリックポリシを生成する。
論文 参考訳（メタデータ） (2023-11-02T03:27:51Z) - A Novel Neural-symbolic System under Statistical Relational Learning [50.747658038910565]
本稿では,GBPGRと呼ばれる2段階の確率的グラフィカル推論フレームワークを提案する。
GBPGRでは、シンボル推論の結果を用いて、ディープラーニングモデルによる予測を洗練し、修正する。
提案手法は高い性能を示し, 帰納的タスクと帰納的タスクの両方において効果的な一般化を示す。
論文 参考訳（メタデータ） (2023-09-16T09:15:37Z) - Goal Space Abstraction in Hierarchical Reinforcement Learning via
Set-Based Reachability Analysis [0.5409704301731713]
本稿では,目標表現と階層的ポリシの両方を同時に学習するFeudal HRLアルゴリズムを提案する。
複雑なナビゲーションタスクに対する我々のアプローチを評価し、学習された表現が解釈可能で、転送可能であり、データ効率のよい学習結果をもたらすことを示す。
論文 参考訳（メタデータ） (2023-09-14T12:39:26Z) - Goal Space Abstraction in Hierarchical Reinforcement Learning via
Reachability Analysis [0.0]
本研究では,環境状態の集合を抽象化する創発的表現によるサブゴール発見のための発達機構を提案する。
我々は、この表現をポリシーとともに徐々に学習し、それをナビゲーションタスクで評価して、学習した表現が解釈可能であり、結果としてデータ効率が向上することを示すHRLアルゴリズムを作成する。
論文 参考訳（メタデータ） (2023-09-12T06:53:11Z) - Learning Symbolic Rules over Abstract Meaning Representations for
Textual Reinforcement Learning [63.148199057487226]
本稿では,汎用的な意味一般化とルール誘導システムを組み合わせて,解釈可能なルールをポリシーとして学習するモジュール型 NEuroSymbolic Textual Agent (NESTA) を提案する。
実験の結果,NESTA法は,未確認テストゲームや少ないトレーニングインタラクションから学習することで,深層強化学習技術よりも優れることがわかった。
論文 参考訳（メタデータ） (2023-07-05T23:21:05Z) - Representation-Driven Reinforcement Learning [57.44609759155611]
強化学習のための表現駆動型フレームワークを提案する。
期待値の見積もりとしてポリシーを表現することにより、我々は、探索と搾取を導くために、文脈的盗賊の手法を活用する。
このフレームワークの有効性を,進化的および政策的勾配に基づくアプローチに適用することによって実証する。
論文 参考訳（メタデータ） (2023-05-31T14:59:12Z) - Hierarchical State Abstraction Based on Structural Information
Principles [70.24495170921075]
本稿では、情報理論の観点から、新しい数学的構造情報原理に基づく状態抽象化フレームワーク、すなわちSISAを提案する。
SISAは、様々な表現学習目標と柔軟に統合され、パフォーマンスをさらに向上する一般的なフレームワークである。
論文 参考訳（メタデータ） (2023-04-24T11:06:52Z) - Deep Explainable Relational Reinforcement Learning: A Neuro-Symbolic
Approach [18.38878415765146]
本稿では,ニューラル世界とシンボリック世界の両方の長所を生かした,説明可能な強化学習(DERRL)を提案する。
DERRLは、シンボリックプランニングからのリレーショナル表現と制約を深層学習と組み合わせて解釈可能なポリシーを抽出する。
これらのポリシーは、それぞれの決定(あるいは行動)がどのように到着するかを説明する論理的なルールの形式です。
論文 参考訳（メタデータ） (2023-04-17T15:11:40Z) - Symbolic Visual Reinforcement Learning: A Scalable Framework with
Object-Level Abstraction and Differentiable Expression Search [63.3745291252038]
DiffSESは、離散的なシンボルポリシーを発見する新しいシンボリック学習手法である。
生のピクセルレベルの入力の代わりにオブジェクトレベルの抽象化を使用することで、DiffSESはシンボリック表現の単純さとスケーラビリティの利点を活用することができる。
我々の実験は、DiffSESが最先端のシンボルRL法よりもシンプルでスケーラブルなシンボリックポリシーを生成することができることを示した。
論文 参考訳（メタデータ） (2022-12-30T17:50:54Z) - Learning Symbolic Rules for Interpretable Deep Reinforcement Learning [31.29595856800344]
DRLにシンボリックロジックを導入することにより,ニューラルシンボリック強化学習フレームワークを提案する。
私たちのフレームワークは、最先端のアプローチと比較して、より優れた解釈性と競合するパフォーマンスを示します。
論文 参考訳（メタデータ） (2021-03-15T09:26:00Z) - Tree-Structured Policy based Progressive Reinforcement Learning for
Temporally Language Grounding in Video [128.08590291947544]
非トリミングビデオにおける一時的言語接地は、ビデオ理解における新たな課題である。
ヒトの粗大な意思決定パラダイムにインスパイアされた我々は、新しい木構造政策に基づくプログレッシブ強化学習フレームワークを定式化した。
論文 参考訳（メタデータ） (2020-01-18T15:08:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。