論文の概要: Interpretable end-to-end Neurosymbolic Reinforcement Learning agents

• arxiv url: http://arxiv.org/abs/2410.14371v1
• Date: Fri, 18 Oct 2024 10:59:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 14:25:27.660184
• Title: Interpretable end-to-end Neurosymbolic Reinforcement Learning agents
• Title（参考訳）: 解釈可能な終末型ニューロシンボリック強化学習エージェント
• Authors: Nils Grandien, Quentin Delfosse, Kristian Kersting,
• Abstract要約: この研究は、ニューラルネットワークの強みとシンボリックAIを融合した、ニューロシンボリックAIパラダイムの中に自分自身を置く。 本稿では,異なるAtariゲーム上で,各コンポーネントを個別に評価するエンドツーエンド学習型SCoBotの実装について述べる。
• 参考スコア（独自算出の注目度）: 20.034972354302788
• License:
• Abstract: Deep reinforcement learning (RL) agents rely on shortcut learning, preventing them from generalizing to slightly different environments. To address this problem, symbolic method, that use object-centric states, have been developed. However, comparing these methods to deep agents is not fair, as these last operate from raw pixel-based states. In this work, we instantiate the symbolic SCoBots framework. SCoBots decompose RL tasks into intermediate, interpretable representations, culminating in action decisions based on a comprehensible set of object-centric relational concepts. This architecture aids in demystifying agent decisions. By explicitly learning to extract object-centric representations from raw states, object-centric RL, and policy distillation via rule extraction, this work places itself within the neurosymbolic AI paradigm, blending the strengths of neural networks with symbolic AI. We present the first implementation of an end-to-end trained SCoBot, separately evaluate of its components, on different Atari games. The results demonstrate the framework's potential to create interpretable and performing RL systems, and pave the way for future research directions in obtaining end-to-end interpretable RL agents.
• Abstract（参考訳）: 深層強化学習(RL)エージェントはショートカット学習に依存しており、わずかに異なる環境への一般化を妨げている。 この問題に対処するため、オブジェクト中心の状態を用いたシンボリック手法が開発されている。 しかし、これらの手法をディープエージェントと比較するのは不公平である。 本研究では,SCoBotsのシンボリックなフレームワークをインスタンス化する。 SCoBotsは、RLタスクを中間的、解釈可能な表現に分解し、オブジェクト中心のリレーショナル概念の理解可能なセットに基づいて行動決定を行う。 このアーキテクチャは、エージェントの決定をデミスティフィケーションするのに役立つ。 この研究は、生の状態、オブジェクト中心のRL、およびルール抽出を通じてポリシーの蒸留から対象中心の表現を明示的に抽出することで、ニューラルネットワークの強みと象徴的なAIを融合して、ニューロシンボリックAIパラダイムに自らを置く。 本稿では,異なるAtariゲーム上で,各コンポーネントを個別に評価するエンドツーエンド学習型SCoBotの実装について述べる。 その結果、このフレームワークは、解釈可能かつ実行可能なRLシステムを構築する可能性を示し、エンドツーエンドの解釈可能なRLエージェントを得るための今後の研究の方向性を示す。

関連論文リスト

• BlendRL: A Framework for Merging Symbolic and Neural Policy Learning [23.854830898003726]
  BlendRLは、論理とニューラルポリシーの混合を使用するRLエージェントに両方のパラダイムを統合する、ニューラルシンボリックなRLフレームワークである。 我々は,BlendRLエージェントが標準アタリ環境において,ニューラルベースラインとシンボリックベースラインの両方より優れていることを実証的に実証した。 ニューラルポリシーとシンボリックポリシーの相互作用を分析し、それらのハイブリッド利用がエージェントの制限を克服するのにどのように役立つかを説明する。
  論文  参考訳（メタデータ） (2024-10-15T15:24:20Z)
• Converging Paradigms: The Synergy of Symbolic and Connectionist AI in LLM-Empowered Autonomous Agents [55.63497537202751]
  コネクショニストと象徴的人工知能(AI)の収束を探求する記事 従来、コネクショナリストAIはニューラルネットワークにフォーカスし、シンボリックAIはシンボリック表現とロジックを強調していた。 大型言語モデル(LLM)の最近の進歩は、人間の言語をシンボルとして扱う際のコネクショナリストアーキテクチャの可能性を強調している。
  論文  参考訳（メタデータ） (2024-07-11T14:00:53Z)
• Symbolic Learning Enables Self-Evolving Agents [55.625275970720374]
  エージェントシンボリックラーニング(エージェントシンボリックラーニング)(エージェントシンボリックラーニング)は、言語エージェントが自分自身で最適化できるための体系的なフレームワークである。 エージェント記号学習は、コネクショナリズム学習における2つの基本的なアルゴリズムを模倣することにより、言語エージェント内のシンボルネットワークを最適化するように設計されている。 我々は、標準ベンチマークと複雑な実世界のタスクの両方で概念実証実験を行う。
  論文  参考訳（メタデータ） (2024-06-26T17:59:18Z)
• Interpretable Concept Bottlenecks to Align Reinforcement Learning Agents [20.983795972812956]
  Successive Concept Bottleneck Agents* (SCoBots)を紹介する。 SCoBotは、概念を個々のオブジェクトの特性として表現するだけでなく、多くのRLタスクに不可欠なオブジェクト間の関係としても表現する。 この結果は,SCoBotsの競争力を示すだけでなく,ドメインの専門家が自らの行動を理解し,規則化する可能性を示すものである。
  論文  参考訳（メタデータ） (2024-01-11T10:38:22Z)
• Goal Space Abstraction in Hierarchical Reinforcement Learning via Set-Based Reachability Analysis [0.5409704301731713]
  本稿では,目標表現と階層的ポリシの両方を同時に学習するFeudal HRLアルゴリズムを提案する。 複雑なナビゲーションタスクに対する我々のアプローチを評価し、学習された表現が解釈可能で、転送可能であり、データ効率のよい学習結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-09-14T12:39:26Z)
• A Recursive Bateson-Inspired Model for the Generation of Semantic Formal Concepts from Spatial Sensory Data [77.34726150561087]
  本稿では,複雑な感覚データから階層構造を生成するための記号のみの手法を提案する。 このアプローチは、概念や概念の創始の鍵としてのバテソンの差異の概念に基づいている。 このモデルは、トレーニングなしでかなりリッチだが人間に読まれる概念表現を生成することができる。
  論文  参考訳（メタデータ） (2023-07-16T15:59:13Z)
• Weakly-supervised Contrastive Learning for Unsupervised Object Discovery [52.696041556640516]
  ジェネリックな方法でオブジェクトを発見できるため、教師なしのオブジェクト発見は有望である。 画像から高レベルな意味的特徴を抽出する意味誘導型自己教師学習モデルを設計する。 オブジェクト領域のローカライズのための主成分分析(PCA)を導入する。
  論文  参考訳（メタデータ） (2023-07-07T04:03:48Z)
• Symbolic Visual Reinforcement Learning: A Scalable Framework with Object-Level Abstraction and Differentiable Expression Search [63.3745291252038]
  DiffSESは、離散的なシンボルポリシーを発見する新しいシンボリック学習手法である。 生のピクセルレベルの入力の代わりにオブジェクトレベルの抽象化を使用することで、DiffSESはシンボリック表現の単純さとスケーラビリティの利点を活用することができる。 我々の実験は、DiffSESが最先端のシンボルRL法よりもシンプルでスケーラブルなシンボリックポリシーを生成することができることを示した。
  論文  参考訳（メタデータ） (2022-12-30T17:50:54Z)
• ECLAD: Extracting Concepts with Local Aggregated Descriptors [6.470466745237234]
  そこで本研究では,CNNアクティベーションマップの画素ワイドアグリゲーションから得られた表現に基づいて,概念の自動抽出とローカライズを行う手法を提案する。 本稿では,主成分の画素単位のアノテーションを用いた合成データセットに基づく概念抽出手法の検証手法を提案する。
  論文  参考訳（メタデータ） (2022-06-09T14:25:23Z)
• What is Going on Inside Recurrent Meta Reinforcement Learning Agents? [63.58053355357644]
  recurrent meta reinforcement learning (meta-rl)エージェントは「学習アルゴリズムの学習」を目的としてrecurrent neural network (rnn)を使用するエージェントである。 部分観測可能なマルコフ決定プロセス(POMDP)フレームワークを用いてメタRL問題を再構成することにより,これらのエージェントの内部動作機構を明らかにする。
  論文  参考訳（メタデータ） (2021-04-29T20:34:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。