論文の概要: EXPIL: Explanatory Predicate Invention for Learning in Games

• arxiv url: http://arxiv.org/abs/2406.06107v1
• Date: Mon, 10 Jun 2024 08:46:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-11 14:37:02.491442
• Title: EXPIL: Explanatory Predicate Invention for Learning in Games
• Title（参考訳）: EXPIL: ゲームにおける学習のための説明的述語発明
• Authors: Jingyuan Sha, Hikaru Shindo, Quentin Delfosse, Kristian Kersting, Devendra Singh Dhami,
• Abstract要約: 強化学習(Reinforcement Learning, RL)は、様々なゲームで優れたエージェントを訓練するための強力なツールであることが証明されている。 最近の研究は、事前訓練されたニューラルネットワークエージェントのガイダンスを使ってロジックベースのポリシーをエンコードすることでこの問題に対処しようとしている。 本稿では,ゲームにおける学習のための説明述語発明(Explanatory Predicate Invention for Learning in Games,EXPIL)を提案する。
• 参考スコア（独自算出の注目度）: 22.235094243063823
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning (RL) has proven to be a powerful tool for training agents that excel in various games. However, the black-box nature of neural network models often hinders our ability to understand the reasoning behind the agent's actions. Recent research has attempted to address this issue by using the guidance of pretrained neural agents to encode logic-based policies, allowing for interpretable decisions. A drawback of such approaches is the requirement of large amounts of predefined background knowledge in the form of predicates, limiting its applicability and scalability. In this work, we propose a novel approach, Explanatory Predicate Invention for Learning in Games (EXPIL), that identifies and extracts predicates from a pretrained neural agent, later used in the logic-based agents, reducing the dependency on predefined background knowledge. Our experimental evaluation on various games demonstrate the effectiveness of EXPIL in achieving explainable behavior in logic agents while requiring less background knowledge.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、様々なゲームで優れたエージェントを訓練するための強力なツールであることが証明されている。 しかしながら、ニューラルネットワークモデルのブラックボックスの性質は、エージェントのアクションの背後にある推論を理解する能力を妨げていることが多い。 最近の研究は、事前訓練されたニューラルネットワークエージェントのガイダンスを使用してロジックベースのポリシーをエンコードし、解釈可能な決定を可能にすることでこの問題に対処しようとしている。 このようなアプローチの欠点は、多くの事前定義された背景知識を述語形式で要求することであり、適用性とスケーラビリティを制限している。 本研究では,ゲームにおける学習のための説明的述語発明(Explanatory Predicate Invention for Learning in Games,EXPIL)を提案する。 各種ゲームにおける実験により,論理エージェントにおける説明可能な動作を実現する上でのEXPILの有効性を実証し,背景知識の低減を図った。

関連論文リスト

• Interpretable and Explainable Logical Policies via Neurally Guided Symbolic Abstraction [23.552659248243806]
  ニューラルgUided Differentiable loGic policiEs (NUDGE)を紹介する。 NUDGEは、トレーニングされたニューラルネットワークベースのエージェントを使用して、候補重み付けされたロジックルールの探索をガイドし、差別化可能なロジックを使用してロジックエージェントをトレーニングする。 実験により, NUDGEエージェントは, 純粋に神経性に優れ, 初期状態や問題の大きさの異なる環境に対して良好な柔軟性を示しながら, 解釈可能かつ説明可能なポリシーを誘導できることを示した。
  論文  参考訳（メタデータ） (2023-06-02T10:59:44Z)
• RACCER: Towards Reachable and Certain Counterfactual Explanations for Reinforcement Learning [2.0341936392563063]
  本稿では,RLエージェントの動作に対する反実的説明を生成するための,RACCERを提案する。 木探索を用いて、定義された特性に基づいて最も適切なカウンターファクトを見つける。 我々はRACCERを2つのタスクで評価し、また、RL固有の対策がエージェントの行動をよりよく理解するのに役立つことを示す。
  論文  参考訳（メタデータ） (2023-03-08T09:47:00Z)
• Planning with RL and episodic-memory behavioral priors [0.20305676256390934]
  行動の事前から学ぶことは、エージェントをランダムな探索ポリシーでブートストラップする方法として有望だ。 強化学習環境における効果的な探索と学習にこれらの行動先行を活用できる計画に基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2022-07-05T07:11:05Z)
• Knowledge-driven Active Learning [70.37119719069499]
  アクティブな学習戦略は、ディープラーニングモデルをトレーニングするために必要なラベル付きデータの量を最小限にすることを目的としている。 ほとんどの積極的な戦略は不確実なサンプルの選択に基づいており、しばしば決定境界に近いサンプルに制限される。 本稿では、一般的なドメイン知識を考慮し、エキスパートでないユーザがより少ないサンプルでモデルを訓練できるようにする。
  論文  参考訳（メタデータ） (2021-10-15T06:11:53Z)
• Backprop-Free Reinforcement Learning with Active Neural Generative Coding [84.11376568625353]
  動的環境におけるエラー(バックプロップ)のバックプロパゲーションを伴わない行動駆動型生成モデルの学習のための計算フレームワークを提案する。 我々は、まばらな報酬でも機能するインテリジェントエージェントを開発し、推論として計画の認知理論からインスピレーションを得ている。 我々のエージェントの堅牢な性能は、神経推論と学習のためのバックプロップフリーアプローチがゴール指向の行動を促進するという有望な証拠を提供する。
  論文  参考訳（メタデータ） (2021-07-10T19:02:27Z)
• What is Going on Inside Recurrent Meta Reinforcement Learning Agents? [63.58053355357644]
  recurrent meta reinforcement learning (meta-rl)エージェントは「学習アルゴリズムの学習」を目的としてrecurrent neural network (rnn)を使用するエージェントである。 部分観測可能なマルコフ決定プロセス(POMDP)フレームワークを用いてメタRL問題を再構成することにより,これらのエージェントの内部動作機構を明らかにする。
  論文  参考訳（メタデータ） (2021-04-29T20:34:39Z)
• Parrot: Data-Driven Behavioral Priors for Reinforcement Learning [79.32403825036792]
  そこで本研究では,実験で得られた複雑なインプット・アウトプット関係を事前に学習する手法を提案する。 RLエージェントが新規な動作を試す能力を阻害することなく、この学習が新しいタスクを迅速に学習するのにどのように役立つかを示す。
  論文  参考訳（メタデータ） (2020-11-19T18:47:40Z)
• Deep Reinforcement Learning with Stacked Hierarchical Attention for Text-based Games [64.11746320061965]
  自然言語の文脈におけるインタラクティブなシミュレーションであるテキストベースゲームの強化学習について検討する。 エージェントの動作が解釈可能な推論手順によって生成され、支援されるように、意思決定のための知識グラフを用いた明示的な推論を行うことを目指している。 提案手法を多数の人為的ベンチマークゲームで広範囲に評価し,本手法が既存のテキストベースエージェントよりも優れていることを示す実験結果を得た。
  論文  参考訳（メタデータ） (2020-10-22T12:40:22Z)
• Explainability in Deep Reinforcement Learning [68.8204255655161]
  説明可能な強化学習(XRL)の実現に向けての最近の成果を概観する。 エージェントの振る舞いを正当化し、説明することが不可欠である重要な状況において、RLモデルのより良い説明可能性と解釈性は、まだブラックボックスと見なされているものの内部動作に関する科学的洞察を得るのに役立つ。
  論文  参考訳（メタデータ） (2020-08-15T10:11:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。