論文の概要: Inherently Explainable Reinforcement Learning in Natural Language

• arxiv url: http://arxiv.org/abs/2112.08907v1
• Date: Thu, 16 Dec 2021 14:24:35 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-17 14:24:21.427932
• Title: Inherently Explainable Reinforcement Learning in Natural Language
• Title（参考訳）: 自然言語による説明可能な強化学習
• Authors: Xiangyu Peng, Mark O. Riedl, Prithviraj Ammanabrolu
• Abstract要約: 本稿では,本質的に説明可能な強化学習エージェントの開発に焦点をあてる。 この階層的説明可能な強化学習エージェントは、インタラクティブフィクション、テキストベースのゲーム環境で動作する。 私たちのエージェントは、説明責任を第一級市民として扱うように設計されています。
• 参考スコア（独自算出の注目度）: 14.117921448623342
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We focus on the task of creating a reinforcement learning agent that is inherently explainable -- with the ability to produce immediate local explanations by thinking out loud while performing a task and analyzing entire trajectories post-hoc to produce causal explanations. This Hierarchically Explainable Reinforcement Learning agent (HEX-RL), operates in Interactive Fictions, text-based game environments in which an agent perceives and acts upon the world using textual natural language. These games are usually structured as puzzles or quests with long-term dependencies in which an agent must complete a sequence of actions to succeed -- providing ideal environments in which to test an agent's ability to explain its actions. Our agent is designed to treat explainability as a first-class citizen, using an extracted symbolic knowledge graph-based state representation coupled with a Hierarchical Graph Attention mechanism that points to the facts in the internal graph representation that most influenced the choice of actions. Experiments show that this agent provides significantly improved explanations over strong baselines, as rated by human participants generally unfamiliar with the environment, while also matching state-of-the-art task performance.
• Abstract（参考訳）: 我々は,本質的に説明可能な強化学習エージェントの作成という課題に注目し,タスクを実行中に大声で考えることで,即時に局所的な説明を生成できるとともに,後発の軌跡全体を解析し,因果的説明を生成できる。 The Hierarchically Explainable Reinforcement Learning agent (HEX-RL)は、対話型フィクション、テキストベースのゲーム環境において、エージェントがテキスト自然言語を用いて世界を知覚し、行動する。 これらのゲームは通常、エージェントが成功するための一連のアクションを完了しなければならない長期的な依存関係を持つパズルやクエストとして構成され、エージェントのアクションを説明する能力をテストする理想的な環境を提供する。 我々のエージェントは、抽出された記号的知識グラフに基づく状態表現と階層的なグラフアテンション機構を組み合わせることで、第一級市民としての説明可能性を扱うように設計されている。 実験の結果,このエージェントは強いベースラインに対する説明を著しく改善し,一般に環境に不慣れな人によって評価されると同時に,最先端のタスク性能に適合することがわかった。

関連論文リスト

• Symbolic Learning Enables Self-Evolving Agents [55.625275970720374]
  エージェントシンボリックラーニング(エージェントシンボリックラーニング)(エージェントシンボリックラーニング)は、言語エージェントが自分自身で最適化できるための体系的なフレームワークである。 エージェント記号学習は、コネクショナリズム学習における2つの基本的なアルゴリズムを模倣することにより、言語エージェント内のシンボルネットワークを最適化するように設計されている。 我々は、標準ベンチマークと複雑な実世界のタスクの両方で概念実証実験を行う。
  論文  参考訳（メタデータ） (2024-06-26T17:59:18Z)
• On the Effects of Fine-tuning Language Models for Text-Based Reinforcement Learning [19.057241328691077]
  テキストベースRLエージェントの効率的な訓練には,意味理解の充実が寄与することを示す。 本稿では,言語モデルの不適切な微調整の結果,意味的変性の発生について述べる。
  論文  参考訳（メタデータ） (2024-04-15T23:05:57Z)
• Explaining Agent Behavior with Large Language Models [7.128139268426959]
  本研究では,状態や行動の観察のみに基づいて,エージェントの行動に関する自然言語説明を生成する手法を提案する。 エージェントの振る舞いのコンパクトな表現がいかに学習され、妥当な説明を生み出すかを示す。
  論文  参考訳（メタデータ） (2023-09-19T06:13:24Z)
• A Closer Look at Reward Decomposition for High-Level Robotic Explanations [18.019811754800767]
  本稿では、報酬分解と抽象的な行動空間を組み合わせたQ-Map学習フレームワークを提案する。 本稿では,2つのロボットシナリオの定量的,定性的な分析を通じて,本フレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2023-04-25T16:01:42Z)
• Compositional Generalization in Grounded Language Learning via Induced Model Sparsity [81.38804205212425]
  グリッド環境における単純な言語条件のナビゲーション問題について考察する。 本研究では,オブジェクトの指示文と属性のスパース相関を助長するエージェントを設計し,それらを組み合わせて目的を導出する。 我々のエージェントは、少数のデモンストレーションから学習した場合でも、新しいプロパティの組み合わせを含む目標に対して高いレベルのパフォーマンスを維持している。
  論文  参考訳（メタデータ） (2022-07-06T08:46:27Z)
• Tell me why! -- Explanations support learning of relational and causal structure [24.434551113103105]
  説明は人間の学習において重要な役割を担い、特にAIにとって大きな課題が残る分野においてである。 我々は、強化学習エージェントが説明の恩恵を受ける可能性があることを示す。 我々の結果は、説明からの学習が強力な原則であり、より堅牢で一般的な機械学習システムのトレーニングに有望な道筋を提供することを示唆している。
  論文  参考訳（メタデータ） (2021-12-07T15:09:06Z)
• CausalCity: Complex Simulations with Agency for Causal Discovery and Reasoning [68.74447489372037]
  本稿では,因果探索と反事実推論のためのアルゴリズムの開発を目的とした,高忠実度シミュレーション環境を提案する。 私たちの作業の中核となるコンポーネントは、複雑なシナリオを定義して作成することが簡単になるような、テキストの緊急性を導入することです。 我々は3つの最先端の手法による実験を行い、ベースラインを作成し、この環境の可利用性を強調する。
  論文  参考訳（メタデータ） (2021-06-25T00:21:41Z)
• Fact-driven Logical Reasoning for Machine Reading Comprehension [82.58857437343974]
  私たちは、常識と一時的な知識のヒントの両方を階層的にカバーする動機があります。 具体的には,文の背骨成分を抽出し,知識単位の一般的な定式化を提案する。 次に、事実単位の上にスーパーグラフを構築し、文レベル(事実群間の関係)と実体レベルの相互作用の利点を享受する。
  論文  参考訳（メタデータ） (2021-05-21T13:11:13Z)
• Deep Reinforcement Learning with Stacked Hierarchical Attention for Text-based Games [64.11746320061965]
  自然言語の文脈におけるインタラクティブなシミュレーションであるテキストベースゲームの強化学習について検討する。 エージェントの動作が解釈可能な推論手順によって生成され、支援されるように、意思決定のための知識グラフを用いた明示的な推論を行うことを目指している。 提案手法を多数の人為的ベンチマークゲームで広範囲に評価し,本手法が既存のテキストベースエージェントよりも優れていることを示す実験結果を得た。
  論文  参考訳（メタデータ） (2020-10-22T12:40:22Z)
• Natural Language Rationales with Full-Stack Visual Reasoning: From Pixels to Semantic Frames to Commonsense Graphs [106.15931418425906]
  本研究は,複数の複雑な視覚的推論課題にまたがる自然言語の有理性の生成に焦点を当てた最初の研究である。 RationaleVT Transformerは、事前学習された言語モデルとオブジェクト認識、接地された視覚的セマンティックフレーム、視覚的コモンセンスグラフを組み合わせることで、自由テキスト論理を生成することを学習する統合モデルである。 実験の結果, 基礎となる事前学習言語モデルは視覚適応の恩恵を受けており, 複雑な視覚的・テキスト的推論タスクに対するモデル解釈可能性の補完として, 自由文合理化が有望な研究方向であることを示唆した。
  論文  参考訳（メタデータ） (2020-10-15T05:08:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。