Fugu-MT 論文翻訳(概要): Global and Local Analysis of Interestingness for Competency-Aware Deep Reinforcement Learning

論文の概要: Global and Local Analysis of Interestingness for Competency-Aware Deep Reinforcement Learning

arxiv url: http://arxiv.org/abs/2211.06376v1
Date: Fri, 11 Nov 2022 17:48:42 GMT
ステータス: 処理完了
システム内更新日: 2022-11-14 15:39:01.624317
Title: Global and Local Analysis of Interestingness for Competency-Aware Deep Reinforcement Learning
Title（参考訳）: 能力に配慮した深層強化学習における興味のグローバルおよび局所的分析
Authors: Pedro Sequeira, Jesse Hostetler, Melinda Gervasio
Abstract要約: 我々は「興味」の分析に基づく説明可能な強化学習(RL)のための最近提案されたフレームワークを拡張した。当社のツールは,RLエージェントの能力,能力と限界に関する洞察を提供し,ユーザがより情報的な意思決定を行えるようにします。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In recent years, advances in deep learning have resulted in a plethora of successes in the use of reinforcement learning (RL) to solve complex sequential decision tasks with high-dimensional inputs. However, existing systems lack the necessary mechanisms to provide humans with a holistic view of their competence, presenting an impediment to their adoption, particularly in critical applications where the decisions an agent makes can have significant consequences. Yet, existing RL-based systems are essentially competency-unaware in that they lack the necessary interpretation mechanisms to allow human operators to have an insightful, holistic view of their competency. In this paper, we extend a recently-proposed framework for explainable RL that is based on analyses of "interestingness." Our new framework provides various measures of RL agent competence stemming from interestingness analysis and is applicable to a wide range of RL algorithms. We also propose novel mechanisms for assessing RL agents' competencies that: 1) identify agent behavior patterns and competency-controlling conditions by clustering agent behavior traces solely using interestingness data; and 2) identify the task elements mostly responsible for an agent's behavior, as measured through interestingness, by performing global and local analyses using SHAP values. Overall, our tools provide insights about RL agent competence, both their capabilities and limitations, enabling users to make more informed decisions about interventions, additional training, and other interactions in collaborative human-machine settings.
Abstract（参考訳）: 近年, 深層学習の進歩は, 高次元入力を用いた複雑な逐次決定課題の解決に強化学習(RL)を用いることで, 数多くの成功をもたらしている。しかし、既存のシステムは、人間に能力の全体像を提供するために必要なメカニズムを欠いており、特にエージェントが決定を下す重要なアプリケーションにおいて、その採用に障害を与えている。しかし、既存のRLベースのシステムは、人間のオペレーターがその能力についての洞察に富み、総合的な見解を持てるために必要な解釈機構が欠如していることに、本質的には認識できない。本稿では,最近提案された「興味」の分析に基づく説明可能なRLフレームワークを拡張した。我々の新しいフレームワークは、興味深い分析から派生したRLエージェント能力の様々な測定方法を提供し、幅広いRLアルゴリズムに適用できる。また,rlエージェントの能力を評価するための新しいメカニズムを提案する。 1)興味データのみを用いたクラスタリングエージェント行動トレースによるエージェント行動パターンと能力制御条件の同定 2) SHAP値を用いたグローバルおよびローカル分析を行うことにより, エージェントの行動に主に責任を持つタスク要素を, 面白さによって測定した。全体として、我々のツールは、RLエージェントの能力、能力と制限の両方に関する洞察を提供しており、ユーザーは、人間と機械の協調的な設定において、介入、追加のトレーニング、その他のインタラクションに関するより情報的な決定をすることができる。

関連論文リスト

Analyzing Adversarial Inputs in Deep Reinforcement Learning [53.3760591018817]
本稿では, 正当性検証のレンズを用いて, 逆入力の特性を包括的に解析する。このような摂動に対する感受性に基づいてモデルを分類するために、新しい計量である逆数率(Adversarial Rate)を導入する。本分析は, 直交入力が所定のDRLシステムの安全性にどのように影響するかを実証的に示す。
論文参考訳（メタデータ） (2024-02-07T21:58:40Z)
AgentBoard: An Analytical Evaluation Board of Multi-turn LLM Agents [76.95062553043607]
大きな言語モデル(LLM)を評価することは、その能力を理解し、実践的なアプリケーションへの統合を促進するために不可欠である。本稿では,LLMエージェントの分析的評価に適したオープンソース評価フレームワークであるAgentBoardを紹介する。
論文参考訳（メタデータ） (2024-01-24T01:51:00Z)
Visibility into AI Agents [9.067567737098594]
AIエージェントに対する商業的、科学的、政府的、個人的活動の委譲の増加は、既存の社会的リスクを悪化させる可能性がある。エージェント識別子,リアルタイム監視,アクティビティログという,AIエージェントの視認性を高めるための3つの尺度を評価した。
論文参考訳（メタデータ） (2024-01-23T23:18:33Z)
Advantage Actor-Critic with Reasoner: Explaining the Agent's Behavior from an Exploratory Perspective [19.744322603358402]
我々は、Reasoner (A2CR) を用いたアドバンテージ・アクター・クライシスト(アドバンテージ・アクター・クライト)を提案する。 A2CRはエージェントの意思決定プロセスを理解するために、より包括的で解釈可能なパラダイムを自動生成する。目的に基づく正当性、早期障害検出、モデル監視など、さまざまな機能を提供します。
論文参考訳（メタデータ） (2023-09-09T07:19:20Z)
ExpeL: LLM Agents Are Experiential Learners [60.54312035818746]
実験学習エージェント(ExpeL)を導入し、パラメトリック更新を必要とせずにエージェント体験から学習できるようにする。我々のエージェントは、経験を自律的に収集し、学習課題の集合から自然言語を用いて知識を抽出する。推論において、エージェントは抽出された洞察と過去の経験をリコールし、情報的決定を行う。
論文参考訳（メタデータ） (2023-08-20T03:03:34Z)
IxDRL: A Novel Explainable Deep Reinforcement Learning Toolkit based on Analyses of Interestingness [0.0]
面白さの分析に基づく新しい枠組みを提案する。本ツールは,興味深い分析から得られたRLエージェント能力の様々な測定方法を提供する。我々のフレームワークはエージェント設計者にRLエージェント能力に関する洞察を与えることができることを示す。
論文参考訳（メタデータ） (2023-07-18T02:43:19Z)
An Interactive Explanatory AI System for Industrial Quality Control [0.8889304968879161]
我々は,ループ間対話型アプローチに向けて,欠陥検出タスクを拡張することを目的としている。本稿では,産業品質管理環境における分類のための対話型支援システムを提案する。
論文参考訳（メタデータ） (2022-03-17T09:04:46Z)
Inverse Online Learning: Understanding Non-Stationary and Reactionary Policies [79.60322329952453]
エージェントが意思決定を行う方法の解釈可能な表現を開発する方法を示す。一連の軌跡に基づく意思決定プロセスを理解することにより,このオンライン学習問題に対して,政策推論問題を逆問題とみなした。本稿では、エージェントがそれらを更新するプロセスと並行して、その影響を遡及的に推定する実用的なアルゴリズムを提案する。 UNOSの臓器提供受諾決定の分析に応用することで、我々のアプローチは意思決定プロセスを管理する要因や時間とともにどのように変化するかに、貴重な洞察をもたらすことができることを実証する。
論文参考訳（メタデータ） (2022-03-14T17:40:42Z)
Explainable Reinforcement Learning for Broad-XAI: A Conceptual Framework and Survey [0.7366405857677226]
強化学習(Reinforcement Learning, RL)法は、ブロードXAIの開発に必要な認知モデルのための潜在的なバックボーンを提供する。 RLは、さまざまなシーケンシャルな意思決定問題の解決に成功している一連のアプローチである。本稿では,現在のXRL研究を統一し,Broad-XAI開発のバックボーンとしてRLを用いるCausal XRL Framework (CXF) という概念的フレームワークを導入することを目的とする。
論文参考訳（メタデータ） (2021-08-20T05:18:50Z)
Explainability in Deep Reinforcement Learning [68.8204255655161]
説明可能な強化学習(XRL)の実現に向けての最近の成果を概観する。エージェントの振る舞いを正当化し、説明することが不可欠である重要な状況において、RLモデルのより良い説明可能性と解釈性は、まだブラックボックスと見なされているものの内部動作に関する科学的洞察を得るのに役立つ。
論文参考訳（メタデータ） (2020-08-15T10:11:42Z)
Dynamics Generalization via Information Bottleneck in Deep Reinforcement Learning [90.93035276307239]
本稿では,RLエージェントのより優れた一般化を実現するために,情報理論正則化目標とアニーリングに基づく最適化手法を提案する。迷路ナビゲーションからロボットタスクまで、さまざまな領域において、我々のアプローチの極端な一般化の利点を実証する。この研究は、タスク解決のために冗長な情報を徐々に取り除き、RLの一般化を改善するための原則化された方法を提供する。
論文参考訳（メタデータ） (2020-08-03T02:24:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。