論文の概要: Explainability in reinforcement learning: perspective and position
- arxiv url: http://arxiv.org/abs/2203.11547v1
- Date: Tue, 22 Mar 2022 09:00:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-23 14:46:58.788070
- Title: Explainability in reinforcement learning: perspective and position
- Title（参考訳）: 強化学習における説明可能性:視点と位置
- Authors: Agneza Krajna, Mario Brcic, Tomislav Lipic and Juraj Doncevic
- Abstract要約: 本稿では, 説明可能なRL領域における既存手法の体系的概要について述べる。
新しく統合された分類法を提案し、既存の分類を構築・拡張する。
- 参考スコア（独自算出の注目度）: 1.299941371793082
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Artificial intelligence (AI) has been embedded into many aspects of people's
daily lives and it has become normal for people to have AI make decisions for
them. Reinforcement learning (RL) models increase the space of solvable
problems with respect to other machine learning paradigms. Some of the most
interesting applications are in situations with non-differentiable expected
reward function, operating in unknown or underdefined environment, as well as
for algorithmic discovery that surpasses performance of any teacher, whereby
agent learns from experimental experience through simple feedback. The range of
applications and their social impact is vast, just to name a few: genomics,
game-playing (chess, Go, etc.), general optimization, financial investment,
governmental policies, self-driving cars, recommendation systems, etc. It is
therefore essential to improve the trust and transparency of RL-based systems
through explanations. Most articles dealing with explainability in artificial
intelligence provide methods that concern supervised learning and there are
very few articles dealing with this in the area of RL. The reasons for this are
the credit assignment problem, delayed rewards, and the inability to assume
that data is independently and identically distributed (i.i.d.). This position
paper attempts to give a systematic overview of existing methods in the
explainable RL area and propose a novel unified taxonomy, building and
expanding on the existing ones. The position section describes pragmatic
aspects of how explainability can be observed. The gap between the parties
receiving and generating the explanation is especially emphasized. To reduce
the gap and achieve honesty and truthfulness of explanations, we set up three
pillars: proactivity, risk attitudes, and epistemological constraints. To this
end, we illustrate our proposal on simple variants of the shortest path
problem.
- Abstract（参考訳）: 人工知能(AI)は人々の日常生活の多くの側面に埋め込まれており、AIが意思決定を行うのが普通になっている。
強化学習(RL)モデルは、他の機械学習パラダイムに関して解決可能な問題の空間を増大させる。
最も興味深い応用は、未知または未定義の環境で動作する非微分可能な期待報酬関数の状況や、任意の教師のパフォーマンスを超えるアルゴリズムによる発見であり、エージェントは実験的な経験から単純なフィードバックを通じて学習する。
ゲノミクス、ゲームプレイング(チェス、Goなど)、一般的な最適化、金融投資、政府政策、自動運転車、レコメンデーションシステムなどだ。
したがって、説明を通じてRLベースのシステムの信頼性と透明性を向上させることが不可欠である。
人工知能における説明可能性を扱うほとんどの記事は、教師付き学習を扱う方法を提供しており、RLの領域でこれを扱う記事はほとんどない。
この原因は、信用割当問題、遅延報酬、データが独立して同一に分散されていると仮定できないこと(すなわち、d)である。
本稿は, 説明可能なRL領域における既存手法を体系的に概説し, 既存の手法を構築・拡張する新しい統合分類法を提案する。
ポジションセクションでは、説明可能性の観察方法に関する実践的な側面を記述している。
説明を受け入れて生成する当事者間のギャップは特に強調される。
ギャップを減らし,説明の誠実さと誠実さを達成するために,積極性,リスク態度,認識論的制約という3つの柱を設定した。
そこで本研究では,最短経路問題の単純変種について述べる。
関連論文リスト
- Identifiable Causal Representation Learning: Unsupervised, Multi-View, and Multi-Environment [10.814585613336778]
因果表現学習は、機械学習のコアとなる強みと因果性を組み合わせることを目的としている。
この論文は、CRLが直接の監督なしに何が可能であるかを調査し、理論的基礎に寄与する。
論文 参考訳（メタデータ） (2024-06-19T09:14:40Z) - Bridging the Sim-to-Real Gap from the Information Bottleneck Perspective [38.845882541261645]
ヒストリカル・インフォメーション・ボトルネック(HIB)と呼ばれる新しい特権知識蒸留法を提案する。
HIBは、変化可能な動的情報を取得することによって、歴史的軌道から特権的な知識表現を学習する。
シミュレーションと実世界の両方のタスクに関する実証実験は、HIBが従来の方法と比較して一般化性を向上させることを示した。
論文 参考訳（メタデータ） (2023-05-29T07:51:00Z) - Redefining Counterfactual Explanations for Reinforcement Learning:
Overview, Challenges and Opportunities [2.0341936392563063]
AIのほとんどの説明方法は、開発者とエキスパートユーザーに焦点を当てている。
ブラックボックスモデルの出力が変更されるための入力で何が変更されるのかについて、カウンターファクトな説明がユーザにアドバイスします。
カウンターファクトはユーザフレンドリで、AIシステムから望ましいアウトプットを達成するための実行可能なアドバイスを提供する。
論文 参考訳（メタデータ） (2022-10-21T09:50:53Z) - Collective eXplainable AI: Explaining Cooperative Strategies and Agent
Contribution in Multiagent Reinforcement Learning with Shapley Values [68.8204255655161]
本研究は,シェープリー値を用いたマルチエージェントRLにおける協調戦略を説明するための新しい手法を提案する。
結果は、差別的でない意思決定、倫理的かつ責任あるAI由来の意思決定、公正な制約の下での政策決定に影響を及ぼす可能性がある。
論文 参考訳（メタデータ） (2021-10-04T10:28:57Z) - Exploratory State Representation Learning [63.942632088208505]
本稿では,XSRL(eXploratory State Representation Learning)と呼ばれる新しい手法を提案する。
一方、コンパクトな状態表現と、その表現から不可解な情報を除去するために使用される状態遷移推定器を共同で学習する。
一方、逆モデルを継続的に訓練し、このモデルの予測誤差に$k$-stepの学習促進ボーナスを加え、発見ポリシーの目的を形成する。
論文 参考訳（メタデータ） (2021-09-28T10:11:07Z) - Knowledge as Invariance -- History and Perspectives of
Knowledge-augmented Machine Learning [69.99522650448213]
機械学習の研究は転換点にある。
研究の関心は、高度にパラメータ化されたモデルのパフォーマンス向上から、非常に具体的なタスクへとシフトしている。
このホワイトペーパーは、機械学習研究におけるこの新興分野の紹介と議論を提供する。
論文 参考訳（メタデータ） (2020-12-21T15:07:19Z) - Explainability in Deep Reinforcement Learning [68.8204255655161]
説明可能な強化学習(XRL)の実現に向けての最近の成果を概観する。
エージェントの振る舞いを正当化し、説明することが不可欠である重要な状況において、RLモデルのより良い説明可能性と解釈性は、まだブラックボックスと見なされているものの内部動作に関する科学的洞察を得るのに役立つ。
論文 参考訳（メタデータ） (2020-08-15T10:11:42Z) - Explainable Reinforcement Learning: A Survey [0.0]
説明可能な人工知能(XAI)はここ数年で勢いを増している。
XAIモデルには1つの有害な特徴がある。
本調査は、説明可能な強化学習(XRL)手法の概要を提供することで、このギャップに対処しようとするものである。
論文 参考訳（メタデータ） (2020-05-13T10:52:49Z) - Explore, Discover and Learn: Unsupervised Discovery of State-Covering
Skills [155.11646755470582]
情報理論的スキル発見の代替手法として,'Explore, Discover and Learn'(EDL)がある。
本稿では,EDLがカバレッジ問題を克服し,学習スキルの初期状態への依存を減らし,ユーザが学習すべき行動について事前定義できるようにするなど,大きなメリットがあることを示す。
論文 参考訳（メタデータ） (2020-02-10T10:49:53Z) - Explainable Active Learning (XAL): An Empirical Study of How Local
Explanations Impact Annotator Experience [76.9910678786031]
本稿では、最近急増している説明可能なAI(XAI)のテクニックをアクティブラーニング環境に導入することにより、説明可能なアクティブラーニング(XAL)の新たなパラダイムを提案する。
本研究は,機械教育のインタフェースとしてのAI説明の利点として,信頼度校正を支援し,リッチな形式の教示フィードバックを可能にすること,モデル判断と認知作業負荷による潜在的な欠点を克服する効果を示す。
論文 参考訳（メタデータ） (2020-01-24T22:52:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。