論文の概要: State2Explanation: Concept-Based Explanations to Benefit Agent Learning
and User Understanding
- arxiv url: http://arxiv.org/abs/2309.12482v2
- Date: Fri, 10 Nov 2023 16:51:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-13 17:54:53.148802
- Title: State2Explanation: Concept-Based Explanations to Benefit Agent Learning
and User Understanding
- Title（参考訳）: state2explanation: エージェント学習とユーザ理解に役立つ概念に基づく説明
- Authors: Devleena Das, Sonia Chernova, Been Kim
- Abstract要約: シーケンシャルな意思決定設定で概念を定義するデシラタをコントリビュートする。
本稿では,RLエージェントの意思決定に関する概念に基づく説明が,エージェントの学習率をいかに向上させるかを検討する。
我々は、状態-作用ペア間の結合埋め込みモデルを学ぶことを含む統合フレームワーク、State2Explanation(S2E)をコントリビュートする。
- 参考スコア（独自算出の注目度）: 15.503872709445249
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As more non-AI experts use complex AI systems for daily tasks, there has been
an increasing effort to develop methods that produce explanations of AI
decision making that are understandable by non-AI experts. Towards this effort,
leveraging higher-level concepts and producing concept-based explanations have
become a popular method. Most concept-based explanations have been developed
for classification techniques, and we posit that the few existing methods for
sequential decision making are limited in scope. In this work, we first
contribute a desiderata for defining concepts in sequential decision making
settings. Additionally, inspired by the Protege Effect which states explaining
knowledge often reinforces one's self-learning, we explore how concept-based
explanations of an RL agent's decision making can in turn improve the agent's
learning rate, as well as improve end-user understanding of the agent's
decision making. To this end, we contribute a unified framework,
State2Explanation (S2E), that involves learning a joint embedding model between
state-action pairs and concept-based explanations, and leveraging such learned
model to both (1) inform reward shaping during an agent's training, and (2)
provide explanations to end-users at deployment for improved task performance.
Our experimental validations, in Connect 4 and Lunar Lander, demonstrate the
success of S2E in providing a dual-benefit, successfully informing reward
shaping and improving agent learning rate, as well as significantly improving
end user task performance at deployment time.
- Abstract（参考訳）: 非AI専門家が日々のタスクに複雑なAIシステムを使用するようになるにつれ、AIの専門家以外の専門家が理解できるようなAI意思決定の説明を作成する方法の開発が増えている。
この取り組みに向けて、ハイレベルな概念の活用と概念に基づく説明の作成が一般的な方法となっている。
概念に基づくほとんどの説明は分類技術のために開発されており、逐次的意思決定の手法はスコープに限られていると仮定する。
本研究では,まず,逐次意思決定における概念定義のためのデシデラタを提案する。
さらに,知識の説明が自己学習を補強する,というプロテジエフェクトに触発されて,RLエージェントの意思決定に関する概念に基づく説明がエージェントの学習率を向上し,エージェントの意思決定に対するエンドユーザの理解を向上させる方法について考察する。
この目的のために、状態-動作ペアと概念-ベース説明の結合埋め込みモデルを学習し、(1)エージェントのトレーニング中に報酬形成を通知すること、(2)タスクパフォーマンスを改善するためにエンドユーザーに説明を提供する統合フレームワークState2Explanation(S2E)をコントリビュートする。
Connect 4 と Lunar Lander での実験的な検証を行ったところ、S2E は双対ベネフィットを実現し、報酬形成を成功させ、エージェント学習率を向上し、デプロイメント時のエンドユーザータスク性能を大幅に改善することに成功した。
関連論文リスト
- Semifactual Explanations for Reinforcement Learning [1.5320737596132754]
強化学習(Reinforcement Learning、RL)は、エージェントが試行錯誤を通じて環境から学習する学習パラダイムである。
ディープ強化学習(DRL)アルゴリズムは、ニューラルネットワークを使用してエージェントのポリシーを表現し、その決定を解釈しにくくする。
DRLエージェントの動作を説明するには,ユーザの信頼を向上し,エンゲージメントを高め,実際のタスクとの統合を容易にする必要がある。
論文 参考訳（メタデータ） (2024-09-09T08:37:47Z) - Explaining Explainability: Towards Deeper Actionable Insights into Deep
Learning through Second-order Explainability [70.60433013657693]
2階説明可能なAI(SOXAI)は、最近インスタンスレベルからデータセットレベルまで説明可能なAI(XAI)を拡張するために提案されている。
そこで本研究では,SOXAIの動作可能な洞察に基づくトレーニングセットから無関係な概念を除外することで,モデルの性能を向上させることができることを示す。
論文 参考訳（メタデータ） (2023-06-14T23:24:01Z) - Distinguish Before Answer: Generating Contrastive Explanation as
Knowledge for Commonsense Question Answering [61.53454387743701]
本稿では,概念中心のPrompt-bAsed Contrastive Explanation GenerationモデルであるCPACEを提案する。
CPACEは、得られたシンボル知識を、与えられた候補間の差異をよりよく区別するために、対照的な説明に変換する。
本稿では,CSQA,QASC,OBQAの3つの質問回答データセットについて実験を行った。
論文 参考訳（メタデータ） (2023-05-14T12:12:24Z) - Towards Human Cognition Level-based Experiment Design for Counterfactual
Explanations (XAI) [68.8204255655161]
XAI研究の重点は、より理解を深めるために、より実践的な説明アプローチに変わったようだ。
認知科学研究がXAIの進歩に大きく影響を与える可能性のある領域は、ユーザの知識とフィードバックを評価することである。
本研究では,異なる認知レベルの理解に基づく説明の生成と評価を実験する枠組みを提案する。
論文 参考訳（メタデータ） (2022-10-31T19:20:22Z) - Redefining Counterfactual Explanations for Reinforcement Learning:
Overview, Challenges and Opportunities [2.0341936392563063]
AIのほとんどの説明方法は、開発者とエキスパートユーザーに焦点を当てている。
ブラックボックスモデルの出力が変更されるための入力で何が変更されるのかについて、カウンターファクトな説明がユーザにアドバイスします。
カウンターファクトはユーザフレンドリで、AIシステムから望ましいアウトプットを達成するための実行可能なアドバイスを提供する。
論文 参考訳（メタデータ） (2022-10-21T09:50:53Z) - Inverse Online Learning: Understanding Non-Stationary and Reactionary
Policies [79.60322329952453]
エージェントが意思決定を行う方法の解釈可能な表現を開発する方法を示す。
一連の軌跡に基づく意思決定プロセスを理解することにより,このオンライン学習問題に対して,政策推論問題を逆問題とみなした。
本稿では、エージェントがそれらを更新するプロセスと並行して、その影響を遡及的に推定する実用的なアルゴリズムを提案する。
UNOSの臓器提供受諾決定の分析に応用することで、我々のアプローチは意思決定プロセスを管理する要因や時間とともにどのように変化するかに、貴重な洞察をもたらすことができることを実証する。
論文 参考訳（メタデータ） (2022-03-14T17:40:42Z) - Abstraction, Validation, and Generalization for Explainable Artificial
Intelligence [5.142415132534397]
この課題に答えるためにAIを説明する方法が提案されているが、理論の欠如は体系的な抽象化の開発を妨げる。
機械学習と人間学習を統合することで、説明可能なAI(XAI)を統一する枠組みとしてベイズ教育を提案します。
論文 参考訳（メタデータ） (2021-05-16T20:40:23Z) - Weakly Supervised Multi-task Learning for Concept-based Explainability [3.441021278275805]
マルチタスク学習を活用して,意思決定タスクの予測を共同で学習するニューラルネットワークを訓練する。
克服すべき主な課題は、コンセプトラベルの不足と共同学習の2つです。
不均一な品質のラベルを組み合わせることで、両タスクのパフォーマンスを向上させることができることを示す。
論文 参考訳（メタデータ） (2021-04-26T10:42:19Z) - What Did You Think Would Happen? Explaining Agent Behaviour Through
Intended Outcomes [30.056732656973637]
本稿では,意図した結果の概念に基づく強化学習の新たな説明方法を提案する。
これらの説明は、エージェントがそのアクションによって達成しようとしている結果を記述している。
従来の強化学習では,この性質のポストホックな説明のための一般的な手法は不可能であることを示す。
論文 参考訳（メタデータ） (2020-11-10T12:05:08Z) - A Competence-aware Curriculum for Visual Concepts Learning via Question
Answering [95.35905804211698]
本稿では,視覚概念学習のための質問応答型カリキュラムを提案する。
視覚概念を学習するためのニューラルシンボリックな概念学習者と学習プロセスを導くための多次元項目応答理論(mIRT)モデルを設計する。
CLEVRの実験結果から,コンピテンスを意識したカリキュラムにより,提案手法は最先端のパフォーマンスを実現することが示された。
論文 参考訳（メタデータ） (2020-07-03T05:08:09Z) - A general framework for scientifically inspired explanations in AI [76.48625630211943]
我々は、AIシステムの説明を実装可能な一般的なフレームワークの理論的基盤として、科学的説明の構造の概念をインスタンス化する。
このフレームワークは、AIシステムの"メンタルモデル"を構築するためのツールを提供することを目的としている。
論文 参考訳（メタデータ） (2020-03-02T10:32:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。