論文の概要: ProtoX: Explaining a Reinforcement Learning Agent via Prototyping
- arxiv url: http://arxiv.org/abs/2211.03162v1
- Date: Sun, 6 Nov 2022 16:05:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-08 16:09:10.608512
- Title: ProtoX: Explaining a Reinforcement Learning Agent via Prototyping
- Title（参考訳）: ProtoX: プロトタイピングによる強化学習エージェントの説明
- Authors: Ronilo J. Ragodos, Tong Wang, Qihang Lin, Xun Zhou
- Abstract要約: ProtoXは、エージェントの振る舞いをシナリオにプロトタイピングすることで、ブラックボックスエージェントを説明する。
ProtoXは視覚的類似性とシナリオ類似性の両方を考慮する。
ProtoXはオリジナルのブラックボックスエージェントに高い忠実性を実現した。
- 参考スコア（独自算出の注目度）: 21.555942495420815
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While deep reinforcement learning has proven to be successful in solving
control tasks, the "black-box" nature of an agent has received increasing
concerns. We propose a prototype-based post-hoc policy explainer, ProtoX, that
explains a blackbox agent by prototyping the agent's behaviors into scenarios,
each represented by a prototypical state. When learning prototypes, ProtoX
considers both visual similarity and scenario similarity. The latter is unique
to the reinforcement learning context, since it explains why the same action is
taken in visually different states. To teach ProtoX about visual similarity, we
pre-train an encoder using contrastive learning via self-supervised learning to
recognize states as similar if they occur close together in time and receive
the same action from the black-box agent. We then add an isometry layer to
allow ProtoX to adapt scenario similarity to the downstream task. ProtoX is
trained via imitation learning using behavior cloning, and thus requires no
access to the environment or agent. In addition to explanation fidelity, we
design different prototype shaping terms in the objective function to encourage
better interpretability. We conduct various experiments to test ProtoX. Results
show that ProtoX achieved high fidelity to the original black-box agent while
providing meaningful and understandable explanations.
- Abstract（参考訳）: 深層強化学習は制御タスクの解決に成功しているが、エージェントの「ブラックボックス」の性質はますます懸念されている。
本稿では,エージェントの振る舞いをシナリオにプロトタイピングすることでブラックボックスエージェントを説明するプロトタイプベースのポストホックポリシー説明器ProtoXを提案する。
プロトタイプを学ぶ際、ProtoXは視覚的類似性とシナリオ類似性の両方を考慮する。
後者は強化学習の文脈に特有であり、なぜ同じ行動が視覚的に異なる状態で行われるのかを説明する。
視覚の類似性についてプロトックスを教えるために、自己教師学習によるコントラスト学習を用いてエンコーダを事前学習し、それらが時間内に近接して発生し、ブラックボックスエージェントから同じアクションを受ける場合に類似した状態を認識する。
次に、ProtoXが下流タスクに類似したシナリオを適応できるように、アイソメトリ層を追加します。
プロトックスは行動のクローンを使って模倣学習によって訓練され、そのため環境やエージェントへのアクセスは必要ない。
説明の忠実性に加えて,目的関数の異なるプロトタイプ整形語をデザインし,解釈性の向上を図る。
ProtoXをテストするための様々な実験を行った。
その結果, ProtoXは, 有意義かつ理解可能な説明を提供しながら, 元のブラックボックスエージェントに対して高い忠実性を示した。
関連論文リスト
- Sparse Prototype Network for Explainable Pedestrian Behavior Prediction [60.80524827122901]
Sparse Prototype Network (SPN) は,歩行者の将来の行動,軌道,ポーズを同時に予測するための説明可能な手法である。
モノセマンティリティとクラスタリングの制約によって規則化されたプロトタイプは、一貫性と人間の理解可能な機能を学ぶ。
論文 参考訳（メタデータ） (2024-10-16T03:33:40Z) - Diffusion Imitation from Observation [4.205946699819021]
敵対的模倣学習アプローチは、差別者と区別できない状態遷移を生成するために、ジェネレータポリシーを学ぶ。
生成モデルにおける拡散モデルの成功を動機として,観測フレームワークからの逆模倣学習に拡散モデルを統合することを提案する。
論文 参考訳（メタデータ） (2024-10-07T18:49:55Z) - MOCA: Self-supervised Representation Learning by Predicting Masked Online Codebook Assignments [72.6405488990753]
自己教師付き学習は、ビジョントランスフォーマーネットワークの欲求を軽減できる。
所望のプロパティを統一する単段および単段のMOCAを提案する。
我々は,様々な評価プロトコルにおいて,低照度設定と強力な実験結果に対して,最先端の新たな結果を得る。
論文 参考訳（メタデータ） (2023-07-18T15:46:20Z) - EMOTE: An Explainable architecture for Modelling the Other Through
Empathy [26.85666453984719]
エージェントのアクション値関数をモデル化するシンプルなアーキテクチャを設計する。
我々は、他のエージェントの観察状態を変換する「イマジネーションネットワーク」を学習する。
これは、人間の解釈可能な「共感状態」を生成し、学習エージェントに提示されると、他のエージェントを模倣する振る舞いを生成する。
論文 参考訳（メタデータ） (2023-06-01T02:27:08Z) - Sequential Causal Imitation Learning with Unobserved Confounders [82.22545916247269]
猿が猿を見なさい」とは、制度の根底にある仕組みを深く理解せずに「生」の模倣を指して、昔ながらの格言である。
本稿では、エピソード毎に複数の意思決定をしなければならないシーケンシャルセッティングにおける因果模倣学習の問題について検討する。
論文 参考訳（メタデータ） (2022-08-12T13:53:23Z) - Dynamic Prototype Mask for Occluded Person Re-Identification [88.7782299372656]
既存の手法では、目に見える部分を識別するために、余分なネットワークによって提供される身体の手がかりを利用することで、この問題に対処している。
2つの自己明快な事前知識に基づく新しい動的プロトタイプマスク(DPM)を提案する。
この条件下では、隠蔽された表現は、選択された部分空間において自然にうまく整列することができる。
論文 参考訳（メタデータ） (2022-07-19T03:31:13Z) - ProtoTEx: Explaining Model Decisions with Prototype Tensors [27.779971257213553]
ProtoTExは、プロトタイプネットワークに基づく新しいホワイトボックスのNLP分類アーキテクチャである。
本稿では,表現的特徴の欠如を特徴とするクラスを効果的に扱う新しいインターリーブ学習アルゴリズムについて述べる。
プロパガンダ検出タスクでは、ProtoTExの精度はBART-largeと一致し、BERT-largeを超える。
論文 参考訳（メタデータ） (2022-04-11T22:08:45Z) - PsiPhi-Learning: Reinforcement Learning with Demonstrations using
Successor Features and Inverse Temporal Difference Learning [102.36450942613091]
時間差学習(ITD)と呼ばれる逆強化学習アルゴリズムを提案する。
Psi Phi$-learningと呼ばれるデモで強化学習のための新しいアルゴリズムに到達し、オンライン環境の相互作用から学習とITDをシームレスに統合する方法を示します。
論文 参考訳（メタデータ） (2021-02-24T21:12:09Z) - ProtoPShare: Prototype Sharing for Interpretable Image Classification
and Similarity Discovery [9.36640530008137]
本稿では,プロトタイプ部品のパラダイムを取り入れた自己説明手法であるProtoPShareを紹介する。
ProtoPShareの主な特徴は、データ依存のマージプルーニングのおかげで、クラス間でプロトタイプ部品を効率的に共有できることである。
CUB-200-2011とStanford Carsの2つのデータセットでこの結果を検証する。
論文 参考訳（メタデータ） (2020-11-29T11:23:05Z) - Toward Scalable and Unified Example-based Explanation and Outlier
Detection [128.23117182137418]
我々は,試行錯誤の予測に例ベースの説明を与えることのできる,プロトタイプベースの学生ネットワークのより広範な採用を論じる。
類似カーネル以外のプロトタイプベースのネットワークは,分類精度を損なうことなく,有意義な説明と有望な外乱検出結果が得られることを示す。
論文 参考訳（メタデータ） (2020-11-11T05:58:17Z) - This Looks Like That, Because ... Explaining Prototypes for
Interpretable Image Recognition [4.396860522241307]
プロトタイプを説明するべきだ、と私たちは主張する。
本手法は,色調,形状,テクスチャ,コントラスト,彩度の影響を定量化し,プロトタイプの意味を明らかにする。
このような「誤解を招く」プロトタイプを説明することで、プロトタイプベースの分類モデルの解釈可能性とシミュラビリティを向上させることができる。
論文 参考訳（メタデータ） (2020-11-05T14:43:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。