論文の概要: A Protocol for Continual Explanation of SHAP
- arxiv url: http://arxiv.org/abs/2306.07218v2
- Date: Tue, 20 Jun 2023 09:01:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-22 01:04:12.194968
- Title: A Protocol for Continual Explanation of SHAP
- Title(参考訳): SHAPの継続的な説明のためのプロトコル
- Authors: Andrea Cossu, Francesco Spinnato, Riccardo Guidotti, Davide Bacciu
- Abstract要約: 連続学習におけるSHAP値の説明の振る舞いについて検討する。
本稿では,クラスインクリメンタルなシナリオにおける説明の変化を頑健に評価するための評価プロトコルを提案する。
- 参考スコア(独自算出の注目度): 19.878043419000058
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Continual Learning trains models on a stream of data, with the aim of
learning new information without forgetting previous knowledge. Given the
dynamic nature of such environments, explaining the predictions of these models
can be challenging. We study the behavior of SHAP values explanations in
Continual Learning and propose an evaluation protocol to robustly assess the
change of explanations in Class-Incremental scenarios. We observed that, while
Replay strategies enforce the stability of SHAP values in
feedforward/convolutional models, they are not able to do the same with
fully-trained recurrent models. We show that alternative recurrent approaches,
like randomized recurrent models, are more effective in keeping the
explanations stable over time.
- Abstract(参考訳): 連続学習は、過去の知識を忘れずに新しい情報を学ぶことを目的として、データのストリームでモデルを訓練する。
このような環境の動的性質を考えると、これらのモデルの予測を説明するのは困難である。
連続学習におけるSHAP値説明の振る舞いについて検討し,授業増分シナリオにおける説明の変化を確実に評価するための評価プロトコルを提案する。
Replay戦略はフィードフォワード/畳み込みモデルにおいてSHAP値の安定性を強制するが、完全にトレーニングされたリカレントモデルではそのようにはできない。
我々は、ランダム化再帰モデルのような別の再帰的アプローチは、時間とともに説明を安定させるのにより効果的であることを示す。
関連論文リスト
- Constrained Latent Action Policies for Model-Based Offline Reinforcement Learning [5.012314384895537]
オフラインの強化学習では、環境からの高価なフィードバックがなければ、静的なデータセットを使ってポリシーが学習される。
我々は,観察と行動の連関分布の生成モデルを学習する制約付き潜在行動ポリシー(C-LAP)を提案する。
論文 参考訳(メタデータ) (2024-11-07T09:35:22Z) - Temporal-Difference Variational Continual Learning [89.32940051152782]
現実世界のアプリケーションにおける機械学習モデルの重要な機能は、新しいタスクを継続的に学習する能力である。
継続的な学習設定では、モデルは以前の知識を保持することで新しいタスクの学習のバランスをとるのに苦労することが多い。
複数の先行推定の正則化効果を統合する新たな学習目標を提案する。
論文 参考訳(メタデータ) (2024-10-10T10:58:41Z) - ODE-based Recurrent Model-free Reinforcement Learning for POMDPs [15.030970899252601]
我々は,POMDPを解くために,新しいODEベースのリカレントモデルとモデルレス強化学習フレームワークを組み合わせる。
様々なPO連続制御タスクとメタRLタスクにまたがる手法の有効性を実験的に実証した。
提案手法は,不規則にサンプリングされた時系列をモデル化するODEの能力のため,不規則な観測に対して頑健であることを示す。
論文 参考訳(メタデータ) (2023-09-25T12:13:56Z) - Latent Variable Representation for Reinforcement Learning [131.03944557979725]
モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。
状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。
特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-12-17T00:26:31Z) - Explain, Edit, and Understand: Rethinking User Study Design for
Evaluating Model Explanations [97.91630330328815]
我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。
単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
論文 参考訳(メタデータ) (2021-12-17T18:29:56Z) - Learning State Representations via Retracing in Reinforcement Learning [25.755855290244103]
リトラシングによる学習は、強化学習タスクの状態表現を学習するための自己指導型アプローチである。
本稿では,Retracingによる学習の具体的なインスタンス化であるCycle-Consistency World Model (CCWM)を紹介する。
CCWMは, 試料効率と性能の両面から, 最先端の性能を実現していることを示す。
論文 参考訳(メタデータ) (2021-11-24T16:19:59Z) - Defense Against Explanation Manipulation [46.50517346594092]
本稿では,モデルの内部説明安定性を向上させるために,Reversarial Training on Explanations (ATEX) と呼ばれる新たなトレーニング手法を提案する。
ATEXは最適化における2階微分の関与を避けるため、モデル予測にのみ要件を課す。
また、モデルのスムーズな説明や、モデルに適用した場合の敵のトレーニングの有効性の改善など、さらなるメリットももたらします。
論文 参考訳(メタデータ) (2021-11-08T07:18:34Z) - Beyond Trivial Counterfactual Explanations with Diverse Valuable
Explanations [64.85696493596821]
コンピュータビジョンの応用において、生成的対実法はモデルの入力を摂動させて予測を変更する方法を示す。
本稿では,多様性強化損失を用いて制約される不連続潜在空間における摂動を学習する反事実法を提案する。
このモデルは, 従来の最先端手法と比較して, 高品質な説明を生産する成功率を向上させる。
論文 参考訳(メタデータ) (2021-03-18T12:57:34Z) - Exposing Shallow Heuristics of Relation Extraction Models with Challenge
Data [49.378860065474875]
我々は、TACREDで訓練されたSOTA関係抽出(RE)モデルの故障モードを同定する。
トレーニングの例として、いくつかの課題データを追加することで、モデルのパフォーマンスが向上する。
論文 参考訳(メタデータ) (2020-10-07T21:17:25Z) - Remembering for the Right Reasons: Explanations Reduce Catastrophic
Forgetting [100.75479161884935]
我々は、RRR(Remembering for the Right Reasons)と呼ばれる新しいトレーニングパラダイムを提案する。
RRRは、各例の視覚モデル説明をバッファに格納し、モデルが予測に「正しい理由」を持つことを保証する。
メモリや正規化ベースのアプローチでRRRを容易に追加できることを示し、その結果、忘れを少なくする。
論文 参考訳(メタデータ) (2020-10-04T10:05:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。