論文の概要: Counterfactual Explanations as Plans
- arxiv url: http://arxiv.org/abs/2502.09205v1
- Date: Thu, 13 Feb 2025 11:45:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-14 13:44:56.067121
- Title: Counterfactual Explanations as Plans
- Title(参考訳): 計画としてのカウンターファクチュアルな説明
- Authors: Vaishak Belle,
- Abstract要約: 我々は、アクションシーケンスの観点で、対実的説明の正式な説明を提供する。
エージェントのモデルを修正したり、エージェントの計画にアクションを提案したりすることで、モデル和解の理由を自然に示します。
- 参考スコア(独自算出の注目度): 6.445239204595516
- License:
- Abstract: There has been considerable recent interest in explainability in AI, especially with black-box machine learning models. As correctly observed by the planning community, when the application at hand is not a single-shot decision or prediction, but a sequence of actions that depend on observations, a richer notion of explanations are desirable. In this paper, we look to provide a formal account of ``counterfactual explanations," based in terms of action sequences. We then show that this naturally leads to an account of model reconciliation, which might take the form of the user correcting the agent's model, or suggesting actions to the agent's plan. For this, we will need to articulate what is true versus what is known, and we appeal to a modal fragment of the situation calculus to formalise these intuitions. We consider various settings: the agent knowing partial truths, weakened truths and having false beliefs, and show that our definitions easily generalize to these different settings.
- Abstract(参考訳): 近年、AI、特にブラックボックス機械学習モデルにおける説明可能性への関心が高まっている。
計画コミュニティが正しく観察しているように、手元にあるアプリケーションが単発決定や予測ではなく、観察に依存する一連のアクションである場合、説明のより豊かな概念が望ましい。
本稿では,アクションシーケンスの点から,「事実説明」の形式的記述を提案する。
エージェントのモデルを修正したり、エージェントの計画にアクションを提案したりすることで、モデル和解の理由を自然に示します。
この目的のためには、何が真実であるかと知られていることを明確にし、これらの直観を定式化するために状況計算の様相的な断片に訴える。
部分的真理を理解し、真理を弱め、虚偽の信念を持つエージェントは、我々の定義がこれらの異なる設定に容易に一般化できることを示します。
関連論文リスト
- ExpProof : Operationalizing Explanations for Confidential Models with ZKPs [33.47144717983562]
ZKP(Zero-Knowledge Proofs)を用いた敵シナリオにおける説明の運用に向けて一歩前進する。
具体的には、一般的な説明可能性アルゴリズムLIMEのZKP対応バージョンについて検討し、ニューラルネットワークとランダムフォレストの性能を評価する。
論文 参考訳(メタデータ) (2025-02-06T04:24:29Z) - Limitations of Agents Simulated by Predictive Models [1.6649383443094403]
エージェントとなると予測モデルが失敗する2つの構造的理由を概説する。
いずれの障害も環境からのフィードバックループを組み込むことで修正可能であることを示す。
我々の治療は、これらの障害モードの統一的なビューを提供し、オンライン学習でオフライン学習ポリシーを微調整することで、より効果的になる理由を疑問視する。
論文 参考訳(メタデータ) (2024-02-08T17:08:08Z) - Dissenting Explanations: Leveraging Disagreement to Reduce Model Overreliance [4.962171160815189]
本稿では, 矛盾する説明, 付随する説明と矛盾する予測について紹介する。
まず、モデル乗法の設定における不一致の説明の利点を考察する。
本研究では,不一致説明が全体の精度を低下させることなく,モデル予測の過度な信頼性を低下させることを実証する。
論文 参考訳(メタデータ) (2023-07-14T21:27:00Z) - Logical Satisfiability of Counterfactuals for Faithful Explanations in
NLI [60.142926537264714]
本稿では, 忠実度スルー・カウンタファクトの方法論について紹介する。
これは、説明に表される論理述語に基づいて、反実仮説を生成する。
そして、そのモデルが表現された論理と反ファクトの予測が一致しているかどうかを評価する。
論文 参考訳(メタデータ) (2022-05-25T03:40:59Z) - Explainability in Process Outcome Prediction: Guidelines to Obtain
Interpretable and Faithful Models [77.34726150561087]
本稿では、プロセス結果予測の分野における説明可能性モデルと説明可能性モデルの忠実性を通して、説明可能性を定義する。
本稿では,イベントログの仕様に基づいて適切なモデルを選択することのできる,X-MOPというガイドラインのセットを提案する。
論文 参考訳(メタデータ) (2022-03-30T05:59:50Z) - Causal Explanations and XAI [8.909115457491522]
説明可能な人工知能(XAI)の重要な目標は、説明を提供することでミスマッチを補うことである。
十分な説明と事実的説明の因果的概念を正式に定義し、さらに一歩踏み出します。
また、この研究のAIにおける公正性に対する重要性についても触れ、パス固有の反現実的公正性の概念を改善するために、実際の因果関係をどのように利用できるかを示しています。
論文 参考訳(メタデータ) (2022-01-31T12:32:10Z) - Do not explain without context: addressing the blind spot of model
explanations [2.280298858971133]
本稿では,機械学習モデルの監視と監査においてしばしば見落とされがちな盲点について述べる。
モデル説明の多くは参照データ分布の選択に直接的または間接的に依存する。
分布の小さな変化が、傾向の変化や、注意深い結論などの説明に劇的な変化をもたらす例を示す。
論文 参考訳(メタデータ) (2021-05-28T12:48:40Z) - Beyond Trivial Counterfactual Explanations with Diverse Valuable
Explanations [64.85696493596821]
コンピュータビジョンの応用において、生成的対実法はモデルの入力を摂動させて予測を変更する方法を示す。
本稿では,多様性強化損失を用いて制約される不連続潜在空間における摂動を学習する反事実法を提案する。
このモデルは, 従来の最先端手法と比較して, 高品質な説明を生産する成功率を向上させる。
論文 参考訳(メタデータ) (2021-03-18T12:57:34Z) - Contrastive Explanations for Model Interpretability [77.92370750072831]
分類モデルの対照的説明を生成する手法を提案する。
本手法は潜在空間へのモデル表現の投影に基づいている。
本研究は,モデル決定のより正確できめ細かな解釈性を提供するためのラベルコントラスト的説明の能力に光を当てた。
論文 参考訳(メタデータ) (2021-03-02T00:36:45Z) - The Struggles of Feature-Based Explanations: Shapley Values vs. Minimal
Sufficient Subsets [61.66584140190247]
機能に基づく説明は、自明なモデルでも問題を引き起こすことを示す。
そこで本研究では,2つの一般的な説明書クラスであるシェープリー説明書と十分最小限の部分集合説明書が,基本的に異なる基底的説明書のタイプをターゲットにしていることを示す。
論文 参考訳(メタデータ) (2020-09-23T09:45:23Z) - What can I do here? A Theory of Affordances in Reinforcement Learning [65.70524105802156]
我々はマルコフ決定過程の学習と計画を行うエージェントのための余裕の理論を開発する。
このケースでは、任意の状況で利用可能なアクションの数を減らすことで、アフォーダンスが二重の役割を担います。
本稿では,よりシンプルで一般化された遷移モデルを推定するために,余裕を学習し,それを利用するアプローチを提案する。
論文 参考訳(メタデータ) (2020-06-26T16:34:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。