論文の概要: GRETEL: A unified framework for Graph Counterfactual Explanation Evaluation

• arxiv url: http://arxiv.org/abs/2206.02957v1
• Date: Tue, 7 Jun 2022 01:03:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-08 13:49:23.832681
• Title: GRETEL: A unified framework for Graph Counterfactual Explanation Evaluation
• Title（参考訳）: GRETEL:グラフ対実説明評価のための統合フレームワーク
• Authors: Mario Alfonso Prado-Romero and Giovanni Stilo
• Abstract要約: Graph Counterfactual Explanations (GCE)は、グラフ学習領域で採用されている説明手法の1つである。 本稿では,GCE メソッドを複数の設定で開発・テストするための統合フレームワーク GRETEL を提案する。
• 参考スコア（独自算出の注目度）: 0.8223798883838329
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine Learning (ML) systems are a building part of the modern tools which impact our daily life in several application domains. Due to their black-box nature, those systems are hardly adopted in application domains (e.g. health, finance) where understanding the decision process is of paramount importance. Explanation methods were developed to explain how the ML model has taken a specific decision for a given case/instance. Graph Counterfactual Explanations (GCE) is one of the explanation techniques adopted in the Graph Learning domain. The existing works of Graph Counterfactual Explanations diverge mostly in the problem definition, application domain, test data, and evaluation metrics, and most existing works do not compare exhaustively against other counterfactual explanation techniques present in the literature. We present GRETEL, a unified framework to develop and test GCE methods in several settings. GRETEL is a highly extensible evaluation framework which promotes the Open Science and the evaluations reproducibility by providing a set of well-defined mechanisms to integrate and manage easily: both real and synthetic datasets, ML models, state-of-the-art explanation techniques, and evaluation measures. To present GRETEL, we show the experiments conducted to integrate and test several synthetic and real datasets with several existing explanation techniques and base ML models.
• Abstract（参考訳）: 機械学習(ml)システムは、いくつかのアプリケーションドメインにおける日々の生活に影響を与えるモダンなツールの構成要素です。 ブラックボックスの性質から、これらのシステムは、決定プロセスを理解することが最も重要なアプリケーションドメイン(例えば、健康、ファイナンス)では、ほとんど採用されない。 MLモデルが特定のケース/インスタンスに対してどのように特定の決定を下したかを説明するために説明法を開発した。 Graph Counterfactual Explanations (GCE)は、グラフ学習領域で採用されている説明手法の1つである。 グラフの反事実説明の既存の作品は、主に問題定義、アプリケーションドメイン、テストデータ、評価メトリクスに分散しており、既存の作品のほとんどは、文献に存在する他の反事実説明技術と徹底的に比較していない。 本稿では,GCE メソッドを複数の設定で開発・テストするための統合フレームワーク GRETEL を提案する。 gretelはオープンサイエンスと評価の再現性を促進する、高度に拡張可能な評価フレームワークであり、実データと合成データセット、mlモデル、最先端の説明技術、評価指標の両方を統合および管理するためのよく定義されたメカニズムセットを提供することによって、再現性を促進する。 GRETELを提案するために,既存の説明手法とベースMLモデルを用いて,複数の合成および実データの統合とテストを行った。

関連論文リスト

• Causal Inference Tools for a Better Evaluation of Machine Learning [0.0]
  本稿では、通常最小方形回帰(OLS)、可変解析(ANOVA)、ロジスティック回帰(ロジスティック回帰)などの重要な統計手法を紹介する。 この文書は研究者や実践者のガイドとして機能し、これらのテクニックがモデル行動、パフォーマンス、公平性に対する深い洞察を提供する方法について詳述している。
  論文  参考訳（メタデータ） (2024-10-02T10:03:29Z)
• MOUNTAINEER: Topology-Driven Visual Analytics for Comparing Local Explanations [6.835413642522898]
  トポロジカルデータ解析(TDA)は、属性を一様グラフ表現に変換するために使用できるため、この領域で有効な方法である。 我々は、新しいトポロジ駆動視覚分析ツールであるMountaineerを紹介し、機械学習の実践者がこれらの表現をインタラクティブに分析し比較できるようにする。 我々は、Mountaineerによって、ブラックボックスMLの説明と、異なる説明の相違の原因を識別する領域を比較できることを示す。
  論文  参考訳（メタデータ） (2024-06-21T19:28:50Z)
• EXACT: Towards a platform for empirically benchmarking Machine Learning model explanation methods [1.6383837447674294]
  本稿では、初期ベンチマークプラットフォームにおいて、様々なベンチマークデータセットと新しいパフォーマンス指標をまとめる。 我々のデータセットには、クラス条件の特徴に対する真実の説明が組み込まれています。 このプラットフォームは、それらが生成する説明の品質において、ポストホックなXAIメソッドのパフォーマンスを評価する。
  論文  参考訳（メタデータ） (2024-05-20T14:16:06Z)
• FIND: A Function Description Benchmark for Evaluating Interpretability Methods [86.80718559904854]
  本稿では,自動解釈可能性評価のためのベンチマークスイートであるFIND(Function Interpretation and Description)を紹介する。 FINDには、トレーニングされたニューラルネットワークのコンポーネントに似た機能と、私たちが生成しようとしている種類の記述が含まれています。 本研究では、事前訓練された言語モデルを用いて、自然言語とコードにおける関数の振る舞いの記述を生成する手法を評価する。
  論文  参考訳（メタデータ） (2023-09-07T17:47:26Z)
• Explainability for Large Language Models: A Survey [59.67574757137078]
  大規模言語モデル(LLM)は、自然言語処理における印象的な能力を示している。 本稿では,トランスフォーマーに基づく言語モデルを記述する手法について,説明可能性の分類法を紹介した。
  論文  参考訳（メタデータ） (2023-09-02T22:14:26Z)
• Truthful Meta-Explanations for Local Interpretability of Machine Learning Models [10.342433824178825]
  本稿では,忠実度に基づく計量である真理度測定に基づいて,局所的メタ説明手法を提案する。 本研究は,すべての概念を具体的に定義し,実験を通じて,技術と計量の両立を実証する。
  論文  参考訳（メタデータ） (2022-12-07T08:32:04Z)
• MACE: An Efficient Model-Agnostic Framework for Counterfactual Explanation [132.77005365032468]
  MACE(Model-Agnostic Counterfactual Explanation)の新たな枠組みを提案する。 MACE法では, 優れた反実例を見つけるための新しいRL法と, 近接性向上のための勾配のない降下法を提案する。 公開データセットの実験は、有効性、空間性、近接性を向上して検証する。
  論文  参考訳（メタデータ） (2022-05-31T04:57:06Z)
• An Extensible Benchmark Suite for Learning to Simulate Physical Systems [60.249111272844374]
  我々は、統一されたベンチマークと評価プロトコルへの一歩を踏み出すために、一連のベンチマーク問題を導入する。 本稿では,4つの物理系と,広く使用されている古典的時間ベースおよび代表的なデータ駆動手法のコレクションを提案する。
  論文  参考訳（メタデータ） (2021-08-09T17:39:09Z)
• Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
  本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。 提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。 分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
  論文  参考訳（メタデータ） (2020-11-13T10:53:27Z)
• A Diagnostic Study of Explainability Techniques for Text Classification [52.879658637466605]
  既存の説明可能性技術を評価するための診断特性のリストを作成する。 そこで本研究では, モデルの性能と有理性との整合性の関係を明らかにするために, 説明可能性手法によって割り当てられた有理性スコアと有理性入力領域の人間のアノテーションを比較した。
  論文  参考訳（メタデータ） (2020-09-25T12:01:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。