論文の概要: A Framework and Benchmarking Study for Counterfactual Generating Methods
on Tabular Data
- arxiv url: http://arxiv.org/abs/2107.04680v1
- Date: Fri, 9 Jul 2021 21:06:03 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-14 12:35:24.118700
- Title: A Framework and Benchmarking Study for Counterfactual Generating Methods
on Tabular Data
- Title(参考訳): 表データにおける反事実生成法に関するフレームワークとベンチマーク
- Authors: Raphael Mazzine and David Martens
- Abstract要約: カウンターファクトな説明は、機械学習の予測を説明する効果的な方法と見なされる。
このような説明を導き出そうとするアルゴリズムは、すでに数十ある。
ベンチマーク研究とフレームワークは、実践者がどのテクニックとビルディングブロックが最も適しているかを決定するのに役立ちます。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Counterfactual explanations are viewed as an effective way to explain machine
learning predictions. This interest is reflected by a relatively young
literature with already dozens of algorithms aiming to generate such
explanations. These algorithms are focused on finding how features can be
modified to change the output classification. However, this rather general
objective can be achieved in different ways, which brings about the need for a
methodology to test and benchmark these algorithms. The contributions of this
work are manifold: First, a large benchmarking study of 10 algorithmic
approaches on 22 tabular datasets is performed, using 9 relevant evaluation
metrics. Second, the introduction of a novel, first of its kind, framework to
test counterfactual generation algorithms. Third, a set of objective metrics to
evaluate and compare counterfactual results. And finally, insight from the
benchmarking results that indicate which approaches obtain the best performance
on what type of dataset. This benchmarking study and framework can help
practitioners in determining which technique and building blocks most suit
their context, and can help researchers in the design and evaluation of current
and future counterfactual generation algorithms. Our findings show that,
overall, there's no single best algorithm to generate counterfactual
explanations as the performance highly depends on properties related to the
dataset, model, score and factual point specificities.
- Abstract(参考訳): 事実的説明は、機械学習の予測を説明する効果的な方法と見なされる。
この関心は、そのような説明を生み出すために既に何十ものアルゴリズムが使われている比較的若い文献に反映されている。
これらのアルゴリズムは、出力の分類を変えるために機能をどのように変更できるかを見つけることに重点を置いている。
しかし、この比較的一般的な目的を異なる方法で達成できるため、これらのアルゴリズムをテストし、ベンチマークする方法論が必要となる。
まず、関連する9つの評価指標を用いて、22の表付きデータセットに対する10のアルゴリズム的アプローチに関する大規模なベンチマーク研究を行う。
第二に、反事実生成アルゴリズムをテストするための新しいフレームワークの導入です。
第三に、反事実的な結果を評価し比較するための客観的指標のセットです。
そして最後に、どのアプローチがどのタイプのデータセットで最高のパフォーマンスを得るかを示すベンチマーク結果から洞察を得る。
このベンチマーク研究とフレームワークは、実践者がどのテクニックとビルディングブロックが最も適しているかを決定するのに役立ち、研究者が現在および将来のカウンターファクト生成アルゴリズムの設計と評価に役立ちます。
以上の結果から,パフォーマンスがデータセット,モデル,スコア,事実点の特異性に大きく依存するため,全体として,反実的説明を生成する最善のアルゴリズムは存在しないことがわかった。
関連論文リスト
- A Weighted K-Center Algorithm for Data Subset Selection [70.49696246526199]
サブセット選択は、トレーニングデータの小さな部分を特定する上で重要な役割を果たす、基本的な問題である。
我々は,k中心および不確かさサンプリング目的関数の重み付け和に基づいて,サブセットを計算する新しい係数3近似アルゴリズムを開発した。
論文 参考訳(メタデータ) (2023-12-17T04:41:07Z) - Relation-aware Ensemble Learning for Knowledge Graph Embedding [68.94900786314666]
我々は,既存の手法を関係性に配慮した方法で活用し,アンサンブルを学習することを提案する。
関係認識アンサンブルを用いてこれらのセマンティクスを探索すると、一般的なアンサンブル法よりもはるかに大きな検索空間が得られる。
本稿では,リレーショナルなアンサンブル重みを独立に検索する分割探索合成アルゴリズムRelEns-DSCを提案する。
論文 参考訳(メタデータ) (2023-10-13T07:40:12Z) - Performance Evaluation and Comparison of a New Regression Algorithm [4.125187280299247]
新たに提案した回帰アルゴリズムの性能を,従来の4つの機械学習アルゴリズムと比較した。
GitHubリポジトリにソースコードを提供したので、読者は結果の複製を自由にできます。
論文 参考訳(メタデータ) (2023-06-15T13:01:16Z) - A Gold Standard Dataset for the Reviewer Assignment Problem [117.59690218507565]
類似度スコア(Similarity score)とは、論文のレビューにおいて、レビュアーの専門知識を数値で見積もるものである。
私たちのデータセットは、58人の研究者による477の自己申告された専門知識スコアで構成されています。
2つの論文をレビュアーに関連付けるタスクは、簡単なケースでは12%~30%、ハードケースでは36%~43%である。
論文 参考訳(メタデータ) (2023-03-23T16:15:03Z) - Using Knowledge Graphs for Performance Prediction of Modular
Optimization Algorithms [4.060078409841919]
我々は知識グラフ埋め込み手法を用いて性能予測モデルを構築した。
与えられたアルゴリズムのインスタンスが特定の目標精度を達成できるかどうかを正確に予測できる3つの分類手法を示す。
論文 参考訳(メタデータ) (2023-01-24T09:28:57Z) - Detection and Evaluation of Clusters within Sequential Data [58.720142291102135]
Block Markov Chainsのクラスタリングアルゴリズムは理論的最適性を保証する。
特に、私たちのシーケンシャルデータは、ヒトのDNA、テキスト、動物運動データ、金融市場から派生しています。
ブロックマルコフ連鎖モデルの仮定は、実際に探索データ解析において有意義な洞察を得られることが判明した。
論文 参考訳(メタデータ) (2022-10-04T15:22:39Z) - Early Time-Series Classification Algorithms: An Empirical Comparison [59.82930053437851]
早期時系列分類(Early Time-Series Classification, ETSC)は、できるだけ少ない測定で時系列のクラスを予測するタスクである。
既存のETSCアルゴリズムを公開データと,新たに導入された2つのデータセットで評価した。
論文 参考訳(メタデータ) (2022-03-03T10:43:56Z) - Generative and reproducible benchmarks for comprehensive evaluation of
machine learning classifiers [6.605210393590192]
Diverse and GENerative ML Benchmark (DIGEN)は、機械学習アルゴリズムのベンチマークのための合成データセットの集合である。
詳細なドキュメンテーションと分析を備えたリソースはオープンソースであり、GitHubで公開されている。
論文 参考訳(メタデータ) (2021-07-14T03:58:02Z) - Estimating leverage scores via rank revealing methods and randomization [50.591267188664666]
任意のランクの正方形密度あるいはスパース行列の統計レバレッジスコアを推定するアルゴリズムについて検討した。
提案手法は,高密度およびスパースなランダム化次元性還元変換の合成と階調明細化法を組み合わせることに基づく。
論文 参考訳(メタデータ) (2021-05-23T19:21:55Z) - Benchmarking Simulation-Based Inference [5.3898004059026325]
確率的モデリングの最近の進歩は、確率の数値的評価を必要としないシミュレーションに基づく推論アルゴリズムを多数もたらした。
推論タスクと適切なパフォーマンス指標を備えたベンチマークを,アルゴリズムの初期選択とともに提供する。
性能指標の選択は重要であり、最先端のアルゴリズムでさえ改善の余地があり、逐次推定によりサンプリング効率が向上することがわかった。
論文 参考訳(メタデータ) (2021-01-12T18:31:22Z) - Flow-based Algorithms for Improving Clusters: A Unifying Framework,
Software, and Performance [0.0]
グラフ内のベクトル空間やノードのクラスタリングポイントは、統計データ解析においてユビキタスプリミティブである。
このクラスタ改善問題に対するアルゴリズムの原則に着目する。
ローカルGraphClustering Pythonパッケージでこれらのアルゴリズムの効率的な実装を開発します。
論文 参考訳(メタデータ) (2020-04-20T20:14:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。