論文の概要: The impact of feature importance methods on the interpretation of defect
classifiers
- arxiv url: http://arxiv.org/abs/2202.02389v1
- Date: Fri, 4 Feb 2022 21:00:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-08 15:10:28.520554
- Title: The impact of feature importance methods on the interpretation of defect
classifiers
- Title（参考訳）: 特徴重要度法が欠陥分類器の解釈に及ぼす影響
- Authors: Gopi Krishnan Rajbahadur, Shaowei Wang, Yasutaka Kamei, Ahmed E.
Hassan
- Abstract要約: 我々は18のソフトウェアプロジェクトと6つのよく使用される分類器のケーススタディにより,研究対象の分類器に関連する特徴的重要性のランクの一致を評価した。
調査対象のCA法では,各データセットの上位1位と上位3位に記載された特徴を含め,計算された特徴量のランクは強い一致を示した。
CFSのような単純な手法であっても,これらの特徴相互作用の除去はCAとCSの手法との整合性を向上させることが実証された。
- 参考スコア（独自算出の注目度）: 13.840006058766766
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Classifier specific (CS) and classifier agnostic (CA) feature importance
methods are widely used (often interchangeably) by prior studies to derive
feature importance ranks from a defect classifier. However, different feature
importance methods are likely to compute different feature importance ranks
even for the same dataset and classifier. Hence such interchangeable use of
feature importance methods can lead to conclusion instabilities unless there is
a strong agreement among different methods. Therefore, in this paper, we
evaluate the agreement between the feature importance ranks associated with the
studied classifiers through a case study of 18 software projects and six
commonly used classifiers. We find that: 1) The computed feature importance
ranks by CA and CS methods do not always strongly agree with each other. 2) The
computed feature importance ranks by the studied CA methods exhibit a strong
agreement including the features reported at top-1 and top-3 ranks for a given
dataset and classifier, while even the commonly used CS methods yield vastly
different feature importance ranks. Such findings raise concerns about the
stability of conclusions across replicated studies. We further observe that the
commonly used defect datasets are rife with feature interactions and these
feature interactions impact the computed feature importance ranks of the CS
methods (not the CA methods). We demonstrate that removing these feature
interactions, even with simple methods like CFS improves agreement between the
computed feature importance ranks of CA and CS methods. In light of our
findings, we provide guidelines for stakeholders and practitioners when
performing model interpretation and directions for future research, e.g.,
future research is needed to investigate the impact of advanced feature
interaction removal methods on computed feature importance ranks of different
CS methods.
- Abstract（参考訳）: 分類器特異性(CS)と分類器非依存性(CA)の特徴的重要度法(CA)は、欠陥分類器から特徴的重要性のランクを導出するために、先行研究によって広く用いられている。
しかし、異なる特徴重要度法は、同じデータセットと分類器であっても、異なる特徴重要度を計算する可能性が高い。
したがって、これらの交換可能な特徴重要メソッドの使用は、異なる方法の間に強い一致がない限り、結論不安定につながる可能性がある。
そこで本稿では,18のソフトウェアプロジェクトと6つの一般的な分類器のケーススタディを通して,研究対象の分類器に関連する特徴的重要度の間の一致度を評価する。
私たちはそれを見つけました
1) ca と cs 法による計算された特徴量ランクは必ずしも互いに強く一致しない。
2)ca法で計算された特徴重要度ランクは,与えられたデータセットと分類器の上位1位と上位3位で報告される特徴を含む強い一致を示し,一般のcs法でも特徴重要度が著しく異なる。
このような発見は、複製された研究における結論の安定性に関する懸念を引き起こす。
さらに,一般的に使用される欠陥データセットは特徴的相互作用を伴っており,これらの特徴的相互作用はcs法(ca法ではない)の特徴的重要度を計算した。
CFSのような単純な手法であっても,これらの特徴相互作用の除去は,CA法とCS法の計算された特徴重要ランクの一致を改善することを実証する。
本研究は,先進的特徴相互作用除去法がCS手法の計算的特徴重要度に与える影響を調査するために,将来の研究のモデル解釈と方向性を行う際の利害関係者や実践者に対するガイドラインを提供する。
関連論文リスト
- Augmented Functional Random Forests: Classifier Construction and Unbiased Functional Principal Components Importance through Ad-Hoc Conditional Permutations [0.0]
本稿では,木に基づく手法と関数型データ解析を統合した新しい教師付き分類手法を提案する。
機能的分類木と機能的ランダム林の拡張版を提案し,機能的主成分の重要性を評価するための新しいツールを取り入れた。
論文 参考訳（メタデータ） (2024-08-23T15:58:41Z) - Variable Importance in High-Dimensional Settings Requires Grouping [19.095605415846187]
Conditional Permutation Importance (CPI)は、そのような場合のPIの制限をバイパスする。
クラスタリングまたはいくつかの事前知識を介して統計的に変数をグループ化すると、ある程度のパワーバックが得られる。
重み付けにより拡張された手法は,高相関なグループであっても,型Iエラーを制御可能であることを示す。
論文 参考訳（メタデータ） (2023-12-18T00:21:47Z) - Comparing Explanation Methods for Traditional Machine Learning Models
Part 2: Quantifying Model Explainability Faithfulness and Improvements with
Dimensionality Reduction [0.0]
忠実さ」または「忠実さ」とは、割り当てられた特徴の重要性と、その特徴のモデル性能への貢献の対応を指す。
本研究は,関係する特徴を限定することによる説明可能性の向上と,異なる説明可能性手法の相対的忠実性を知ることから,初めて説明可能性の向上を定量化した1つである。
論文 参考訳（メタデータ） (2022-11-18T17:15:59Z) - Multivariate feature ranking of gene expression data [62.997667081978825]
ペアワイズ相関とペアワイズ整合性に基づく2つの新しい多変量特徴ランキング手法を提案する。
提案手法は, クラスタリング変動, チ・スクエアド, 相関, 情報ゲイン, ReliefF および Significance の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-11-03T17:19:53Z) - ACP++: Action Co-occurrence Priors for Human-Object Interaction
Detection [102.9428507180728]
ヒューマン・オブジェクト・インタラクション(HOI)検出のタスクにおける一般的な問題は、多数のHOIクラスが少数のラベル付き例しか持たないことである。
我々は、人間と物体の相互作用の間に自然の相関関係と反相関が存在することを観察した。
我々は、これらの先行知識を学習し、特に稀なクラスにおいて、より効果的な訓練に活用する手法を提案する。
論文 参考訳（メタデータ） (2021-09-09T06:02:50Z) - MCDAL: Maximum Classifier Discrepancy for Active Learning [74.73133545019877]
近年の最先端のアクティブラーニング手法は, 主にGAN(Generative Adversarial Networks)をサンプル取得に活用している。
本稿では,MCDAL(Maximum Discrepancy for Active Learning)と呼ぶ新しいアクティブラーニングフレームワークを提案する。
特に,両者の差分を最大化することにより,より厳密な決定境界を学習する2つの補助的分類層を利用する。
論文 参考訳（メタデータ） (2021-07-23T06:57:08Z) - BCFNet: A Balanced Collaborative Filtering Network with Attention
Mechanism [106.43103176833371]
協調フィルタリング(CF)ベースの推奨方法が広く研究されている。
BCFNet(Balanced Collaborative Filtering Network)という新しい推薦モデルを提案する。
さらに注意機構は、暗黙のフィードバックの中で隠れた情報をよりよく捉え、ニューラルネットワークの学習能力を強化するように設計されている。
論文 参考訳（メタデータ） (2021-03-10T14:59:23Z) - Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。
提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。
分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
論文 参考訳（メタデータ） (2020-11-13T10:53:27Z) - Linear Classifier Combination via Multiple Potential Functions [0.6091702876917279]
決定境界からクラスセントロイドまでの距離との距離に基づいてスコアリング関数を計算する新しい概念を提案する。
重要な性質は、提案されたスコア関数がすべての線形基底分類器に対して同じ性質を持つことである。
論文 参考訳（メタデータ） (2020-10-02T08:11:51Z) - Towards a More Reliable Interpretation of Machine Learning Outputs for
Safety-Critical Systems using Feature Importance Fusion [0.0]
我々は新しい融合距離を導入し、それを最先端技術と比較する。
我々のアプローチは、地上の真実が知られている合成データで検証される。
その結果、我々の機能重要度アンサンブルフレームワークは、既存の方法に比べて、機能重要度エラーが15%少ないことがわかった。
論文 参考訳（メタデータ） (2020-09-11T15:51:52Z) - Detecting Human-Object Interactions with Action Co-occurrence Priors [108.31956827512376]
人-物間相互作用(HOI)検出タスクにおける一般的な問題は、多数のHOIクラスが少数のラベル付き例しか持たないことである。
我々は、人間と物体の相互作用の間に自然の相関と反相関が存在することを観察した。
我々はこれらの先行知識を学習し、特に稀なクラスにおいてより効果的な訓練に活用する手法を提案する。
論文 参考訳（メタデータ） (2020-07-17T02:47:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。