論文の概要: How good Neural Networks interpretation methods really are? A quantitative benchmark

• arxiv url: http://arxiv.org/abs/2304.02383v1
• Date: Wed, 5 Apr 2023 11:47:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-06 12:42:08.561477
• Title: How good Neural Networks interpretation methods really are? A quantitative benchmark
• Title（参考訳）: ニューラルネットワークの解釈方法が本当に優れているか? 定量的ベンチマーク
• Authors: Antoine Passemiers, Pietro Folco, Daniele Raimondi, Giovanni Birolo, Yves Moreau, Piero Fariselli
• Abstract要約: Saliency Maps (SM) はディープラーニングモデル決定の解釈に広く利用されている。 非常に非線形な問題において、線形特徴選択(FS)法は関連する説明変数の強調に失敗する。 本稿では,ニューラルネットワーク (NN) 解釈手法の定量的評価手法を提案する。
• 参考スコア（独自算出の注目度）: 1.9573380763700712
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Saliency Maps (SMs) have been extensively used to interpret deep learning models decision by highlighting the features deemed relevant by the model. They are used on highly nonlinear problems, where linear feature selection (FS) methods fail at highlighting relevant explanatory variables. However, the reliability of gradient-based feature attribution methods such as SM has mostly been only qualitatively (visually) assessed, and quantitative benchmarks are currently missing, partially due to the lack of a definite ground truth on image data. Concerned about the apophenic biases introduced by visual assessment of these methods, in this paper we propose a synthetic quantitative benchmark for Neural Networks (NNs) interpretation methods. For this purpose, we built synthetic datasets with nonlinearly separable classes and increasing number of decoy (random) features, illustrating the challenge of FS in high-dimensional settings. We also compare these methods to conventional approaches such as mRMR or Random Forests. Our results show that our simple synthetic datasets are sufficient to challenge most of the benchmarked methods. TreeShap, mRMR and LassoNet are the best performing FS methods. We also show that, when quantifying the relevance of a few non linearly-entangled predictive features diluted in a large number of irrelevant noisy variables, neural network-based FS and interpretation methods are still far from being reliable.
• Abstract（参考訳）: Saliency Maps (SMs) は、ディープラーニングモデルの決定をモデルが関連すると考えられる特徴を強調することによって解釈するために広く利用されている。 非常に非線形な問題において、線形特徴選択(FS)法は関連する説明変数の強調に失敗する。 しかし、SMのような勾配に基づく特徴帰属手法の信頼性は、主に質的に(視覚的に)評価され、画像データに明確な根拠がないために、現在定量的なベンチマークが欠落している。 本稿では,これらの手法の視覚的評価によってもたらされるアポテニックバイアスについて,ニューラルネットワーク(NN)解釈手法の定量的評価手法を提案する。 この目的のために、非線形分離可能なクラスとデコイ(ランダム)の数が増加する合成データセットを構築し、高次元設定におけるFSの課題を明らかにした。 また,これらの手法をmmrやランダム林など従来の手法と比較した。 その結果,単純な合成データセットは,ベンチマーク手法のほとんどに挑戦するには十分であることが判明した。 TreeShap、mRMR、LassoNetは最高のFSメソッドである。 また,無関係な雑音変数に希釈された数個の非線形絡み合った予測特徴の関連性を定量化する場合,ニューラルネットワークに基づくFSと解釈手法は信頼性に欠けることを示す。

関連論文リスト

• Joint Diffusion Processes as an Inductive Bias in Sheaf Neural Networks [14.224234978509026]
  せん断ニューラルネットワーク(SNN)は自然にグラフニューラルネットワーク(GNN)を拡張する 構造図をより直感的に理解するための2つの新しいせん断学習手法を提案する。 評価では,これまでのSNNで使用されている実世界のベンチマークの限界を示す。
  論文  参考訳（メタデータ） (2024-07-30T07:17:46Z)
• Masked Gamma-SSL: Learning Uncertainty Estimation via Masked Image Modeling [19.000718685399935]
  本研究では,単一の前方通過で高品質な不確実性推定を行うセマンティックセグメンテーションネットワークを提案する。 我々は、Masked Image Modeling (MIM) アプローチにより、基礎モデルと非ラベルデータセットの一般的な表現を利用する。 安全クリティカルなアプリケーションで使用されるニューラルネットワークでは、トレーニングデータのバイアスがエラーにつながる可能性がある。
  論文  参考訳（メタデータ） (2024-02-27T15:49:54Z)
• A Compact Representation for Bayesian Neural Networks By Removing Permutation Symmetry [22.229664343428055]
  置換の役割は、多くの転置計量によって有意に定量化できることを示す。 次に、最近提案されたRebasin法により、HMCサンプルをコンパクトな表現にまとめることができることを示す。 このコンパクトな表現により、サンプル法と変分推論とでトレーニングされたBNNを直接重み空間で比較できることが示される。
  論文  参考訳（メタデータ） (2023-12-31T23:57:05Z)
• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• Layer-wise Linear Mode Connectivity [52.6945036534469]
  ニューラルネットワークパラメータの平均化は、2つの独立したモデルの知識の直感的な方法である。 フェデレートラーニングにおいて最も顕著に用いられている。 私たちは、単一グループやグループを平均化するモデルの性能を分析します。
  論文  参考訳（メタデータ） (2023-07-13T09:39:10Z)
• A neural network based model for multi-dimensional nonlinear Hawkes processes [0.0]
  非線形ホークスプロセスに適合するニューラルネットワークに基づく非パラメトリック手法であるNNNH(Neural Network for Descent Hawkes Process)を導入する。 本結果は,非線形ホークス過程の複雑さを正確に把握するNNNH法の有効性を強調した。
  論文  参考訳（メタデータ） (2023-03-06T12:31:19Z)
• Uncertainty Estimation by Fisher Information-based Evidential Deep Learning [61.94125052118442]
  不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。 漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。 特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
  論文  参考訳（メタデータ） (2023-03-03T16:12:59Z)
• Bayesian Evidential Learning for Few-Shot Classification [22.46281648187903]
  Few-Shot 分類は、非常に限定されたラベル付きサンプルをベースクラスから新しいクラスに一般化することを目的としている。 最先端のソリューションは、サンプル間の距離を計算するための良い計量と表現空間を見つけることを含む。 有望な精度性能にもかかわらず、計量ベースのFSC手法の不確実性を効果的にモデル化する方法は依然として課題である。
  論文  参考訳（メタデータ） (2022-07-19T03:58:00Z)
• NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
  本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。 種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
  論文  参考訳（メタデータ） (2022-02-07T12:30:45Z)
• Exploring Complementary Strengths of Invariant and Equivariant Representations for Few-Shot Learning [96.75889543560497]
  多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。 少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。 幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
  論文  参考訳（メタデータ） (2021-03-01T21:14:33Z)
• Deep Magnification-Flexible Upsampling over 3D Point Clouds [103.09504572409449]
  本稿では,高密度点雲を生成するためのエンドツーエンド学習ベースのフレームワークを提案する。 まずこの問題を明示的に定式化し、重みと高次近似誤差を判定する。 そこで我々は,高次改良とともに,統一重みとソート重みを適応的に学習する軽量ニューラルネットワークを設計する。
  論文  参考訳（メタデータ） (2020-11-25T14:00:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。