論文の概要: Feature Importance Estimation with Self-Attention Networks

• arxiv url: http://arxiv.org/abs/2002.04464v1
• Date: Tue, 11 Feb 2020 15:15:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-02 01:38:23.014954
• Title: Feature Importance Estimation with Self-Attention Networks
• Title（参考訳）: 自己注意ネットワークを用いた特徴重要度推定
• Authors: Bla\v{z} \v{S}krlj, Sa\v{s}o D\v{z}eroski, Nada Lavra\v{c} and Matej Petkovi\v{c}
• Abstract要約: ブラックボックスニューラルネットワークモデルは、産業や科学で広く使われているが、理解と解釈が難しい。 近年,ニューラルネットワークモデルの内部動作に関する洞察を提供するアテンションメカニズムが導入されている。 本稿では、命題(タブラル)データから得られたモデルを説明する手段として、注目に基づくニューラルネットワーク機構を用いて特徴重要度を推定する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Black-box neural network models are widely used in industry and science, yet are hard to understand and interpret. Recently, the attention mechanism was introduced, offering insights into the inner workings of neural language models. This paper explores the use of attention-based neural networks mechanism for estimating feature importance, as means for explaining the models learned from propositional (tabular) data. Feature importance estimates, assessed by the proposed Self-Attention Network (SAN) architecture, are compared with the established ReliefF, Mutual Information and Random Forest-based estimates, which are widely used in practice for model interpretation. For the first time we conduct scale-free comparisons of feature importance estimates across algorithms on ten real and synthetic data sets to study the similarities and differences of the resulting feature importance estimates, showing that SANs identify similar high-ranked features as the other methods. We demonstrate that SANs identify feature interactions which in some cases yield better predictive performance than the baselines, suggesting that attention extends beyond interactions of just a few key features and detects larger feature subsets relevant for the considered learning task.
• Abstract（参考訳）: ブラックボックスニューラルネットワークモデルは、産業や科学で広く使われているが、理解と解釈が難しい。 近年,ニューラルネットワークモデルの内部動作に関する洞察を提供するアテンションメカニズムが導入されている。 本稿では、命題(タブラル)データから得られたモデルを説明する手段として、注目に基づくニューラルネットワーク機構を用いて特徴重要度を推定する。 提案した自己注意ネットワーク(SAN)アーキテクチャによって評価された特徴重要度推定は、モデル解釈に広く用いられている確立されたReliefF、Mutual Information、ランダムフォレストに基づく推定と比較される。 実データ集合と合成データ集合のアルゴリズム間における特徴重要度推定のスケールフリー比較を行い,特徴重要度推定の類似性と相違について検討し,sansが他の手法と類似する特徴を同定したことを示す。 SANが特徴的相互作用を識別できることを実証し、いくつかの重要な特徴の相互作用を超えて注目が拡張され、検討された学習タスクに関連するより大きな特徴部分を検出することを示唆した。

関連論文リスト

• Explainability of Highly Associated Fuzzy Churn Patterns in Binary Classification [21.38368444137596]
  本研究では,多変量パターンの同定と,直観的解釈のためのソフト境界の設定の重要性を強調した。 主な目的は、機械学習モデルと、トップテキストのHUIMを用いたファジィセット理論を使用して、顧客の混乱の高度に関連付けられたパターンを特定することである。 その結果、顧客チャーン予測モデルの説明可能性と有効性を改善する革新的なアプローチが導入された。
  論文  参考訳（メタデータ） (2024-10-21T09:44:37Z)
• Statistical tuning of artificial neural network [0.0]
  本研究では、ニューラルネットワークの理解を強化する方法を紹介し、特に1つの隠蔽層を持つモデルに焦点を当てる。 本稿では,入力ニューロンの意義を統計的に評価し,次元減少のためのアルゴリズムを提案する。 この研究は、ニューラルネットワークを解釈するための堅牢な統計フレームワークを提示することにより、説明可能な人工知能の分野を前進させる。
  論文  参考訳（メタデータ） (2024-09-24T19:47:03Z)
• Exploring Cross-model Neuronal Correlations in the Context of Predicting Model Performance and Generalizability [2.6708879445664584]
  本稿では,新しいモデルを用いたモデルの性能評価手法を提案する。 提案手法は,1つのネットワーク内の各ニューロンに対して,類似の出力を生成する他のネットワークにニューロンが存在するかどうかを判定することにより相関性を評価する。
  論文  参考訳（メタデータ） (2024-08-15T22:57:39Z)
• Cognitive Networks and Performance Drive fMRI-Based State Classification Using DNN Models [0.0]
  我々は、個々の認知状態を分類するために、構造的に異なる2つのDNNモデルと相補的なDNNモデルを用いる。 アーキテクチャ上の違いにもかかわらず、両者のモデルが常に予測精度と個人の認知性能との間に堅牢な関係を生んでいることを示す。
  論文  参考訳（メタデータ） (2024-08-14T15:25:51Z)
• Understanding Self-attention Mechanism via Dynamical System Perspective [58.024376086269015]
  SAM(Self-attention mechanism)は、人工知能の様々な分野で広く使われている。 常微分方程式(ODE)の高精度解における固有剛性現象(SP)は,高性能ニューラルネットワーク(NN)にも広く存在することを示す。 SAMは、本質的なSPを測定するためのモデルの表現能力を高めることができる剛性対応のステップサイズ適応器でもあることを示す。
  論文  参考訳（メタデータ） (2023-08-19T08:17:41Z)
• On the Joint Interaction of Models, Data, and Features [82.60073661644435]
  本稿では,データとモデル間の相互作用を実験的に解析する新しいツールであるインタラクションテンソルを紹介する。 これらの観測に基づいて,特徴学習のための概念的枠組みを提案する。 この枠組みの下では、一つの仮説に対する期待された精度と一対の仮説に対する合意はどちらも閉形式で導出することができる。
  論文  参考訳（メタデータ） (2023-06-07T21:35:26Z)
• Deep networks for system identification: a Survey [56.34005280792013]
  システム識別は、入力出力データから動的システムの数学的記述を学習する。 同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。 我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
  論文  参考訳（メタデータ） (2023-01-30T12:38:31Z)
• Discriminative Attribution from Counterfactuals [64.94009515033984]
  本稿では,特徴属性と反実的説明を組み合わせたニューラルネットワークの解釈可能性について述べる。 本手法は,特徴属性法の性能を客観的に評価するために有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-28T00:53:34Z)
• Learning Neural Causal Models with Active Interventions [83.44636110899742]
  本稿では,データ生成プロセスの根底にある因果構造を素早く識別する能動的介入ターゲット機構を提案する。 本手法は,ランダムな介入ターゲティングと比較して,要求される対話回数を大幅に削減する。 シミュレーションデータから実世界のデータまで,複数のベンチマークにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2021-09-06T13:10:37Z)
• Variational Structured Attention Networks for Deep Visual Representation Learning [49.80498066480928]
  空間的注意マップとチャネル的注意の両方を原則的に共同学習するための統合的深層フレームワークを提案する。 具体的には,確率的表現学習フレームワークに注目度の推定と相互作用を統合する。 ニューラルネットワーク内で推論ルールを実装し,確率パラメータとcnnフロントエンドパラメータのエンドツーエンド学習を可能にする。
  論文  参考訳（メタデータ） (2021-03-05T07:37:24Z)
• Feature Interaction based Neural Network for Click-Through Rate Prediction [5.095988654970358]
  本稿では,3次元関係テンソルを用いて特徴相互作用をモデル化可能な特徴相互作用ベースニューラルネットワーク(FINN)を提案する。 我々のディープFINNモデルは、PNNやDeepFMのような最先端のディープモデルよりも優れていることを示す。 また、我々のモデルは、機能相互作用を効果的に学習し、実世界のデータセットでより良いパフォーマンスを達成することができることを示している。
  論文  参考訳（メタデータ） (2020-06-07T03:53:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。