論文の概要: GPEX, A Framework For Interpreting Artificial Neural Networks

• arxiv url: http://arxiv.org/abs/2112.09820v1
• Date: Sat, 18 Dec 2021 02:04:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-23 04:34:08.110321
• Title: GPEX, A Framework For Interpreting Artificial Neural Networks
• Title（参考訳）: ニューラルネットワークを解釈するためのフレームワークgpex
• Authors: Amir Akbarnejad, Gilbert Bigras, Nilanjan Ray
• Abstract要約: 機械学習の研究者たちは、解釈可能性と予測性能のトレードオフについて長年言及してきた。 本稿では,上記の2つの手法のギャップを縮める枠組みを提案する。 我々は,この手法を用いて,M may データセットに関する ANN の判断を説明する。
• 参考スコア（独自算出の注目度）: 13.020122353444497
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine learning researchers have long noted a trade-off between interpretability and prediction performance. On the one hand, traditional models are often interpretable to humans but they cannot achieve high prediction performances. At the opposite end of the spectrum, deep models can achieve state-of-the-art performances in many tasks. However, deep models' predictions are known to be uninterpretable to humans. In this paper we present a framework that shortens the gap between the two aforementioned groups of methods. Given an artificial neural network (ANN), our method finds a Gaussian process (GP) whose predictions almost match those of the ANN. As GPs are highly interpretable, we use the trained GP to explain the ANN's decisions. We use our method to explain ANNs' decisions on may datasets. The explanations provide intriguing insights about the ANNs' decisions. With the best of our knowledge, our inference formulation for GPs is the first one in which an ANN and a similarly behaving Gaussian process naturally appear. Furthermore, we examine some of the known theoretical conditions under which an ANN is interpretable by GPs. Some of those theoretical conditions are too restrictive for modern architectures. However, we hypothesize that only a subset of those theoretical conditions are sufficient. Finally, we implement our framework as a publicly available tool called GPEX. Given any pytorch feed-forward module, GPEX allows users to interpret any ANN subcomponent of the module effortlessly and without having to be involved in the inference algorithm. GPEX is publicly available online:www.github.com/Nilanjan-Ray/gpex
• Abstract（参考訳）: 機械学習の研究者は、解釈可能性と予測性能のトレードオフを長い間指摘してきた。 一方、伝統的なモデルはしばしば人間に解釈できるが、高い予測性能を達成できない。 スペクトルの反対側では、深いモデルは多くのタスクで最先端のパフォーマンスを達成できます。 しかし、深層モデルの予測は人間には解釈できないことが知られている。 本稿では,上記の2つの手法群間のギャップを短縮する枠組みを提案する。 人工ニューラルネットワーク(ANN)を用いて,予測がANNとほぼ一致するガウス過程(GP)を求める。 GPは高度に解釈可能であるため、トレーニングされたGPを用いてANNの決定を説明する。 我々は,この手法を用いて,M may データセットに関する ANN の決定を説明する。 これらの説明は、ANNの意思決定に関する興味深い洞察を提供する。 我々の知る限りでは、GPに対する推論の定式化は、ANNと同様の振る舞いを持つガウス過程が自然に現れる最初のものである。 さらに, ANN が GP で解釈可能な理論条件についても検討した。 これらの理論的条件のいくつかは、近代建築には制限的すぎる。 しかし、これらの理論条件のサブセットのみが十分であると仮定する。 最後に、GPEXと呼ばれる公開ツールとしてフレームワークを実装します。 ピトルチフィードフォワードモジュールが与えられた場合、GPEXはユーザーが推論アルゴリズムに関わらなくても、モジュールのANNサブコンポーネントを自由に解釈できる。 GPEXはオンラインで公開されている。www.github.com/Nilanjan-Ray/gpex

関連論文リスト

• The Heterophilic Snowflake Hypothesis: Training and Empowering GNNs for Heterophilic Graphs [59.03660013787925]
  ヘテロフィリー・スノーフレーク仮説を導入し、ヘテロ親和性グラフの研究をガイドし、促進するための効果的なソリューションを提供する。 観察の結果,我々のフレームワークは多種多様なタスクのための多目的演算子として機能することがわかった。 さまざまなGNNフレームワークに統合することができ、パフォーマンスを詳細に向上し、最適なネットワーク深さを選択するための説明可能なアプローチを提供する。
  論文  参考訳（メタデータ） (2024-06-18T12:16:00Z)
• Spatio-Spectral Graph Neural Networks [50.277959544420455]
  比スペクトルグラフネットワーク(S$2$GNN)を提案する。 S$2$GNNは空間的およびスペクトル的にパラメータ化されたグラフフィルタを組み合わせる。 S$2$GNNsは、MPGNNsよりも厳密な近似理論誤差境界を生じる。
  論文  参考訳（メタデータ） (2024-05-29T14:28:08Z)
• Multi-layer random features and the approximation power of neural networks [4.178980693837599]
  再現カーネルヒルベルト空間はアーキテクチャによって近似できる関数のみを含むことを証明している。 NNGPの積分作用素の固有値が$k-n-frac23$よりも遅く、$k$が固有値の順序である場合、我々の定理はバロンの定理よりも簡潔なニューラルネットワーク近似を保証する。
  論文  参考訳（メタデータ） (2024-04-26T14:57:56Z)
• Neural Networks with (Low-Precision) Polynomial Approximations: New Insights and Techniques for Accuracy Improvement [13.406378419824003]
  非ポリノミカル関数を近似に置き換えることは、プライバシ保護機械学習の標準的なプラクティスである。 ニューラルネットワーク(PANN)の近似と呼ばれる結果のニューラルネットワークは、高度な暗号システムと互換性がある。 PANNにおける近似誤差の効果について説明する。 PANNの推測精度を向上させるための手法を提案する。
  論文  参考訳（メタデータ） (2024-02-17T08:54:25Z)
• Machine learning frontier orbital energies of nanodiamonds [0.0]
  我々は5,089個のダイヤモンドおよびナノダイヤモンド構造とそのフロンティア軌道エネルギーからなる新しいデータセットND5kを紹介する。 ND5k構造は密結合密度汎関数理論(DFTB)により最適化され、そのフロンティア軌道エネルギーはPBE0ハイブリッド汎関数理論(DFT)を用いて計算される。 また,ND5kでの補間) で訓練されたように, 同様の構造のフロンティア軌道エネルギーを予測する機械学習モデルを比較し, より大きな構造への外挿能力を検証した。
  論文  参考訳（メタデータ） (2022-09-30T15:18:49Z)
• Superiority of GNN over NN in generalizing bandlimited functions [6.3151583550712065]
  グラフニューラルネットワーク(GNN)は、さまざまなアプリケーションにまたがってグラフベースの情報を処理するための強力なリソースとして登場した。 本研究では,これらの分類におけるGNNの習熟度について検討する。 以上の結果から,GNNを用いた帯域制限関数を$varepsilon$-errorマージン内で一般化する上で,高い効率性を示した。
  論文  参考訳（メタデータ） (2022-06-13T05:15:12Z)
• EIGNN: Efficient Infinite-Depth Graph Neural Networks [51.97361378423152]
  グラフニューラルネットワーク(GNN)は多くのアプリケーションでグラフ構造化データのモデリングに広く利用されている。 この制限により、無限深度GNNモデルを提案し、これをEIGNN(Efficient Infinite-Depth Graph Neural Networks)と呼ぶ。 EIGNNは、最近のベースラインよりも長距離依存関係をキャプチャする能力が優れており、常に最先端のパフォーマンスを実現していることを示す。
  論文  参考訳（メタデータ） (2022-02-22T08:16:58Z)
• Kernel Based Progressive Distillation for Adder Neural Networks [71.731127378807]
  追加のみを含むAdder Neural Networks(ANN)は、エネルギー消費の少ないディープニューラルネットワークを新たに開発する方法を提供する。 すべての畳み込みフィルタを加算フィルタで置き換える場合、精度の低下がある。 本稿では,トレーニング可能なパラメータを増大させることなく,ANNの性能を向上するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-09-28T03:29:19Z)
• How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks [80.55378250013496]
  勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。 グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
  論文  参考訳（メタデータ） (2020-09-24T17:48:59Z)
• Predicting the outputs of finite deep neural networks trained with noisy gradients [1.1470070927586014]
  広深部ニューラルネットワーク(DNN)をガウス過程(GP)として近似して研究する最近の研究のシリーズ 本稿では、雑音、重み減衰、有限幅を含むDNNトレーニングプロトコルについて考察する。 その後、この非ガウス過程を分析するために解析的枠組みが導入され、GPからの偏差は有限幅で制御される。
  論文  参考訳（メタデータ） (2020-04-02T18:00:01Z)
• Infinitely Wide Graph Convolutional Networks: Semi-supervised Learning via Gaussian Processes [144.6048446370369]
  グラフ畳み込みニューラルネットワーク(GCN)は近年,グラフに基づく半教師付き半教師付き分類において有望な結果を示した。 グラフに基づく半教師付き学習のためのGCN(GPGC)を用いたGP回帰モデルを提案する。 GPGCを評価するための広範囲な実験を行い、他の最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-02-26T10:02:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。