論文の概要: GPEX, A Framework For Interpreting Artificial Neural Networks

• arxiv url: http://arxiv.org/abs/2112.09820v2
• Date: Wed, 10 Jan 2024 20:17:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-13 04:36:53.023744
• Title: GPEX, A Framework For Interpreting Artificial Neural Networks
• Title（参考訳）: ニューラルネットワークを解釈するためのフレームワークgpex
• Authors: Amir Akbarnejad, Gilbert Bigras, Nilanjan Ray
• Abstract要約: 我々は、深層ニューラルネットワーク(ANN)のブラックボックスをアンボックスすることを約束している。 本稿では, ANN の出力と ANN の出力を一致させるため, GP の後方に低バウンドの証拠を導出する。 数十万のインジェクションポイントとGPUアクセラレーションでGPをトレーニングできる新しい計算技術を使用します。
• 参考スコア（独自算出の注目度）: 6.22307828185024
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The analogy between Gaussian processes (GPs) and deep artificial neural networks (ANNs) has received a lot of interest, and has shown promise to unbox the blackbox of deep ANNs. Existing theoretical works put strict assumptions on the ANN (e.g. requiring all intermediate layers to be wide, or using specific activation functions). Accommodating those theoretical assumptions is hard in recent deep architectures, and those theoretical conditions need refinement as new deep architectures emerge. In this paper we derive an evidence lower-bound that encourages the GP's posterior to match the ANN's output without any requirement on the ANN. Using our method we find out that on 5 datasets, only a subset of those theoretical assumptions are sufficient. Indeed, in our experiments we used a normal ResNet-18 or feed-forward backbone with a single wide layer in the end. One limitation of training GPs is the lack of scalability with respect to the number of inducing points. We use novel computational techniques that allow us to train GPs with hundreds of thousands of inducing points and with GPU acceleration. As shown in our experiments, doing so has been essential to get a close match between the GPs and the ANNs on 5 datasets. We implement our method as a publicly available tool called GPEX: https://github.com/amirakbarnejad/gpex. On 5 datasets (4 image datasets, and 1 biological dataset) and ANNs with 2 types of functionality (classifier or attention-mechanism) we were able to find GPs whose outputs closely match those of the corresponding ANNs. After matching the GPs to the ANNs, we used the GPs' kernel functions to explain the ANNs' decisions. We provide more than 200 explanations (around 30 explanations in the paper and the rest in the supplementary) which are highly interpretable by humans and show the ability of the obtained GPs to unbox the ANNs' decisions.
• Abstract（参考訳）: ガウス過程(GP)とディープ人工知能ニューラルネットワーク(ANN)の類似性は多くの関心を集めており、ディープANNのブラックボックスをアンボックスすることを約束している。 既存の理論的な研究は、ANNに厳密な仮定を課した(例えば、すべての中間層を広くする必要がある、あるいは特定のアクティベーション関数を使用する)。 これらの理論的な仮定は、最近のディープ・アーキテクチャーでは困難であり、新しいディープ・アーキテクチャーが出現するにつれて、それらの理論的な条件は洗練する必要がある。 本稿では, ANN の出力と ANN の出力を一致させるため, GP の後方に低バウンドの証拠を導出する。 この方法を用いることで、5つのデータセットにおいて、これらの理論上の仮定のサブセットのみが十分であることが分かる。 実際、私たちの実験では、通常resnet-18またはフィードフォワードバックボーンを使用していました。 GPの訓練の1つの制限は、誘導点の数に関するスケーラビリティの欠如である。 我々は、数十万の誘導ポイントとGPUアクセラレーションでGPをトレーニングできる新しい計算技術を使用している。 我々の実験で示されているように、5つのデータセット上でGPとANNの密接な一致を得るためには、そうすることが不可欠である。 我々は、gpex と呼ばれる公開ツールとして、このメソッドを実装しています。 5つのデータセット(4つの画像データセットと1つの生物学的データセット)と2種類の機能(分類器または注意機構)を持つANNでは、出力が対応するANNのものと密接に一致するGPを見つけることができた。 GPとANNをマッチングした後、我々はGPのカーネル関数を用いてANNの決定を説明した。 我々は,200以上の説明(論文では約30説明,補題ではその他の説明)を人間によって高度に解釈され,得られたGPがANNの判断を解き放つ能力を示す。

関連論文リスト

• The Heterophilic Snowflake Hypothesis: Training and Empowering GNNs for Heterophilic Graphs [59.03660013787925]
  ヘテロフィリー・スノーフレーク仮説を導入し、ヘテロ親和性グラフの研究をガイドし、促進するための効果的なソリューションを提供する。 観察の結果,我々のフレームワークは多種多様なタスクのための多目的演算子として機能することがわかった。 さまざまなGNNフレームワークに統合することができ、パフォーマンスを詳細に向上し、最適なネットワーク深さを選択するための説明可能なアプローチを提供する。
  論文  参考訳（メタデータ） (2024-06-18T12:16:00Z)
• Spatio-Spectral Graph Neural Networks [50.277959544420455]
  比スペクトルグラフネットワーク(S$2$GNN)を提案する。 S$2$GNNは空間的およびスペクトル的にパラメータ化されたグラフフィルタを組み合わせる。 S$2$GNNsは、MPGNNsよりも厳密な近似理論誤差境界を生じる。
  論文  参考訳（メタデータ） (2024-05-29T14:28:08Z)
• Multi-layer random features and the approximation power of neural networks [4.178980693837599]
  再現カーネルヒルベルト空間はアーキテクチャによって近似できる関数のみを含むことを証明している。 NNGPの積分作用素の固有値が$k-n-frac23$よりも遅く、$k$が固有値の順序である場合、我々の定理はバロンの定理よりも簡潔なニューラルネットワーク近似を保証する。
  論文  参考訳（メタデータ） (2024-04-26T14:57:56Z)
• Neural Networks with (Low-Precision) Polynomial Approximations: New Insights and Techniques for Accuracy Improvement [13.406378419824003]
  非ポリノミカル関数を近似に置き換えることは、プライバシ保護機械学習の標準的なプラクティスである。 ニューラルネットワーク(PANN)の近似と呼ばれる結果のニューラルネットワークは、高度な暗号システムと互換性がある。 PANNにおける近似誤差の効果について説明する。 PANNの推測精度を向上させるための手法を提案する。
  論文  参考訳（メタデータ） (2024-02-17T08:54:25Z)
• Machine learning frontier orbital energies of nanodiamonds [0.0]
  我々は5,089個のダイヤモンドおよびナノダイヤモンド構造とそのフロンティア軌道エネルギーからなる新しいデータセットND5kを紹介する。 ND5k構造は密結合密度汎関数理論(DFTB)により最適化され、そのフロンティア軌道エネルギーはPBE0ハイブリッド汎関数理論(DFT)を用いて計算される。 また,ND5kでの補間) で訓練されたように, 同様の構造のフロンティア軌道エネルギーを予測する機械学習モデルを比較し, より大きな構造への外挿能力を検証した。
  論文  参考訳（メタデータ） (2022-09-30T15:18:49Z)
• Superiority of GNN over NN in generalizing bandlimited functions [6.3151583550712065]
  グラフニューラルネットワーク(GNN)は、さまざまなアプリケーションにまたがってグラフベースの情報を処理するための強力なリソースとして登場した。 本研究では,これらの分類におけるGNNの習熟度について検討する。 以上の結果から,GNNを用いた帯域制限関数を$varepsilon$-errorマージン内で一般化する上で,高い効率性を示した。
  論文  参考訳（メタデータ） (2022-06-13T05:15:12Z)
• EIGNN: Efficient Infinite-Depth Graph Neural Networks [51.97361378423152]
  グラフニューラルネットワーク(GNN)は多くのアプリケーションでグラフ構造化データのモデリングに広く利用されている。 この制限により、無限深度GNNモデルを提案し、これをEIGNN(Efficient Infinite-Depth Graph Neural Networks)と呼ぶ。 EIGNNは、最近のベースラインよりも長距離依存関係をキャプチャする能力が優れており、常に最先端のパフォーマンスを実現していることを示す。
  論文  参考訳（メタデータ） (2022-02-22T08:16:58Z)
• Kernel Based Progressive Distillation for Adder Neural Networks [71.731127378807]
  追加のみを含むAdder Neural Networks(ANN)は、エネルギー消費の少ないディープニューラルネットワークを新たに開発する方法を提供する。 すべての畳み込みフィルタを加算フィルタで置き換える場合、精度の低下がある。 本稿では,トレーニング可能なパラメータを増大させることなく,ANNの性能を向上するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-09-28T03:29:19Z)
• How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks [80.55378250013496]
  勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。 グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
  論文  参考訳（メタデータ） (2020-09-24T17:48:59Z)
• Predicting the outputs of finite deep neural networks trained with noisy gradients [1.1470070927586014]
  広深部ニューラルネットワーク(DNN)をガウス過程(GP)として近似して研究する最近の研究のシリーズ 本稿では、雑音、重み減衰、有限幅を含むDNNトレーニングプロトコルについて考察する。 その後、この非ガウス過程を分析するために解析的枠組みが導入され、GPからの偏差は有限幅で制御される。
  論文  参考訳（メタデータ） (2020-04-02T18:00:01Z)
• Infinitely Wide Graph Convolutional Networks: Semi-supervised Learning via Gaussian Processes [144.6048446370369]
  グラフ畳み込みニューラルネットワーク(GCN)は近年,グラフに基づく半教師付き半教師付き分類において有望な結果を示した。 グラフに基づく半教師付き学習のためのGCN(GPGC)を用いたGP回帰モデルを提案する。 GPGCを評価するための広範囲な実験を行い、他の最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-02-26T10:02:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。