論文の概要: SPADE: Sparsity-Guided Debugging for Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2310.04519v1
- Date: Fri, 6 Oct 2023 18:28:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-12 17:59:26.677667
- Title: SPADE: Sparsity-Guided Debugging for Deep Neural Networks
- Title(参考訳): spade:深層ニューラルネットワークのためのスパーシティ誘導デバッグ
- Authors: Arshia Soltani Moakhar, Eugenia Iofinova, Dan Alistarh
- Abstract要約: 解釈可能性(英: Interpretability)は、ディープラーニング理論と実践の交差における重要なオープンゴールの1つである。
本研究では,サンプル対象プルーニングを用いて,サンプル上でのネットワーク実行の"トレース"を提供するSPADEを提案する。
以上の結果から,複数面ニューロンを切断し,一貫した解釈性の向上が期待できることがわかった。
- 参考スコア(独自算出の注目度): 39.50058754026165
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Interpretability, broadly defined as mechanisms for understanding why and how
machine learning models reach their decisions, is one of the key open goals at
the intersection of deep learning theory and practice. Towards this goal,
multiple tools have been proposed to aid a human examiner in reasoning about a
network's behavior in general or on a set of instances. However, the outputs of
these tools-such as input saliency maps or neuron visualizations-are frequently
difficult for a human to interpret, or even misleading, due, in particular, to
the fact that neurons can be multifaceted, i.e., a single neuron can be
associated with multiple distinct feature combinations. In this paper, we
present a new general approach to address this problem, called SPADE, which,
given a trained model and a target sample, uses sample-targeted pruning to
provide a "trace" of the network's execution on the sample, reducing the
network to the connections that are most relevant to the specific prediction.
We demonstrate that preprocessing with SPADE significantly increases both the
accuracy of image saliency maps across several interpretability methods and the
usefulness of neuron visualizations, aiding humans in reasoning about network
behavior. Our findings show that sample-specific pruning of connections can
disentangle multifaceted neurons, leading to consistently improved
interpretability.
- Abstract(参考訳): 解釈可能性(Interpretability)は、機械学習モデルが意思決定に到達した理由と方法を理解するためのメカニズムとして広く定義されている。
この目標に向けて、ネットワークの動作全般やインスタンスの集合を推論する上で、人間の検査を支援する複数のツールが提案されている。
しかしながら、入力唾液マップやニューロンの可視化のようなこれらのツールの出力は、神経細胞が複数の特徴の組み合わせに関連付けられているという事実から、人間が解釈し、誤解を招くこともしばしば困難である。
本稿では、訓練されたモデルと対象サンプルが与えられた場合、サンプル上でのネットワーク実行の"トレース"を提供するためにサンプルターゲットプルーニングを用いて、ネットワークを特定の予測に最も関係のあるコネクションに還元するSPADEと呼ばれる、この問題に対処する新しい一般的なアプローチを提案する。
本研究では,spadeを用いた前処理により,複数の解釈法を横断する画像サリエンシーマップの精度と,ニューロンの可視化の有用性が著しく向上し,ネットワーク行動の推論を支援することを実証した。
以上の結果から,複数面ニューロンを切断し,一貫した解釈性の向上が期待できることがわかった。
関連論文リスト
- Understanding polysemanticity in neural networks through coding theory [0.8702432681310401]
本稿では,ネットワークの解釈可能性に関する新たな実践的アプローチと,多意味性やコードの密度に関する理論的考察を提案する。
ランダムなプロジェクションによって、ネットワークがスムーズか非微分可能かが明らかになり、コードがどのように解釈されるかを示す。
我々のアプローチは、ニューラルネットワークにおける解釈可能性の追求を前進させ、その基盤となる構造についての洞察を与え、回路レベルの解釈可能性のための新たな道を提案する。
論文 参考訳(メタデータ) (2024-01-31T16:31:54Z) - Automated Natural Language Explanation of Deep Visual Neurons with Large
Models [43.178568768100305]
本稿では,大きな基礎モデルを持つニューロンの意味的説明を生成するための,新しいポストホックフレームワークを提案する。
我々のフレームワークは、様々なモデルアーキテクチャやデータセット、自動化されたスケーラブルなニューロン解釈と互換性があるように設計されています。
論文 参考訳(メタデータ) (2023-10-16T17:04:51Z) - Searching for the Essence of Adversarial Perturbations [73.96215665913797]
本稿では,ニューラルネットワークの誤予測の原因となる,人間の認識可能な情報を含む対人摂動について述べる。
この人間の認識可能な情報の概念は、敵の摂動に関連する重要な特徴を説明できる。
論文 参考訳(メタデータ) (2022-05-30T18:04:57Z) - Interpretable part-whole hierarchies and conceptual-semantic
relationships in neural networks [4.153804257347222]
本稿では、視覚的手がかりから部分全体階層を表現できるフレームワークであるAgglomeratorについて述べる。
本研究では,SmallNORB,MNIST,FashionMNIST,CIFAR-10,CIFAR-100などの共通データセットを用いて評価を行った。
論文 参考訳(メタデータ) (2022-03-07T10:56:13Z) - Leveraging Sparse Linear Layers for Debuggable Deep Networks [86.94586860037049]
学習した深い特徴表現に疎い線形モデルを適用することで、よりデバッグ可能なニューラルネットワークを実現する方法を示す。
その結果、スパースな説明は、スプリアス相関を特定し、誤分類を説明し、視覚および言語タスクにおけるモデルバイアスを診断するのに役立ちます。
論文 参考訳(メタデータ) (2021-05-11T08:15:25Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳(メタデータ) (2021-04-29T14:31:09Z) - Anomaly Detection on Attributed Networks via Contrastive Self-Supervised
Learning [50.24174211654775]
本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。
このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。
高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
論文 参考訳(メタデータ) (2021-02-27T03:17:20Z) - Vulnerability Under Adversarial Machine Learning: Bias or Variance? [77.30759061082085]
本研究では,機械学習が訓練された深層ニューラルネットワークのバイアスと分散に与える影響について検討する。
我々の分析は、ディープニューラルネットワークが対向的摂動下で性能が劣っている理由に光を当てている。
本稿では,計算処理の複雑さをよく知られた機械学習手法よりも低く抑えた,新しい逆機械学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-08-01T00:58:54Z) - SOCRATES: Towards a Unified Platform for Neural Network Analysis [7.318255652722096]
ニューラルネットワークを解析する技術を開発するための統一的なフレームワークの構築を目指している。
我々は、様々なニューラルネットワークモデルの標準化フォーマットをサポートするSOCRATESと呼ばれるプラットフォームを開発する。
実験の結果,我々のプラットフォームは幅広いネットワークモデルや特性を扱えることがわかった。
論文 参考訳(メタデータ) (2020-07-22T05:18:57Z) - Consistent feature selection for neural networks via Adaptive Group
Lasso [3.42658286826597]
ニューラルネットワークの重要な特徴を選択するための適応型グループの使用に関する理論的保証を提案し,確立する。
具体的には,1つの隠蔽層と双曲的タンジェント活性化関数を持つ単一出力フィードフォワードニューラルネットワークに対して,特徴選択法が整合であることを示す。
論文 参考訳(メタデータ) (2020-05-30T18:50:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。