論文の概要: SpArX: Sparse Argumentative Explanations for Neural Networks
- arxiv url: http://arxiv.org/abs/2301.09559v1
- Date: Mon, 23 Jan 2023 17:20:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-24 12:59:07.023021
- Title: SpArX: Sparse Argumentative Explanations for Neural Networks
- Title(参考訳): SpArX: ニューラルネットワークのスパース説明的説明
- Authors: Hamed Ayoobi, Nico Potyka, Francesca Toni
- Abstract要約: 我々は、多出力パーセプトロン(MLP)と量的議論フレームワーク(QAF)の関係を利用して、階層の力学に関する議論的な説明を作成する。
我々はSpArXが既存のアプローチよりも忠実に説明できることを実験的に実証した。
- 参考スコア(独自算出の注目度): 14.787292425343527
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Neural networks (NNs) have various applications in AI, but explaining their
decision process remains challenging. Existing approaches often focus on
explaining how changing individual inputs affects NNs' outputs. However, an
explanation that is consistent with the input-output behaviour of an NN is not
necessarily faithful to the actual mechanics thereof. In this paper, we exploit
relationships between multi-layer perceptrons (MLPs) and quantitative
argumentation frameworks (QAFs) to create argumentative explanations for the
mechanics of MLPs. Our SpArX method first sparsifies the MLP while maintaining
as much of the original mechanics as possible. It then translates the sparse
MLP into an equivalent QAF to shed light on the underlying decision process of
the MLP, producing global and/or local explanations. We demonstrate
experimentally that SpArX can give more faithful explanations than existing
approaches, while simultaneously providing deeper insights into the actual
reasoning process of MLPs.
- Abstract(参考訳): ニューラルネットワーク(NN)はAIにさまざまな応用があるが、意思決定プロセスの説明は依然として難しい。
既存のアプローチはしばしば、個々の入力の変化がNNの出力にどのように影響するかを説明することに重点を置いている。
しかし、NNの入出力動作と一致する説明は、その実際の力学に必ずしも忠実ではない。
本稿では,多層パーセプトロン(MLP)と量的議論フレームワーク(QAF)の関係を利用して,MLPの力学に関する議論的な説明を作成する。
我々のSpArX法は、可能な限り元の力学を維持しながら、まずMLPをスペーサー化する。
その後、スパースMLPを等価なQAFに変換することで、MPPの根底にある決定プロセスに光を当て、グローバルおよび/またはローカルな説明を生み出す。
実験により,SpArXは既存のアプローチよりも忠実に説明できると同時に,MLPの実際の推論過程について深い洞察を与えることができることを示した。
関連論文リスト
- Large Language Models As Faithful Explainers [67.38301892818778]
大規模言語モデル(LLM)は近年,その豊富な内部知識と推論能力を活用することで,複雑なタスクに対処する技術に長けている。
我々は、LLMの自然言語形式で提供される説明の忠実性を改善するために、生成的説明フレームワークであるxLLMを導入する。
3つのNLUデータセットで行った実験により、xLLMは生成された説明の忠実性を大幅に改善できることが示された。
論文 参考訳(メタデータ) (2024-02-07T09:09:14Z) - MLPs Compass: What is learned when MLPs are combined with PLMs? [20.003022732050994]
堅牢な構造キャプチャ機能を実現するマルチレイヤ・パーセプトロン(MLP)モジュールは、グラフニューラルネットワーク(GNN)よりも優れています。
本稿は,PLMの言語情報取得能力が向上するかどうかを定量化することを目的とする。
論文 参考訳(メタデータ) (2024-01-03T11:06:01Z) - Faithful Explanations of Black-box NLP Models Using LLM-generated
Counterfactuals [67.64770842323966]
NLPシステムの予測に関する因果的説明は、安全性を確保し、信頼を確立するために不可欠である。
既存の手法は、しばしばモデル予測を効果的または効率的に説明できない。
本稿では, 対物近似(CF)の2つの手法を提案する。
論文 参考訳(メタデータ) (2023-10-01T07:31:04Z) - NTK-approximating MLP Fusion for Efficient Language Model Fine-tuning [40.994306592119266]
訓練済みの言語モデル(PLM)を微調整することは、多くの自然言語処理アプリケーションにおいて主要な戦略として現れる。
いくつかの一般的なアプローチ(量子化や蒸留など)は、PLM微細チューニングの計算/メモリを減らすために広く研究されている。
我々は、NTK近似モジュールを融合して軽量PLMを作成することを提案する。
論文 参考訳(メタデータ) (2023-07-18T03:12:51Z) - Understanding Masked Autoencoders via Hierarchical Latent Variable
Models [109.35382136147349]
Masked Autoencoder (MAE) は近年,様々な視覚タスクにおいて顕著な成功を収めている。
MAEに関する興味深い経験的観察の出現にもかかわらず、理論的に原理化された理解はいまだに欠如している。
論文 参考訳(メタデータ) (2023-06-08T03:00:10Z) - SA-MLP: Distilling Graph Knowledge from GNNs into Structure-Aware MLP [46.52398427166938]
予測加速の1つの有望な方向は、GNNをメッセージパスなしの学生多層パーセプトロンに蒸留することである。
本稿では,構造化情報のための学習能力を高めるための構造混合知識戦略を提案する。
我々のSA-MLPは、より高速な推論支援を維持しながら、教師のGNNを一貫して上回ります。
論文 参考訳(メタデータ) (2022-10-18T05:55:36Z) - Transformer Vs. MLP-Mixer Exponential Expressive Gap For NLP Problems [8.486025595883117]
複数入力間の依存関係のモデリングにおけるmlpアーキテクチャの表現力を同時に解析する。
注意とmlpに基づくメカニズムの間には指数的なギャップがある。
以上の結果から,NLP問題においてmlpが注意に基づくメカニズムと競合することができないという理論的理由が示唆された。
論文 参考訳(メタデータ) (2022-08-17T09:59:22Z) - Model Explainability in Deep Learning Based Natural Language Processing [0.0]
我々は、一般的な機械学習モデル説明可能性方法論をレビューし、比較した。
NLP分類モデルにNLP説明可能性手法の1つを適用した。
我々は,NLPモデルの特質から,いくつかの共通点を明らかにした。
論文 参考訳(メタデータ) (2021-06-14T13:23:20Z) - How Neural Networks Extrapolate: From Feedforward to Graph Neural
Networks [80.55378250013496]
勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。
グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
論文 参考訳(メタデータ) (2020-09-24T17:48:59Z) - MPLP: Learning a Message Passing Learning Protocol [63.948465205530916]
人工ニューラルネットワークの重みを学習する新しい手法として,メッセージパッシング学習プロトコル(MPLP)を提案する。
ANNで発生したすべての操作を独立したエージェントとして抽象化する。
各エージェントは、他のエージェントからやってくる多次元メッセージを取り込み、内部状態を更新し、近隣エージェントに渡される多次元メッセージを生成する責任がある。
論文 参考訳(メタデータ) (2020-07-02T09:03:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。