論文の概要: SpArX: Sparse Argumentative Explanations for Neural Networks

• arxiv url: http://arxiv.org/abs/2301.09559v2
• Date: Fri, 21 Jul 2023 13:13:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-24 16:27:53.650832
• Title: SpArX: Sparse Argumentative Explanations for Neural Networks
• Title（参考訳）: SpArX: ニューラルネットワークのスパース説明的説明
• Authors: Hamed Ayoobi, Nico Potyka, Francesca Toni
• Abstract要約: 我々は、多層パーセプトロン(MLP)と定量的議論フレームワーク(QAF)の関係を利用して、ニューラルネットワーク(NN)の力学に関する議論的な説明を作成する。 当社のSpArX法は,まず,元の構造をできるだけ多く維持しながらスパースを分散させ,その後に翻訳し,グローバルおよび/またはローカルな説明を生成する。 実験により、SpArXは既存のアプローチよりも忠実に説明でき、同時にニューラルネットワークの実際の推論プロセスについて深い洞察を提供する。
• 参考スコア（独自算出の注目度）: 14.787292425343527
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Neural networks (NNs) have various applications in AI, but explaining their decisions remains challenging. Existing approaches often focus on explaining how changing individual inputs affects NNs' outputs. However, an explanation that is consistent with the input-output behaviour of an NN is not necessarily faithful to the actual mechanics thereof. In this paper, we exploit relationships between multi-layer perceptrons (MLPs) and quantitative argumentation frameworks (QAFs) to create argumentative explanations for the mechanics of MLPs. Our SpArX method first sparsifies the MLP while maintaining as much of the original structure as possible. It then translates the sparse MLP into an equivalent QAF to shed light on the underlying decision process of the MLP, producing global and/or local explanations. We demonstrate experimentally that SpArX can give more faithful explanations than existing approaches, while simultaneously providing deeper insights into the actual reasoning process of MLPs.
• Abstract（参考訳）: ニューラルネットワーク(NN)はAIにさまざまな応用があるが、その決定を説明することは依然として難しい。 既存のアプローチはしばしば、個々の入力の変化がNNの出力にどのように影響するかを説明することに重点を置いている。 しかし、NNの入出力動作と一致する説明は、その実際の力学に必ずしも忠実ではない。 本稿では,多層パーセプトロン(MLP)と量的議論フレームワーク(QAF)の関係を利用して,MLPの力学に関する議論的な説明を作成する。 我々のSpArX法は、可能な限り元の構造を維持しながら、まずMLPを分散させる。 その後、スパースMLPを等価なQAFに変換することで、MPPの根底にある決定プロセスに光を当て、グローバルおよび/またはローカルな説明を生み出す。 実験により,SpArXは既存のアプローチよりも忠実に説明できると同時に,MLPの実際の推論過程について深い洞察を与えることができることを示した。

関連論文リスト

• Make LLMs better zero-shot reasoners: Structure-orientated autonomous reasoning [52.83539473110143]
  本稿では,Large Language Models (LLM) の質問をよりよく理解するための構造指向分析手法を提案する。 複雑な質問応答タスクの信頼性をさらに向上するために,多エージェント推論システム,構造指向自律推論エージェント(SARA)を提案する。 大規模な実験により,提案システムの有効性が検証された。
  論文  参考訳（メタデータ） (2024-10-18T05:30:33Z)
• MLPs Learn In-Context on Regression and Classification Tasks [28.13046236900491]
  In-context Learning (ICL) はしばしばトランスフォーマーモデルのユニークな特徴であると考えられている。 マルチ層パーセプトロン(MLP)もコンテキスト内で学習可能であることを示す。
  論文  参考訳（メタデータ） (2024-05-24T15:04:36Z)
• Look Before You Decide: Prompting Active Deduction of MLLMs for Assumptive Reasoning [68.83624133567213]
  そこで本研究では,MLLMの最も普及している手法が,その問題に先入観を導入することで,容易に騙せることを示す。 また, モデルに対して, 合成推論を積極的に行うための, 単純かつ効果的な手法であるアクティブ推論(AD)を提案する。
  論文  参考訳（メタデータ） (2024-04-19T15:53:27Z)
• Interpreting Key Mechanisms of Factual Recall in Transformer-Based Language Models [68.83330172211315]
  本研究では,トランスフォーマーベース言語モデル(LLM)を用いて,現実的なリコール処理を行うメカニズムについて検討する。 出力の出力を人間の理解するコンポーネントに分解することを目的とした,新しい分析手法を提案する。 我々は、事実的リコールの信頼性を高めるために、私たちの解釈を活用することで、この抑制を緩和する。
  論文  参考訳（メタデータ） (2024-03-28T15:54:59Z)
• FaithLM: Towards Faithful Explanations for Large Language Models [67.29893340289779]
  大きな言語モデル(LLM)は、内部知識と推論能力を活用することで複雑なタスクに対処するのに熟練している。 これらのモデルのブラックボックスの性質は、意思決定プロセスを説明するタスクを複雑にしている。 自然言語 (NL) による LLM の決定を説明するために FaithLM を紹介した。
  論文  参考訳（メタデータ） (2024-02-07T09:09:14Z)
• MLPs Compass: What is learned when MLPs are combined with PLMs? [20.003022732050994]
  堅牢な構造キャプチャ機能を実現するマルチレイヤ・パーセプトロン(MLP)モジュールは、グラフニューラルネットワーク(GNN)よりも優れています。 本稿は,PLMの言語情報取得能力が向上するかどうかを定量化することを目的とする。
  論文  参考訳（メタデータ） (2024-01-03T11:06:01Z)
• NTK-approximating MLP Fusion for Efficient Language Model Fine-tuning [40.994306592119266]
  訓練済みの言語モデル(PLM)を微調整することは、多くの自然言語処理アプリケーションにおいて主要な戦略として現れる。 いくつかの一般的なアプローチ(量子化や蒸留など)は、PLM微細チューニングの計算/メモリを減らすために広く研究されている。 我々は、NTK近似モジュールを融合して軽量PLMを作成することを提案する。
  論文  参考訳（メタデータ） (2023-07-18T03:12:51Z)
• SA-MLP: Distilling Graph Knowledge from GNNs into Structure-Aware MLP [46.52398427166938]
  予測加速の1つの有望な方向は、GNNをメッセージパスなしの学生多層パーセプトロンに蒸留することである。 本稿では,構造化情報のための学習能力を高めるための構造混合知識戦略を提案する。 我々のSA-MLPは、より高速な推論支援を維持しながら、教師のGNNを一貫して上回ります。
  論文  参考訳（メタデータ） (2022-10-18T05:55:36Z)
• Transformer Vs. MLP-Mixer Exponential Expressive Gap For NLP Problems [8.486025595883117]
  複数入力間の依存関係のモデリングにおけるmlpアーキテクチャの表現力を同時に解析する。 注意とmlpに基づくメカニズムの間には指数的なギャップがある。 以上の結果から,NLP問題においてmlpが注意に基づくメカニズムと競合することができないという理論的理由が示唆された。
  論文  参考訳（メタデータ） (2022-08-17T09:59:22Z)
• How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks [80.55378250013496]
  勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。 グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
  論文  参考訳（メタデータ） (2020-09-24T17:48:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。