論文の概要: NeuroInspect: Interpretable Neuron-based Debugging Framework through Class-conditional Visualizations

• arxiv url: http://arxiv.org/abs/2310.07184v1
• Date: Wed, 11 Oct 2023 04:20:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-13 00:22:54.089996
• Title: NeuroInspect: Interpretable Neuron-based Debugging Framework through Class-conditional Visualizations
• Title（参考訳）: neuroinspect:クラス条件の可視化によるニューロンベースのデバッグフレームワーク
• Authors: Yeong-Joon Ju, Ji-Hoon Park, and Seong-Whan Lee
• Abstract要約: 本稿では,ディープラーニング(DL)モデルのための解釈可能なニューロンベースのデバッグフレームワークであるNeuroInspectを紹介する。 我々のフレームワークはまず、ネットワークのミスの原因となるニューロンをピンポイントし、次に人間の解釈可能なニューロンに埋め込まれた特徴を視覚化する。 現実の環境では最悪の性能のクラスに対して,誤相関に対処し,推論を改善することで,我々のフレームワークを検証する。
• 参考スコア（独自算出の注目度）: 28.552283701883766
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite deep learning (DL) has achieved remarkable progress in various domains, the DL models are still prone to making mistakes. This issue necessitates effective debugging tools for DL practitioners to interpret the decision-making process within the networks. However, existing debugging methods often demand extra data or adjustments to the decision process, limiting their applicability. To tackle this problem, we present NeuroInspect, an interpretable neuron-based debugging framework with three key stages: counterfactual explanations, feature visualizations, and false correlation mitigation. Our debugging framework first pinpoints neurons responsible for mistakes in the network and then visualizes features embedded in the neurons to be human-interpretable. To provide these explanations, we introduce CLIP-Illusion, a novel feature visualization method that generates images representing features conditioned on classes to examine the connection between neurons and the decision layer. We alleviate convoluted explanations of the conventional visualization approach by employing class information, thereby isolating mixed properties. This process offers more human-interpretable explanations for model errors without altering the trained network or requiring additional data. Furthermore, our framework mitigates false correlations learned from a dataset under a stochastic perspective, modifying decisions for the neurons considered as the main causes. We validate the effectiveness of our framework by addressing false correlations and improving inferences for classes with the worst performance in real-world settings. Moreover, we demonstrate that NeuroInspect helps debug the mistakes of DL models through evaluation for human understanding. The code is openly available at https://github.com/yeongjoonJu/NeuroInspect.
• Abstract（参考訳）: 深層学習(DL)は様々な領域で顕著な進歩を遂げているが、DLモデルは依然として間違いを犯しやすい。 この問題は、DL実践者がネットワーク内の意思決定プロセスを理解するために効果的なデバッグツールを必要とする。 しかし、既存のデバッグメソッドは、しばしば追加のデータや決定プロセスへの調整を要求し、その適用性を制限する。 この問題に対処するために,ニューロインスペクション(neuroinspect)という,反事実的説明,特徴の可視化,誤った相関緩和という3つの重要な段階を持つ,解釈可能なニューロンベースのデバッグフレームワークを提案する。 私たちのデバッグフレームワークはまず、ネットワークのミスの原因となるニューロンをピンポイントし、次に人間の解釈可能なニューロンに埋め込まれた機能を視覚化します。 そこで本研究では,クラスで条件づけされた特徴を表現した画像を生成し,ニューロンと決定層との関係を調べる新しい特徴可視化手法である clip-illusion を提案する。 クラス情報を用いて従来の可視化手法の畳み込み説明を緩和し,混合特性を分離する。 このプロセスは、トレーニングされたネットワークの変更や追加データを必要とすることなく、モデルエラーに対してより人間解釈可能な説明を提供する。 さらに,確率的視点でデータセットから学習した偽相関を緩和し,主要な原因と考えられるニューロンの決定を変更する。 我々は,偽相関に対処し,実環境において最もパフォーマンスの悪いクラスに対する推論を改善することで,フレームワークの有効性を検証する。 また,NuroInspectは人的理解の評価を通じて,DLモデルの誤りのデバッグを支援することを示した。 コードはhttps://github.com/yeongjoonJu/NeuroInspect.comで公開されている。

関連論文リスト

• Manipulating Feature Visualizations with Gradient Slingshots [54.31109240020007]
  本稿では,モデルの決定過程に大きな影響を及ぼすことなく,特徴可視化(FV)を操作する新しい手法を提案する。 ニューラルネットワークモデルにおける本手法の有効性を評価し,任意の選択したニューロンの機能を隠蔽する能力を示す。
  論文  参考訳（メタデータ） (2024-01-11T18:57:17Z)
• Causal Analysis for Robust Interpretability of Neural Networks [0.2519906683279152]
  我々は、事前学習されたニューラルネットワークの因果効果を捉えるための頑健な介入に基づく手法を開発した。 分類タスクで訓練された視覚モデルに本手法を適用した。
  論文  参考訳（メタデータ） (2023-05-15T18:37:24Z)
• Feature visualization for convolutional neural network models trained on neuroimaging data [0.0]
  畳み込みニューラルネットワーク(CNN)の機能可視化による最初の結果を示す。 我々は、MRIデータに基づく性分類や人為的病変分類など、さまざまなタスクのためにCNNを訓練した。 得られた画像は、その形状を含む人工的な病変の学習概念を明らかにするが、性分類タスクにおける抽象的な特徴を解釈することは困難である。
  論文  参考訳（メタデータ） (2022-03-24T15:24:38Z)
• LAP: An Attention-Based Module for Concept Based Self-Interpretation and Knowledge Injection in Convolutional Neural Networks [2.8948274245812327]
  本稿では,自己解釈性を実現するため,新しい注意型プール層であるLAP(Local Attention Pooling)を提案する。 LAPはどんな畳み込みニューラルネットワークにも簡単にプラグインできる。 LAPは一般的なホワイトボックスの説明法よりも、人間の理解しやすく忠実なモデル解釈を提供する。
  論文  参考訳（メタデータ） (2022-01-27T21:10:20Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Explainable Adversarial Attacks in Deep Neural Networks Using Activation Profiles [69.9674326582747]
  本稿では,敵対的事例に基づくニューラルネットワークモデルを検討するためのビジュアルフレームワークを提案する。 これらの要素を観察することで、モデル内の悪用領域を素早く特定できることを示す。
  論文  参考訳（メタデータ） (2021-03-18T13:04:21Z)
• Proactive Pseudo-Intervention: Causally Informed Contrastive Learning For Interpretable Vision Models [103.64435911083432]
  PPI(Proactive Pseudo-Intervention)と呼ばれる新しい対照的な学習戦略を提案する。 PPIは、因果関係のない画像の特徴を保護するために積極的に介入する。 また,重要な画像画素を識別するための,因果的に通知された新たなサリエンスマッピングモジュールを考案し,モデル解釈の容易性を示す。
  論文  参考訳（メタデータ） (2020-12-06T20:30:26Z)
• Explain by Evidence: An Explainable Memory-based Neural Network for Question Answering [41.73026155036886]
  本稿では,エビデンスに基づくメモリネットワークアーキテクチャを提案する。 データセットを要約し、その決定を下すための証拠を抽出することを学ぶ。 本モデルは,2つの質問応答データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2020-11-05T21:18:21Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)
• Hold me tight! Influence of discriminative features on deep network boundaries [63.627760598441796]
  本稿では,データセットの特徴と,サンプルから決定境界までの距離を関連付ける新しい視点を提案する。 これにより、トレーニングサンプルの位置を慎重に調整し、大規模ビジョンデータセットでトレーニングされたCNNの境界における誘発された変化を測定することができる。
  論文  参考訳（メタデータ） (2020-02-15T09:29:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。