論文の概要: On Model Explanations with Transferable Neural Pathways

• arxiv url: http://arxiv.org/abs/2309.09887v1
• Date: Mon, 18 Sep 2023 15:50:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-19 12:29:23.638294
• Title: On Model Explanations with Transferable Neural Pathways
• Title（参考訳）: 伝達性神経経路を用いたモデル説明について
• Authors: Xinmiao Lin, Wentao Bao, Qi Yu, Yu Kong
• Abstract要約: 対象モデルの特徴写像からニューラルパスを予測することを学習する生成的クラス関連ニューラルパス(GEN-CNP)モデルを提案する。 そこで我々は,同クラスのサンプルを説明するために,クラス関連神経経路を伝達し,その忠実さと解釈可能性について実験的,質的に示すことを提案する。
• 参考スコア（独自算出の注目度）: 41.2093021477798
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural pathways as model explanations consist of a sparse set of neurons that provide the same level of prediction performance as the whole model. Existing methods primarily focus on accuracy and sparsity but the generated pathways may offer limited interpretability thus fall short in explaining the model behavior. In this paper, we suggest two interpretability criteria of neural pathways: (i) same-class neural pathways should primarily consist of class-relevant neurons; (ii) each instance's neural pathway sparsity should be optimally determined. To this end, we propose a Generative Class-relevant Neural Pathway (GEN-CNP) model that learns to predict the neural pathways from the target model's feature maps. We propose to learn class-relevant information from features of deep and shallow layers such that same-class neural pathways exhibit high similarity. We further impose a faithfulness criterion for GEN-CNP to generate pathways with instance-specific sparsity. We propose to transfer the class-relevant neural pathways to explain samples of the same class and show experimentally and qualitatively their faithfulness and interpretability.
• Abstract（参考訳）: モデル説明としての神経経路は、モデル全体と同じレベルの予測性能を提供するスパースなニューロンからなる。 既存の手法は主に精度とスパーシティに重点を置いているが、生成された経路は限定的な解釈可能性を提供するため、モデルの振る舞いを説明するのに不足する。 本稿では,神経経路の解釈可能性基準を2つ提案する。 (i)同類神経経路は、主にクラス関連ニューロンから構成されるべきである。 (ii)各症例の神経経路の間隔を最適に決定すべきである。 そこで本研究では,対象モデルの特徴写像からニューラルパスの予測を学習する生成型クラス関連ニューラルパス(GEN-CNP)モデルを提案する。 我々は,同類ニューラルパスの類似度が高い深層および浅層の特徴から,クラス関連情報を学習することを提案する。 我々はさらに、gen-CNPがインスタンス特異的な間隔で経路を生成するための忠実度基準を課す。 そこで我々は,同クラスのサンプルを説明するためにクラス関連神経経路を転送し,その忠実さと解釈可能性について実験的,質的に示すことを提案する。

関連論文リスト

• Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
  本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。 また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。 この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
  論文  参考訳（メタデータ） (2024-05-24T06:30:36Z)
• Towards Generating Informative Textual Description for Neurons in Language Models [6.884227665279812]
  本稿では,ニューロンにテキスト記述を結び付けるフレームワークを提案する。 特に,提案手法が75%精度@2,50%リコール@2を実現していることを示す。
  論文  参考訳（メタデータ） (2024-01-30T04:06:25Z)
• A Survey on Statistical Theory of Deep Learning: Approximation, Training Dynamics, and Generative Models [13.283281356356161]
  本稿では3つの観点から,ニューラルネットワークの統計理論に関する文献をレビューする。 ニューラルネットワークの過剰なリスクに関する結果は、回帰または分類の非パラメトリックフレームワークでレビューされる。 本稿では、GAN(Generative Adversarial Networks)、拡散モデル、Large Language Models(LLMs)におけるICL(In-context Learning)などの生成モデルにおける最新の理論的進歩について概説する。
  論文  参考訳（メタデータ） (2024-01-14T02:30:19Z)
• Feature visualization for convolutional neural network models trained on neuroimaging data [0.0]
  畳み込みニューラルネットワーク(CNN)の機能可視化による最初の結果を示す。 我々は、MRIデータに基づく性分類や人為的病変分類など、さまざまなタスクのためにCNNを訓練した。 得られた画像は、その形状を含む人工的な病変の学習概念を明らかにするが、性分類タスクにおける抽象的な特徴を解釈することは困難である。
  論文  参考訳（メタデータ） (2022-03-24T15:24:38Z)
• EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
  本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。 メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
  論文  参考訳（メタデータ） (2022-02-21T18:59:03Z)
• The Causal Neural Connection: Expressiveness, Learnability, and Inference [125.57815987218756]
  構造因果モデル (Structuor causal model, SCM) と呼ばれるオブジェクトは、調査中のシステムのランダムな変動のメカニズムと源の集合を表す。 本稿では, 因果的階層定理 (Thm. 1, Bareinboim et al., 2020) がまだニューラルモデルに対して成り立っていることを示す。 我々はニューラル因果モデル(NCM)と呼ばれる特殊なタイプのSCMを導入し、因果推論に必要な構造的制約をエンコードする新しいタイプの帰納バイアスを定式化する。
  論文  参考訳（メタデータ） (2021-07-02T01:55:18Z)
• The Neural Coding Framework for Learning Generative Models [91.0357317238509]
  本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。 同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
  論文  参考訳（メタデータ） (2020-12-07T01:20:38Z)
• A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
  モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。 線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。 以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
  論文  参考訳（メタデータ） (2020-10-27T17:56:14Z)
• Spiking Neural Networks -- Part II: Detecting Spatio-Temporal Patterns [38.518936229794214]
  スパイキングニューラルネットワーク(SNN)は、符号化された時間信号で情報を検出するユニークな能力を持つ。 SNNをリカレントニューラルネットワーク(RNN)とみなす支配的アプローチのためのモデルとトレーニングアルゴリズムについてレビューする。 スパイキングニューロンの確率モデルに頼り、勾配推定による局所学習規則の導出を可能にする別のアプローチについて述べる。
  論文  参考訳（メタデータ） (2020-10-27T11:47:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。