論文の概要: Instance-wise Linearization of Neural Network for Model Interpretation
- arxiv url: http://arxiv.org/abs/2310.16295v1
- Date: Wed, 25 Oct 2023 02:07:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-26 17:19:42.138965
- Title: Instance-wise Linearization of Neural Network for Model Interpretation
- Title（参考訳）: モデル解釈のためのニューラルネットワークのインスタンスワイズ線形化
- Authors: Zhimin Li, Shusen Liu, Kailkhura Bhavya, Timo Bremer, Valerio Pascucci
- Abstract要約: この課題は、ニューラルネットワークの非線形動作に潜むことができる。
ニューラルネットワークモデルでは、非線形な振る舞いはモデルの非線形なアクティベーションユニットによって引き起こされることが多い。
本稿では,ニューラルネットワーク予測のフォワード計算過程を再構成するインスタンスワイズ線形化手法を提案する。
- 参考スコア（独自算出の注目度）: 13.583425552511704
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural network have achieved remarkable successes in many scientific fields.
However, the interpretability of the neural network model is still a major
bottlenecks to deploy such technique into our daily life. The challenge can
dive into the non-linear behavior of the neural network, which rises a critical
question that how a model use input feature to make a decision. The classical
approach to address this challenge is feature attribution, which assigns an
important score to each input feature and reveal its importance of current
prediction. However, current feature attribution approaches often indicate the
importance of each input feature without detail of how they are actually
processed by a model internally. These attribution approaches often raise a
concern that whether they highlight correct features for a model prediction.
For a neural network model, the non-linear behavior is often caused by
non-linear activation units of a model. However, the computation behavior of a
prediction from a neural network model is locally linear, because one
prediction has only one activation pattern. Base on the observation, we propose
an instance-wise linearization approach to reformulates the forward computation
process of a neural network prediction. This approach reformulates different
layers of convolution neural networks into linear matrix multiplication.
Aggregating all layers' computation, a prediction complex convolution neural
network operations can be described as a linear matrix multiplication $F(x) = W
\cdot x + b$. This equation can not only provides a feature attribution map
that highlights the important of the input features but also tells how each
input feature contributes to a prediction exactly. Furthermore, we discuss the
application of this technique in both supervise classification and unsupervised
neural network learning parametric t-SNE dimension reduction.
- Abstract（参考訳）: ニューラルネットワークは多くの科学分野で顕著な成功を収めた。
しかし、ニューラルネットワークモデルの解釈可能性はまだ、そのようなテクニックを私たちの日常生活に展開する上で大きなボトルネックです。
この課題は、ニューラルネットワークの非線形動作に潜むことができ、モデルが入力機能を使って意思決定を行う方法に批判的な疑問を生じさせる。
この課題に対処する古典的なアプローチは、各入力特徴に重要なスコアを割り当て、現在の予測の重要性を明らかにする特徴属性である。
しかしながら、現在の特徴帰属アプローチは、内部でモデルによって実際にどのように処理されるかの詳細なしに、各入力機能の重要性を示すことが多い。
これらの帰属アプローチは、モデル予測の正しい特徴を強調するかどうかをしばしば懸念する。
ニューラルネットワークモデルでは、非線形動作はしばしばモデルの非線形活性化単位によって引き起こされる。
しかし,1つの予測は1つの活性化パターンしか持たないため,ニューラルネットワークモデルからの予測の計算挙動は局所線形である。
この観測に基づいて,ニューラルネットワーク予測の前方計算過程を再構成するインスタンスワイズ線形化手法を提案する。
このアプローチは、畳み込みニューラルネットワークの異なる層を線形行列乗法に変換する。
すべてのレイヤの計算を集約すると、予測複雑な畳み込みニューラルネットワークの操作は線形行列乗法$F(x) = W \cdot x + b$として記述できる。
この方程式は、入力特徴の重要な部分を強調する特徴属性マップを提供するだけでなく、各入力特徴が正確に予測にどのように貢献するかを示すこともできる。
さらに,この手法を教師あり分類と教師なしニューラルネットワーク学習パラメトリックt-sne次元低減の両方に応用する。
関連論文リスト
- Recurrent Neural Networks Learn to Store and Generate Sequences using Non-Linear Representations [54.17275171325324]
線形表現仮説(LRH)に対する反例を提示する。
入力トークンシーケンスを繰り返すように訓練されると、ニューラルネットワークは、方向ではなく、特定の順序で各位置のトークンを表現することを学ぶ。
これらの結果は、解釈可能性の研究はLRHに限定されるべきでないことを強く示唆している。
論文 参考訳（メタデータ） (2024-08-20T15:04:37Z) - Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-18T18:01:01Z) - A Spectral Theory of Neural Prediction and Alignment [8.65717258105897]
我々は、回帰からモデルと対象のスペクトル特性への一般化誤差を関連づける最近の理論的枠組みを用いる。
我々は、視覚的皮質活動を予測するディープニューラルネットワークを多数テストし、回帰によって測定された低ニューラルネットワーク予測誤差をもたらす複数のタイプのジオメトリーが存在することを示す。
論文 参考訳（メタデータ） (2023-09-22T12:24:06Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - Utility-Probability Duality of Neural Networks [4.871730595406078]
本稿では,ディープラーニングにおける標準教師あり学習手順に対するユーティリティに基づく代替的説明を提案する。
基本的な考え方は、学習したニューラルネットワークを確率モデルではなく、順序付きユーティリティ関数として解釈することである。
ソフトマックス出力を持つ全てのニューラルネットワークに対して、最大推定値のSGD学習ダイナミクスを反復過程と見なすことができる。
論文 参考訳（メタデータ） (2023-05-24T08:09:07Z) - The Contextual Lasso: Sparse Linear Models via Deep Neural Networks [5.607237982617641]
本研究では,空間的特徴の関数として空間的パターンと係数が変化するような説明的特徴に疎線形モデルに適合する新しい統計的推定器を開発する。
実データと合成データに関する広範な実験は、学習されたモデルは、非常に透明であり、通常のラッソよりもスペーサーであることを示している。
論文 参考訳（メタデータ） (2023-02-02T05:00:29Z) - Scalable computation of prediction intervals for neural networks via
matrix sketching [79.44177623781043]
既存の不確実性推定アルゴリズムでは、モデルアーキテクチャとトレーニング手順を変更する必要がある。
本研究では、与えられたトレーニングされたニューラルネットワークに適用し、近似予測間隔を生成できる新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-05-06T13:18:31Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - A Sparse Coding Interpretation of Neural Networks and Theoretical
Implications [0.0]
深層畳み込みニューラルネットワークは、様々なコンピュータビジョンタスクにおいて前例のない性能を達成した。
本稿では、ReLUアクティベーションを持つニューラルネットワークのスパース符号化解釈を提案する。
正規化やプーリングなしに完全な畳み込みニューラルネットワークを導出する。
論文 参考訳（メタデータ） (2021-08-14T21:54:47Z) - A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。
線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。
以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
論文 参考訳（メタデータ） (2020-10-27T17:56:14Z) - Mean-Field and Kinetic Descriptions of Neural Differential Equations [0.0]
この研究では、ニューラルネットワークの特定のクラス、すなわち残留ニューラルネットワークに焦点を当てる。
我々は、ネットワークのパラメータ、すなわち重みとバイアスに関する定常状態と感度を分析する。
残留ニューラルネットワークにインスパイアされた微視的ダイナミクスの修正は、ネットワークのフォッカー・プランクの定式化につながる。
論文 参考訳（メタデータ） (2020-01-07T13:41:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。