論文の概要: SkelEx and BoundEx: Natural Visualization of ReLU Neural Networks
- arxiv url: http://arxiv.org/abs/2305.05562v1
- Date: Tue, 9 May 2023 15:48:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-10 12:10:37.603818
- Title: SkelEx and BoundEx: Natural Visualization of ReLU Neural Networks
- Title(参考訳): SkelExとBoundEx:ReLUニューラルネットワークの自然な可視化
- Authors: Pawel Pukowski, Haiping Lu
- Abstract要約: 本稿では,ReLU NNで学習したメンバシップ関数の骨格を抽出するアルゴリズムであるSkelExを紹介する。
また、ReLU NNの実現から決定境界を抽出する最初の解析手法であるBoundExについても紹介する。
- 参考スコア(独自算出の注目度): 5.520605732206284
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite their limited interpretability, weights and biases are still the most
popular encoding of the functions learned by ReLU Neural Networks (ReLU NNs).
That is why we introduce SkelEx, an algorithm to extract a skeleton of the
membership functions learned by ReLU NNs, making those functions easier to
interpret and analyze. To the best of our knowledge, this is the first work
that considers linear regions from the perspective of critical points. As a
natural follow-up, we also introduce BoundEx, which is the first analytical
method known to us to extract the decision boundary from the realization of a
ReLU NN. Both of those methods introduce very natural visualization tool for
ReLU NNs trained on low-dimensional data.
- Abstract(参考訳): その限定的な解釈性にもかかわらず、重みとバイアスは、ReLU NN(ReLU Neural Networks)によって学習された関数の最も一般的なエンコーディングである。
そこで我々は,ReLU NNが学習したメンバシップ関数の骨格を抽出するアルゴリズムであるSkelExを導入し,それらの関数の解釈と解析を容易にする。
私たちの知る限りでは、これは臨界点の観点から線形領域を考える最初の仕事です。
自然なフォローアップとして,ReLU NN の実現から決定境界を抽出する最初の解析手法である BoundEx も紹介する。
どちらの手法も、低次元データに基づいて訓練されたReLU NNに対して非常に自然な可視化ツールを導入している。
関連論文リスト
- How Graph Neural Networks Learn: Lessons from Training Dynamics [86.27589054492427]
グラフニューラルネットワーク(GNN)の関数空間におけるトレーニングダイナミクスについて検討する。
勾配降下によるGNNの最適化は暗黙的にグラフ構造を利用して学習した関数を更新する。
グラフ構造を用いて学習した関数を明示的に更新することで得られる単純で効率的な非パラメトリックアルゴリズムは、非線形GNNと一貫して競合することを示す。
論文 参考訳(メタデータ) (2023-10-08T10:19:56Z) - Dynamic Analysis and an Eigen Initializer for Recurrent Neural Networks [0.0]
繰り返しニューラルネットワークにおける隠れ状態のダイナミクスについて検討する。
重み行列の固有分解に基づいて隠れ状態空間を解析するための新しい視点を提案する。
本稿では,固有解析に基づく長期依存の説明を行う。
論文 参考訳(メタデータ) (2023-07-28T17:14:58Z) - Global Convergence Analysis of Deep Linear Networks with A One-neuron
Layer [18.06634056613645]
2次損失下で1つのニューロンを持つ層を有するディープ線形ネットワークを最適化することを検討する。
流下における任意の出発点を持つ軌道の収束点を記述する。
我々は,大域勾配器に段階的に収束する軌道の収束率を示す。
論文 参考訳(メタデータ) (2022-01-08T04:44:59Z) - LNN-EL: A Neuro-Symbolic Approach to Short-text Entity Linking [62.634516517844496]
本稿では,解釈可能なルールとニューラルネットワークの性能を併用したニューラルシンボリックアプローチであるLNN-ELを提案する。
ルールの使用に制約があるにもかかわらず、LNN-ELはSotAのブラックボックスニューラルアプローチと競合する。
論文 参考訳(メタデータ) (2021-06-17T20:22:45Z) - Learning and Generalization in RNNs [11.107204912245841]
単純なリカレントニューラルネットワークがシーケンスの関数を学習できることを実証する。
新しいアイデアは、我々の証明でRNNの隠れた状態から情報を抽出することを可能にする。
論文 参考訳(メタデータ) (2021-05-31T18:27:51Z) - ReLU Deep Neural Networks from the Hierarchical Basis Perspective [8.74591882131599]
有限要素法における階層基底法との関連性を検討し,ReLU深部ニューラルネットワーク(DNNs)について検討した。
我々は、$x2$と$xy$のReLU DNNの近似スキームが、これらの2つの関数の階層ベース近似の構成バージョンであることを示した。
論文 参考訳(メタデータ) (2021-05-10T07:25:33Z) - How Neural Networks Extrapolate: From Feedforward to Graph Neural
Networks [80.55378250013496]
勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。
グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
論文 参考訳(メタデータ) (2020-09-24T17:48:59Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳(メタデータ) (2020-07-03T01:37:16Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳(メタデータ) (2020-07-02T17:55:47Z) - Measuring Model Complexity of Neural Networks with Curve Activation
Functions [100.98319505253797]
本稿では,線形近似ニューラルネットワーク(LANN)を提案する。
ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。
我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
論文 参考訳(メタデータ) (2020-06-16T07:38:06Z) - Implicit Geometric Regularization for Learning Shapes [34.052738965233445]
生データから直接高忠実度暗黙的ニューラル表現を計算するための新しいパラダイムを提供する。
提案手法は,従来の手法と比較して,高い精度と忠実度を有する暗黙的ニューラル表現の状態を導出することを示す。
論文 参考訳(メタデータ) (2020-02-24T07:36:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。