Fugu-MT 論文翻訳(概要): SkelEx and BoundEx: Natural Visualization of ReLU Neural Networks

論文の概要: SkelEx and BoundEx: Natural Visualization of ReLU Neural Networks

arxiv url: http://arxiv.org/abs/2305.05562v1
Date: Tue, 9 May 2023 15:48:34 GMT
ステータス: 処理完了
システム内更新日: 2023-05-10 12:10:37.603818
Title: SkelEx and BoundEx: Natural Visualization of ReLU Neural Networks
Title（参考訳）: SkelExとBoundEx:ReLUニューラルネットワークの自然な可視化
Authors: Pawel Pukowski, Haiping Lu
Abstract要約: 本稿では,ReLU NNで学習したメンバシップ関数の骨格を抽出するアルゴリズムであるSkelExを紹介する。また、ReLU NNの実現から決定境界を抽出する最初の解析手法であるBoundExについても紹介する。
参考スコア（独自算出の注目度）: 5.520605732206284
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Despite their limited interpretability, weights and biases are still the most popular encoding of the functions learned by ReLU Neural Networks (ReLU NNs). That is why we introduce SkelEx, an algorithm to extract a skeleton of the membership functions learned by ReLU NNs, making those functions easier to interpret and analyze. To the best of our knowledge, this is the first work that considers linear regions from the perspective of critical points. As a natural follow-up, we also introduce BoundEx, which is the first analytical method known to us to extract the decision boundary from the realization of a ReLU NN. Both of those methods introduce very natural visualization tool for ReLU NNs trained on low-dimensional data.
Abstract（参考訳）: その限定的な解釈性にもかかわらず、重みとバイアスは、ReLU NN(ReLU Neural Networks)によって学習された関数の最も一般的なエンコーディングである。そこで我々は,ReLU NNが学習したメンバシップ関数の骨格を抽出するアルゴリズムであるSkelExを導入し,それらの関数の解釈と解析を容易にする。私たちの知る限りでは、これは臨界点の観点から線形領域を考える最初の仕事です。自然なフォローアップとして,ReLU NN の実現から決定境界を抽出する最初の解析手法である BoundEx も紹介する。どちらの手法も、低次元データに基づいて訓練されたReLU NNに対して非常に自然な可視化ツールを導入している。

関連論文リスト

ReLUs Are Sufficient for Learning Implicit Neural Representations [17.786058035763254]
暗黙的神経表現学習におけるReLUアクティベーション関数の使用について再考する。 2次B-スプラインウェーブレットにインスパイアされ、ディープニューラルネットワーク(DNN)の各層にReLUニューロンに一連の簡単な制約を組み込む。我々は、一般的な信念とは対照的に、ReLUニューロンのみからなるDNNに基づいて最先端のINRを学習できることを実証した。
論文参考訳（メタデータ） (2024-06-04T17:51:08Z)
Manipulating Feature Visualizations with Gradient Slingshots [54.31109240020007]
本稿では,モデルの決定過程に大きな影響を及ぼすことなく,特徴可視化(FV)を操作する新しい手法を提案する。ニューラルネットワークモデルにおける本手法の有効性を評価し,任意の選択したニューロンの機能を隠蔽する能力を示す。
論文参考訳（メタデータ） (2024-01-11T18:57:17Z)
Dynamic Analysis and an Eigen Initializer for Recurrent Neural Networks [0.0]
繰り返しニューラルネットワークにおける隠れ状態のダイナミクスについて検討する。重み行列の固有分解に基づいて隠れ状態空間を解析するための新しい視点を提案する。本稿では,固有解析に基づく長期依存の説明を行う。
論文参考訳（メタデータ） (2023-07-28T17:14:58Z)
Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。ニューラルネットの様々な特性をこの新しいカーネルで研究する。
論文参考訳（メタデータ） (2023-01-01T02:11:39Z)
Learning and Generalization in RNNs [11.107204912245841]
単純なリカレントニューラルネットワークがシーケンスの関数を学習できることを実証する。新しいアイデアは、我々の証明でRNNの隠れた状態から情報を抽出することを可能にする。
論文参考訳（メタデータ） (2021-05-31T18:27:51Z)
ReLU Deep Neural Networks from the Hierarchical Basis Perspective [8.74591882131599]
有限要素法における階層基底法との関連性を検討し,ReLU深部ニューラルネットワーク(DNNs)について検討した。我々は、$x2$と$xy$のReLU DNNの近似スキームが、これらの2つの関数の階層ベース近似の構成バージョンであることを示した。
論文参考訳（メタデータ） (2021-05-10T07:25:33Z)
How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks [80.55378250013496]
勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
論文参考訳（メタデータ） (2020-09-24T17:48:59Z)
Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文参考訳（メタデータ） (2020-07-03T01:37:16Z)
Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文参考訳（メタデータ） (2020-07-02T17:55:47Z)
Measuring Model Complexity of Neural Networks with Curve Activation Functions [100.98319505253797]
本稿では,線形近似ニューラルネットワーク(LANN)を提案する。ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
論文参考訳（メタデータ） (2020-06-16T07:38:06Z)
Implicit Geometric Regularization for Learning Shapes [34.052738965233445]
生データから直接高忠実度暗黙的ニューラル表現を計算するための新しいパラダイムを提供する。提案手法は,従来の手法と比較して,高い精度と忠実度を有する暗黙的ニューラル表現の状態を導出することを示す。
論文参考訳（メタデータ） (2020-02-24T07:36:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。