論文の概要: Scalable Partial Explainability in Neural Networks via Flexible Activation Functions

• arxiv url: http://arxiv.org/abs/2006.06057v1
• Date: Wed, 10 Jun 2020 20:30:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-23 04:13:58.649244
• Title: Scalable Partial Explainability in Neural Networks via Flexible Activation Functions
• Title（参考訳）: フレキシブルアクティベーション関数によるニューラルネットワークのスケーラブル部分説明可能性
• Authors: Schyler C. Sun, Chen Li, Zhuangkun Wei, Antonios Tsourdos, Weisi Guo
• Abstract要約: ディープニューラルネットワーク(NN)によって与えられる高次元の特徴と決定は、そのメカニズムを公開するために新しいアルゴリズムと方法を必要とする。 現在の最先端のNN解釈手法は、NN構造や操作自体よりも、NN出力と入力との直接的な関係に重点を置いている。 本稿では,スケーラブルなトポロジの下でのアクティベーション関数(AF)の役割を象徴的に説明することにより,部分的に説明可能な学習モデルを実現する。
• 参考スコア（独自算出の注目度）: 13.71739091287644
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Achieving transparency in black-box deep learning algorithms is still an open challenge. High dimensional features and decisions given by deep neural networks (NN) require new algorithms and methods to expose its mechanisms. Current state-of-the-art NN interpretation methods (e.g. Saliency maps, DeepLIFT, LIME, etc.) focus more on the direct relationship between NN outputs and inputs rather than the NN structure and operations itself. In current deep NN operations, there is uncertainty over the exact role played by neurons with fixed activation functions. In this paper, we achieve partially explainable learning model by symbolically explaining the role of activation functions (AF) under a scalable topology. This is carried out by modeling the AFs as adaptive Gaussian Processes (GP), which sit within a novel scalable NN topology, based on the Kolmogorov-Arnold Superposition Theorem (KST). In this scalable NN architecture, the AFs are generated by GP interpolation between control points and can thus be tuned during the back-propagation procedure via gradient descent. The control points act as the core enabler to both local and global adjustability of AF, where the GP interpolation constrains the intrinsic autocorrelation to avoid over-fitting. We show that there exists a trade-off between the NN's expressive power and interpretation complexity, under linear KST topology scaling. To demonstrate this, we perform a case study on a binary classification dataset of banknote authentication. By quantitatively and qualitatively investigating the mapping relationship between inputs and output, our explainable model can provide interpretation over each of the one-dimensional attributes. These early results suggest that our model has the potential to act as the final interpretation layer for deep neural networks.
• Abstract（参考訳）: ブラックボックスのディープラーニングアルゴリズムにおける透明性の実現は、まだ未解決の課題である。 ディープニューラルネットワーク(NN)によって与えられる高次元の特徴と決定は、そのメカニズムを公開するために新しいアルゴリズムと方法を必要とする。 現在の最先端NN解釈手法(例えば、Saliency map、DeepLIFT、LIMEなど)は、NNの構造や操作自体よりも、NN出力と入力との直接的な関係に重点を置いている。 現在のディープNN操作では、ニューロンが活性化機能を固定する正確な役割について不確実性がある。 本稿では,スケーラブルなトポロジの下でのアクティベーション関数(AF)の役割を象徴的に説明することにより,部分的に説明可能な学習モデルを実現する。 これは、KST(Kolmogorov-Arnold Superposition Theorem)に基づいて、新しいスケーラブルNNトポロジー内に位置する適応ガウス過程(GP)としてAFをモデル化することで実現される。 このスケーラブルNNアーキテクチャでは、AFは制御点間のGP補間によって生成され、勾配勾配によるバックプロパゲーション手順で調整することができる。 制御点はAFの局所的および大域的調整可能性のコアイネーブルとして機能し、GP補間は過度な適合を避けるために内在的自己相関を制約する。 線形KSTトポロジースケーリングでは,NNの表現力と解釈の複雑さの間にトレードオフが存在することを示す。 そこで本研究では,銀行券認証のバイナリ分類データセットについて事例研究を行う。 入力と出力のマッピング関係を定量的に定性的に調べることで,各1次元属性に対する解釈を提供することができる。 これらの初期の結果は、我々のモデルがディープニューラルネットワークの最終解釈層として機能する可能性を示唆している。

関連論文リスト

• Learning local discrete features in explainable-by-design convolutional neural networks [0.0]
  本稿では,側方抑制機構に基づくCNN(Design-by-Design Convolutional Neural Network)を提案する。 このモデルは、残留または高密度のスキップ接続を持つ高精度CNNである予測器で構成されている。 観測を収集し,直接確率を計算することにより,隣接するレベルのモチーフ間の因果関係を説明することができる。
  論文  参考訳（メタデータ） (2024-10-31T18:39:41Z)
• Joint Diffusion Processes as an Inductive Bias in Sheaf Neural Networks [14.224234978509026]
  せん断ニューラルネットワーク(SNN)は自然にグラフニューラルネットワーク(GNN)を拡張する 構造図をより直感的に理解するための2つの新しいせん断学習手法を提案する。 評価では,これまでのSNNで使用されている実世界のベンチマークの限界を示す。
  論文  参考訳（メタデータ） (2024-07-30T07:17:46Z)
• Deep Neural Networks via Complex Network Theory: a Perspective [3.1023851130450684]
  ディープニューラルネットワーク(DNN)は、リンクと頂点が反復的にデータを処理し、タスクを亜最適に解くグラフとして表現することができる。複雑なネットワーク理論(CNT)は、統計物理学とグラフ理論を融合させ、その重みとニューロン構造を分析してニューラルネットワークを解釈する方法を提供する。 本研究では,DNNのトレーニング分布から抽出した測定値を用いて既存のCNTメトリクスを拡張し,純粋なトポロジカル解析からディープラーニングの解釈可能性へ移行する。
  論文  参考訳（メタデータ） (2024-04-17T08:42:42Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• On Feature Learning in Neural Networks with Global Convergence Guarantees [49.870593940818715]
  勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。 入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。 また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
  論文  参考訳（メタデータ） (2022-04-22T15:56:43Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。