論文の概要: On the limits of neural network explainability via descrambling

• arxiv url: http://arxiv.org/abs/2301.07820v3
• Date: Mon, 2 Sep 2024 21:17:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-04 23:05:43.414174
• Title: On the limits of neural network explainability via descrambling
• Title（参考訳）: デクラミブリングによるニューラルネットワーク説明可能性の限界について
• Authors: Shashank Sule, Richard G. Spencer, Wojciech Czaja,
• Abstract要約: 隠蔽層プレアクティベーションの主成分は, 層重みの最適説明器やデクランブラーとして特徴付けられることを示す。 典型的なディープラーニングの文脈では、これらのデクランブラーは多様で興味深い形式をとっています。
• 参考スコア（独自算出の注目度）: 2.5554069583567487
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We characterize the exact solutions to neural network descrambling--a mathematical model for explaining the fully connected layers of trained neural networks (NNs). By reformulating the problem to the minimization of the Brockett function arising in graph matching and complexity theory we show that the principal components of the hidden layer preactivations can be characterized as the optimal explainers or descramblers for the layer weights, leading to descrambled weight matrices. We show that in typical deep learning contexts these descramblers take diverse and interesting forms including (1) matching largest principal components with the lowest frequency modes of the Fourier basis for isotropic hidden data, (2) discovering the semantic development in two-layer linear NNs for signal recovery problems, and (3) explaining CNNs by optimally permuting the neurons. Our numerical experiments indicate that the eigendecompositions of the hidden layer data--now understood as the descramblers--can also reveal the layer's underlying transformation. These results illustrate that the SVD is more directly related to the explainability of NNs than previously thought and offers a promising avenue for discovering interpretable motifs for the hidden action of NNs, especially in contexts of operator learning or physics-informed NNs, where the input/output data has limited human readability.
• Abstract（参考訳）: トレーニングニューラルネットワーク(NN)の完全連結層を説明する数学的モデルとして,ニューラルネットワークデクラムブリングの正確な解を特徴付ける。 グラフマッチングと複雑性理論に起因したブロケット関数の最小化に問題を再構成することにより、隠蔽層プレアクティベーションの主成分が層重みの最適説明やデクランブラーとして特徴付けられることを示す。 典型的なディープラーニングでは,(1) 最大主成分と等方的隠蔽データに対するフーリエ基底の最低周波数モードとの整合性,(2) 信号回復問題のための2層線形NNにおける意味発達の発見,(3) ニューロンを最適に置換することでCNNを説明すること,などが特徴である。 数値実験により,隠蔽層データの固有分解がデクランブラーとして理解されていることが示唆された。 これらの結果から,SVDは従来考えられていたよりもNNの説明可能性と直接的に関連し,特に操作者学習や物理インフォームドNNの文脈において,NNの隠蔽動作に対する解釈可能なモチーフを発見するための有望な手段を提供する。

関連論文リスト

• Understanding polysemanticity in neural networks through coding theory [0.8702432681310401]
  本稿では,ネットワークの解釈可能性に関する新たな実践的アプローチと,多意味性やコードの密度に関する理論的考察を提案する。 ランダムなプロジェクションによって、ネットワークがスムーズか非微分可能かが明らかになり、コードがどのように解釈されるかを示す。 我々のアプローチは、ニューラルネットワークにおける解釈可能性の追求を前進させ、その基盤となる構造についての洞察を与え、回路レベルの解釈可能性のための新たな道を提案する。
  論文  参考訳（メタデータ） (2024-01-31T16:31:54Z)
• Graph Neural Networks Provably Benefit from Structural Information: A Feature Learning Perspective [53.999128831324576]
  グラフニューラルネットワーク(GNN)は、グラフ表現学習の先駆けとなった。 本研究では,特徴学習理論の文脈におけるグラフ畳み込みの役割について検討する。
  論文  参考訳（メタデータ） (2023-06-24T10:21:11Z)
• Transferability of coVariance Neural Networks and Application to Interpretable Brain Age Prediction using Anatomical Features [119.45320143101381]
  グラフ畳み込みネットワーク(GCN)は、トポロジー駆動のグラフ畳み込み演算を利用して、推論タスクのためにグラフをまたいだ情報を結合する。 我々は、共分散行列をグラフとして、共分散ニューラルネットワーク(VNN)の形でGCNを研究した。 VNNは、GCNからスケールフリーなデータ処理アーキテクチャを継承し、ここでは、共分散行列が極限オブジェクトに収束するデータセットに対して、VNNが性能の転送可能性を示すことを示す。
  論文  参考訳（メタデータ） (2023-05-02T22:15:54Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Seeking Interpretability and Explainability in Binary Activated Neural Networks [2.828173677501078]
  本稿では、回帰タスクの文脈において、解釈可能かつ説明可能な予測子としてバイナリ活性化ニューラルネットワークを用いることについて検討する。 本稿では,特徴量,隠れニューロン,さらには重みの相対的重要性を定量化するために,SHAP値の効率的な計算法を提案する。
  論文  参考訳（メタデータ） (2022-09-07T20:11:17Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Topological obstructions in neural networks learning [67.8848058842671]
  損失勾配関数フローのグローバル特性について検討する。 損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
  論文  参考訳（メタデータ） (2020-12-31T18:53:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。