論文の概要: On the limits of neural network explainability via descrambling

• arxiv url: http://arxiv.org/abs/2301.07820v3
• Date: Mon, 2 Sep 2024 21:17:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-04 23:05:43.414174
• Title: On the limits of neural network explainability via descrambling
• Title（参考訳）: デクラミブリングによるニューラルネットワーク説明可能性の限界について
• Authors: Shashank Sule, Richard G. Spencer, Wojciech Czaja,
• Abstract要約: 隠蔽層プレアクティベーションの主成分は, 層重みの最適説明器やデクランブラーとして特徴付けられることを示す。 典型的なディープラーニングの文脈では、これらのデクランブラーは多様で興味深い形式をとっています。
• 参考スコア（独自算出の注目度）: 2.5554069583567487
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We characterize the exact solutions to neural network descrambling--a mathematical model for explaining the fully connected layers of trained neural networks (NNs). By reformulating the problem to the minimization of the Brockett function arising in graph matching and complexity theory we show that the principal components of the hidden layer preactivations can be characterized as the optimal explainers or descramblers for the layer weights, leading to descrambled weight matrices. We show that in typical deep learning contexts these descramblers take diverse and interesting forms including (1) matching largest principal components with the lowest frequency modes of the Fourier basis for isotropic hidden data, (2) discovering the semantic development in two-layer linear NNs for signal recovery problems, and (3) explaining CNNs by optimally permuting the neurons. Our numerical experiments indicate that the eigendecompositions of the hidden layer data--now understood as the descramblers--can also reveal the layer's underlying transformation. These results illustrate that the SVD is more directly related to the explainability of NNs than previously thought and offers a promising avenue for discovering interpretable motifs for the hidden action of NNs, especially in contexts of operator learning or physics-informed NNs, where the input/output data has limited human readability.
• Abstract（参考訳）: トレーニングニューラルネットワーク(NN)の完全連結層を説明する数学的モデルとして,ニューラルネットワークデクラムブリングの正確な解を特徴付ける。 グラフマッチングと複雑性理論に起因したブロケット関数の最小化に問題を再構成することにより、隠蔽層プレアクティベーションの主成分が層重みの最適説明やデクランブラーとして特徴付けられることを示す。 典型的なディープラーニングでは,(1) 最大主成分と等方的隠蔽データに対するフーリエ基底の最低周波数モードとの整合性,(2) 信号回復問題のための2層線形NNにおける意味発達の発見,(3) ニューロンを最適に置換することでCNNを説明すること,などが特徴である。 数値実験により,隠蔽層データの固有分解がデクランブラーとして理解されていることが示唆された。 これらの結果から,SVDは従来考えられていたよりもNNの説明可能性と直接的に関連し,特に操作者学習や物理インフォームドNNの文脈において,NNの隠蔽動作に対する解釈可能なモチーフを発見するための有望な手段を提供する。

関連論文リスト

• Discovering Chunks in Neural Embeddings for Interpretability [53.80157905839065]
  本稿では, チャンキングの原理を応用して, 人工神経集団活動の解釈を提案する。 まず、この概念を正則性を持つ人工シーケンスを訓練したリカレントニューラルネットワーク(RNN)で実証する。 我々は、これらの状態に対する摂動が関連する概念を活性化または阻害すると共に、入力における概念に対応する同様の繰り返し埋め込み状態を特定する。
  論文  参考訳（メタデータ） (2025-02-03T20:30:46Z)
• Understanding Artificial Neural Network's Behavior from Neuron Activation Perspective [8.251799609350725]
  本稿では,ニューロン活性化ダイナミクスのレンズによるディープニューラルネットワーク(DNN)の複雑な動作について検討する。 本稿では,モデルのニューロン活性化パターンをプロセスとして解析する確率的フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-24T01:01:06Z)
• Understanding polysemanticity in neural networks through coding theory [0.8702432681310401]
  本稿では,ネットワークの解釈可能性に関する新たな実践的アプローチと,多意味性やコードの密度に関する理論的考察を提案する。 ランダムなプロジェクションによって、ネットワークがスムーズか非微分可能かが明らかになり、コードがどのように解釈されるかを示す。 我々のアプローチは、ニューラルネットワークにおける解釈可能性の追求を前進させ、その基盤となる構造についての洞察を与え、回路レベルの解釈可能性のための新たな道を提案する。
  論文  参考訳（メタデータ） (2024-01-31T16:31:54Z)
• Graph Neural Networks Provably Benefit from Structural Information: A Feature Learning Perspective [53.999128831324576]
  グラフニューラルネットワーク(GNN)は、グラフ表現学習の先駆けとなった。 本研究では,特徴学習理論の文脈におけるグラフ畳み込みの役割について検討する。
  論文  参考訳（メタデータ） (2023-06-24T10:21:11Z)
• Transferability of coVariance Neural Networks and Application to Interpretable Brain Age Prediction using Anatomical Features [119.45320143101381]
  グラフ畳み込みネットワーク(GCN)は、トポロジー駆動のグラフ畳み込み演算を利用して、推論タスクのためにグラフをまたいだ情報を結合する。 我々は、共分散行列をグラフとして、共分散ニューラルネットワーク(VNN)の形でGCNを研究した。 VNNは、GCNからスケールフリーなデータ処理アーキテクチャを継承し、ここでは、共分散行列が極限オブジェクトに収束するデータセットに対して、VNNが性能の転送可能性を示すことを示す。
  論文  参考訳（メタデータ） (2023-05-02T22:15:54Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Topological obstructions in neural networks learning [67.8848058842671]
  損失勾配関数フローのグローバル特性について検討する。 損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
  論文  参考訳（メタデータ） (2020-12-31T18:53:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。