論文の概要: Functional Network: A Novel Framework for Interpretability of Deep
Neural Networks
- arxiv url: http://arxiv.org/abs/2205.11702v1
- Date: Tue, 24 May 2022 01:17:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-25 15:13:35.652252
- Title: Functional Network: A Novel Framework for Interpretability of Deep
Neural Networks
- Title(参考訳): 機能的ネットワーク:深層ニューラルネットワークの解釈可能性のための新しい枠組み
- Authors: Ben Zhang, Zhetong Dong, Junsong Zhang, Hongwei Lin
- Abstract要約: 本稿では,深層ニューラルネットワーク,すなわち関数型ネットワークの解釈可能性に関する新しい枠組みを提案する。
本実験では, バッチ正規化とドロップアウトという正則化手法のメカニズムを明らかにした。
- 参考スコア(独自算出の注目度): 2.641939670320645
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The layered structure of deep neural networks hinders the use of numerous
analysis tools and thus the development of its interpretability. Inspired by
the success of functional brain networks, we propose a novel framework for
interpretability of deep neural networks, that is, the functional network. We
construct the functional network of fully connected networks and explore its
small-worldness. In our experiments, the mechanisms of regularization methods,
namely, batch normalization and dropout, are revealed using graph theoretical
analysis and topological data analysis. Our empirical analysis shows the
following: (1) Batch normalization enhances model performance by increasing the
global e ciency and the number of loops but reduces adversarial robustness by
lowering the fault tolerance. (2) Dropout improves generalization and
robustness of models by improving the functional specialization and fault
tolerance. (3) The models with dierent regularizations can be clustered
correctly according to their functional topological dierences, re ecting the
great potential of the functional network and topological data analysis in
interpretability.
- Abstract(参考訳): ディープニューラルネットワークの階層構造は、多数の分析ツールの使用を妨げるため、その解釈可能性の開発を妨げる。
機能的脳ネットワークの成功に触発されて,深層ニューラルネットワーク,すなわち機能的ネットワークの解釈可能性に関する新しい枠組みを提案する。
我々は,完全接続ネットワークの機能的ネットワークを構築し,その小世界性を探る。
本研究では,グラフ理論解析とトポロジカルデータ解析を用いて,正規化手法,すなわちバッチ正規化とドロップアウトのメカニズムを明らかにする。
1) バッチ正規化は, グローバルeシークエンシーとループ数を増加させ, モデル性能を向上させるが, フォールトトレランスを低下させることで, 敵対的ロバスト性が低下する。
2)機能特殊化とフォールトトレランスの改善により,モデルの一般化と堅牢性が向上する。
3) 機能的トポロジカルディアランスに基づいて, ディレント正規化モデルを正しくクラスタリングし, 機能的ネットワークの潜在能力を再検討し, 解釈可能性におけるトポロジカルデータ解析を行った。
関連論文リスト
- Operator Learning Meets Numerical Analysis: Improving Neural Networks
through Iterative Methods [2.226971382808806]
演算子方程式の反復的手法に基づく理論的枠組みを開発する。
拡散モデルやAlphaFoldのような一般的なアーキテクチャは本質的に反復的演算子学習を採用していることを実証する。
本研究の目的は,数値解析から洞察を融合させることにより,ディープラーニングの理解を深めることである。
論文 参考訳(メタデータ) (2023-10-02T20:25:36Z) - Complexity of Deep Neural Networks from the Perspective of Functional
Equivalence [1.3597551064547502]
機能的等価性の概念を考察し、異なるネットワークパラメータ化が同じ機能をもたらすことを示唆する。
本稿では,畳み込みニューラルネットワーク,残差ネットワーク,注意に基づくモデルの拡張について論じる。
論文 参考訳(メタデータ) (2023-05-19T04:01:27Z) - Provable Guarantees for Nonlinear Feature Learning in Three-Layer Neural
Networks [49.808194368781095]
3層ニューラルネットワークは,2層ネットワークよりも特徴学習能力が豊富であることを示す。
この研究は、特徴学習体制における2層ネットワーク上の3層ニューラルネットワークの証明可能なメリットを理解するための前進である。
論文 参考訳(メタデータ) (2023-05-11T17:19:30Z) - Generalization and Estimation Error Bounds for Model-based Neural
Networks [78.88759757988761]
スパースリカバリのためのモデルベースネットワークの一般化能力は、通常のReLUネットワークよりも優れていることを示す。
我々は,高一般化を保証したモデルベースネットワークの構築を可能にする実用的な設計規則を導出する。
論文 参考訳(メタデータ) (2023-04-19T16:39:44Z) - With Greater Distance Comes Worse Performance: On the Perspective of
Layer Utilization and Model Generalization [3.6321778403619285]
ディープニューラルネットワークの一般化は、マシンラーニングにおける主要なオープンな問題の1つだ。
初期のレイヤは一般的に、トレーニングデータとテストデータの両方のパフォーマンスに関する表現を学びます。
より深いレイヤは、トレーニングのリスクを最小限に抑え、テストや不正なラベル付けされたデータとうまく連携できない。
論文 参考訳(メタデータ) (2022-01-28T05:26:32Z) - Analytic Insights into Structure and Rank of Neural Network Hessian Maps [32.90143789616052]
ニューラルネットワークのヘシアンは、損失の2階微分を通じてパラメータ相互作用をキャプチャする。
我々は、ヘッセン写像の範囲を分析する理論的ツールを開発し、その階数不足の正確な理解を提供する。
これにより、ディープ線形ネットワークのヘッセン階数に対する正確な公式と厳密な上界が得られる。
論文 参考訳(メタデータ) (2021-06-30T17:29:58Z) - Formalizing Generalization and Robustness of Neural Networks to Weight
Perturbations [58.731070632586594]
非負のモノトーンアクティベーション機能を備えたフィードフォワードニューラルネットワークの重量変動に対する最初の形式解析を提供します。
また,重みの摂動に対して一般化し頑健なニューラルネットワークを訓練するための新しい理論駆動損失関数を設計した。
論文 参考訳(メタデータ) (2021-03-03T06:17:03Z) - Topological obstructions in neural networks learning [67.8848058842671]
損失勾配関数フローのグローバル特性について検討する。
損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
論文 参考訳(メタデータ) (2020-12-31T18:53:25Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳(メタデータ) (2020-08-19T04:53:31Z) - Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。
本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。
我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
論文 参考訳(メタデータ) (2020-06-16T18:45:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。