論文の概要: Functional Network: A Novel Framework for Interpretability of Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2205.11702v1
• Date: Tue, 24 May 2022 01:17:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-25 15:13:35.652252
• Title: Functional Network: A Novel Framework for Interpretability of Deep Neural Networks
• Title（参考訳）: 機能的ネットワーク:深層ニューラルネットワークの解釈可能性のための新しい枠組み
• Authors: Ben Zhang, Zhetong Dong, Junsong Zhang, Hongwei Lin
• Abstract要約: 本稿では,深層ニューラルネットワーク,すなわち関数型ネットワークの解釈可能性に関する新しい枠組みを提案する。 本実験では, バッチ正規化とドロップアウトという正則化手法のメカニズムを明らかにした。
• 参考スコア（独自算出の注目度）: 2.641939670320645
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The layered structure of deep neural networks hinders the use of numerous analysis tools and thus the development of its interpretability. Inspired by the success of functional brain networks, we propose a novel framework for interpretability of deep neural networks, that is, the functional network. We construct the functional network of fully connected networks and explore its small-worldness. In our experiments, the mechanisms of regularization methods, namely, batch normalization and dropout, are revealed using graph theoretical analysis and topological data analysis. Our empirical analysis shows the following: (1) Batch normalization enhances model performance by increasing the global e ciency and the number of loops but reduces adversarial robustness by lowering the fault tolerance. (2) Dropout improves generalization and robustness of models by improving the functional specialization and fault tolerance. (3) The models with dierent regularizations can be clustered correctly according to their functional topological dierences, re ecting the great potential of the functional network and topological data analysis in interpretability.
• Abstract（参考訳）: ディープニューラルネットワークの階層構造は、多数の分析ツールの使用を妨げるため、その解釈可能性の開発を妨げる。 機能的脳ネットワークの成功に触発されて,深層ニューラルネットワーク,すなわち機能的ネットワークの解釈可能性に関する新しい枠組みを提案する。 我々は,完全接続ネットワークの機能的ネットワークを構築し,その小世界性を探る。 本研究では,グラフ理論解析とトポロジカルデータ解析を用いて,正規化手法,すなわちバッチ正規化とドロップアウトのメカニズムを明らかにする。 1) バッチ正規化は, グローバルeシークエンシーとループ数を増加させ, モデル性能を向上させるが, フォールトトレランスを低下させることで, 敵対的ロバスト性が低下する。 2)機能特殊化とフォールトトレランスの改善により,モデルの一般化と堅牢性が向上する。 3) 機能的トポロジカルディアランスに基づいて, ディレント正規化モデルを正しくクラスタリングし, 機能的ネットワークの潜在能力を再検討し, 解釈可能性におけるトポロジカルデータ解析を行った。

関連論文リスト

• Interpreting Neural Networks through Mahalanobis Distance [0.0]
  本稿では,ニューラルネットワークの線形層とマハラノビス距離を結合する理論的枠組みを提案する。 この研究は理論的であり、経験的データを含んでいないが、提案された距離に基づく解釈は、モデルロバスト性を高め、一般化を改善し、ニューラルネットワークの決定をより直観的な説明を提供する可能性がある。
  論文  参考訳（メタデータ） (2024-10-25T07:21:44Z)
• Neural Scaling Laws of Deep ReLU and Deep Operator Network: A Theoretical Study [8.183509993010983]
  深部演算子のネットワークにおけるニューラルネットワークのスケーリング法則をChenおよびChenスタイルアーキテクチャを用いて検討する。 我々は、その近似と一般化誤差を分析して、ニューラルネットワークのスケーリング法則を定量化する。 本結果は,演算子学習における神経スケーリング法則を部分的に説明し,その応用の理論的基盤を提供する。
  論文  参考訳（メタデータ） (2024-10-01T03:06:55Z)
• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Feature Contamination: Neural Networks Learn Uncorrelated Features and Fail to Generalize [5.642322814965062]
  分散シフトの下で一般化される学習表現は、堅牢な機械学習モデルを構築する上で重要である。 ニューラルネットワークを教師ネットワークから得られる表現に明示的に適合させることさえ、学生ネットワークの一般化には不十分であることを示す。
  論文  参考訳（メタデータ） (2024-06-05T15:04:27Z)
• Operator Learning Meets Numerical Analysis: Improving Neural Networks through Iterative Methods [2.226971382808806]
  演算子方程式の反復的手法に基づく理論的枠組みを開発する。 拡散モデルやAlphaFoldのような一般的なアーキテクチャは本質的に反復的演算子学習を採用していることを実証する。 本研究の目的は,数値解析から洞察を融合させることにより,ディープラーニングの理解を深めることである。
  論文  参考訳（メタデータ） (2023-10-02T20:25:36Z)
• Generalization and Estimation Error Bounds for Model-based Neural Networks [78.88759757988761]
  スパースリカバリのためのモデルベースネットワークの一般化能力は、通常のReLUネットワークよりも優れていることを示す。 我々は,高一般化を保証したモデルベースネットワークの構築を可能にする実用的な設計規則を導出する。
  論文  参考訳（メタデータ） (2023-04-19T16:39:44Z)
• Analytic Insights into Structure and Rank of Neural Network Hessian Maps [32.90143789616052]
  ニューラルネットワークのヘシアンは、損失の2階微分を通じてパラメータ相互作用をキャプチャする。 我々は、ヘッセン写像の範囲を分析する理論的ツールを開発し、その階数不足の正確な理解を提供する。 これにより、ディープ線形ネットワークのヘッセン階数に対する正確な公式と厳密な上界が得られる。
  論文  参考訳（メタデータ） (2021-06-30T17:29:58Z)
• Formalizing Generalization and Robustness of Neural Networks to Weight Perturbations [58.731070632586594]
  非負のモノトーンアクティベーション機能を備えたフィードフォワードニューラルネットワークの重量変動に対する最初の形式解析を提供します。 また,重みの摂動に対して一般化し頑健なニューラルネットワークを訓練するための新しい理論駆動損失関数を設計した。
  論文  参考訳（メタデータ） (2021-03-03T06:17:03Z)
• Topological obstructions in neural networks learning [67.8848058842671]
  損失勾配関数フローのグローバル特性について検討する。 損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
  論文  参考訳（メタデータ） (2020-12-31T18:53:25Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
  本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。 本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。 我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
  論文  参考訳（メタデータ） (2020-06-16T18:45:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。