論文の概要: Understanding Neural Networks with Logarithm Determinant Entropy Estimator

• arxiv url: http://arxiv.org/abs/2105.03705v1
• Date: Sat, 8 May 2021 14:07:58 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-12 12:38:21.308760
• Title: Understanding Neural Networks with Logarithm Determinant Entropy Estimator
• Title（参考訳）: logarithm determinant entropy estimatorを用いたニューラルネットワークの理解
• Authors: Zhanghao Zhouyin, Ding Liu
• Abstract要約: シャノン微分エントロピーを近似する信頼性の高い行列に基づくエントロピー推定器を提案する。 我々は,logdet estimatorに基づく有意な測定値を構築し,それと同等の実験を行い,ニューラルネットワークの動作解析に利用する。
• 参考スコア（独自算出の注目度）: 20.92555798155807
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding the informative behaviour of deep neural networks is challenged by misused estimators and the complexity of network structure, which leads to inconsistent observations and diversified interpretation. Here we propose the LogDet estimator -- a reliable matrix-based entropy estimator that approximates Shannon differential entropy. We construct informative measurements based on LogDet estimator, verify our method with comparable experiments and utilize it to analyse neural network behaviour. Our results demonstrate the LogDet estimator overcomes the drawbacks that emerge from highly diverse and degenerated distribution thus is reliable to estimate entropy in neural networks. The Network analysis results also find a functional distinction between shallow and deeper layers, which can help understand the compression phenomenon in the Information bottleneck theory of neural networks.
• Abstract（参考訳）: ディープニューラルネットワークの有益な振る舞いを理解することは、誤用された推定値とネットワーク構造の複雑さによって、一貫性のない観察と多様な解釈につながる。 ここでは,シャノン微分エントロピーを近似する信頼性の高い行列系エントロピー推定器logdet estimatorを提案する。 我々は,logdet estimatorに基づく有意な測定値を構築し,それと同等の実験を行い,ニューラルネットワークの動作解析に利用する。 その結果,logdet推定器は,高度に多様な分布から生じる欠点を克服し,ニューラルネットワークのエントロピーを推定できることがわかった。 ネットワーク解析の結果,ニューラルネットワークの情報ボトルネック理論における圧縮現象を理解するのに役立つ浅層層と深層層の機能的区別も見いだされた。

関連論文リスト

• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Cycle Consistency-based Uncertainty Quantification of Neural Networks in Inverse Imaging Problems [10.992084413881592]
  ディープニューラルネットワークの多くの応用には不確実性推定が不可欠である。 サイクル整合性に基づく逆問題に使用されるディープニューラルネットワークに対する不確実性定量化手法を示す。
  論文  参考訳（メタデータ） (2023-05-22T09:23:18Z)
• Approximate Bisimulation Relations for Neural Networks and Application to Assured Neural Network Compression [3.0839245814393728]
  本稿では,フィードフォワードニューラルネットワークに対する近似バイシミュレーション関係の概念を提案する。 2つのニューラルネットワーク間の近似バイシミュレーション誤差を計算するために,新しいニューラルネットワークマージ法を開発した。
  論文  参考訳（メタデータ） (2022-02-02T16:21:19Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• An Overview of Uncertainty Quantification Methods for Infinite Neural Networks [0.0]
  無限幅ニューラルネットワークにおける不確実性を定量化する手法について検討する。 我々は、予測の不確実性に対する厳密な閉形式解を得るために、いくつかの等価結果を利用する。
  論文  参考訳（メタデータ） (2022-01-13T00:03:22Z)
• SignalNet: A Low Resolution Sinusoid Decomposition and Estimation Network [79.04274563889548]
  本稿では,正弦波数を検出するニューラルネットワークアーキテクチャであるSignalNetを提案する。 基礎となるデータ分布と比較して,ネットワークの結果を比較するための最悪の学習しきい値を導入する。 シミュレーションでは、我々のアルゴリズムは常に3ビットデータのしきい値を超えることができるが、しばしば1ビットデータのしきい値を超えることはできない。
  論文  参考訳（メタデータ） (2021-06-10T04:21:20Z)
• Persistent Homology Captures the Generalization of Neural Networks Without A Validation Set [0.0]
  本稿では,代数的トポロジー,特に永続的ホモロジーを用いたニューラルネットワークのトレーニングについて考察する。 ニューラルネットワークの単純な複雑な表現を用いて、ニューラルネットワーク学習プロセスにおけるPHダイアグラム距離の進化について検討する。 その結果,連続するニューラルネットワーク状態間のPHダイアグラム距離は,検証精度と相関していることがわかった。
  論文  参考訳（メタデータ） (2021-05-31T09:17:31Z)
• Topological obstructions in neural networks learning [67.8848058842671]
  損失勾配関数フローのグローバル特性について検討する。 損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
  論文  参考訳（メタデータ） (2020-12-31T18:53:25Z)
• Topological Insights into Sparse Neural Networks [16.515620374178535]
  本稿では,グラフ理論の観点から,スパースニューラルネットワークトポロジの理解と比較を行うアプローチを提案する。 まず、異なるスパースニューラルネットワーク間の距離を測定するために、NNSTD(Neural Network Sparse Topology Distance)を提案する。 適応的なスパース接続は、高密度モデルよりも優れた非常に異なるトポロジを持つスパースサブネットワークを常に顕在化することができることを示す。
  論文  参考訳（メタデータ） (2020-06-24T22:27:21Z)
• Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
  本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。 本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。 我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
  論文  参考訳（メタデータ） (2020-06-16T18:45:20Z)
• Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
  圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。 本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
  論文  参考訳（メタデータ） (2020-01-14T22:26:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。