論文の概要: Information Bottleneck Analysis of Deep Neural Networks via Lossy Compression

• arxiv url: http://arxiv.org/abs/2305.08013v2
• Date: Wed, 8 May 2024 21:52:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-10 18:29:02.194905
• Title: Information Bottleneck Analysis of Deep Neural Networks via Lossy Compression
• Title（参考訳）: ロスシー圧縮によるディープニューラルネットワークのインフォメーション・ボトルネック解析
• Authors: Ivan Butakov, Alexander Tolmachev, Sofia Malanchuk, Anna Neopryatnaya, Alexey Frolov, Kirill Andreev,
• Abstract要約: Information Bottleneck(IB)原則は、ディープニューラルネットワーク(DNN)のトレーニングプロセスを分析するための情報理論フレームワークを提供する。 本稿では,一般NNのICB解析を行うためのフレームワークを提案する。 また,MI力学の新たな特徴を明らかにするため,実規模に近いISB解析を行う。
• 参考スコア（独自算出の注目度）: 37.69303106863453
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Information Bottleneck (IB) principle offers an information-theoretic framework for analyzing the training process of deep neural networks (DNNs). Its essence lies in tracking the dynamics of two mutual information (MI) values: between the hidden layer output and the DNN input/target. According to the hypothesis put forth by Shwartz-Ziv & Tishby (2017), the training process consists of two distinct phases: fitting and compression. The latter phase is believed to account for the good generalization performance exhibited by DNNs. Due to the challenging nature of estimating MI between high-dimensional random vectors, this hypothesis was only partially verified for NNs of tiny sizes or specific types, such as quantized NNs. In this paper, we introduce a framework for conducting IB analysis of general NNs. Our approach leverages the stochastic NN method proposed by Goldfeld et al. (2019) and incorporates a compression step to overcome the obstacles associated with high dimensionality. In other words, we estimate the MI between the compressed representations of high-dimensional random vectors. The proposed method is supported by both theoretical and practical justifications. Notably, we demonstrate the accuracy of our estimator through synthetic experiments featuring predefined MI values and comparison with MINE (Belghazi et al., 2018). Finally, we perform IB analysis on a close-to-real-scale convolutional DNN, which reveals new features of the MI dynamics.
• Abstract（参考訳）: Information Bottleneck(IB)原則は、ディープニューラルネットワーク(DNN)のトレーニングプロセスを分析するための情報理論フレームワークを提供する。 その本質は、2つの相互情報(MI)値(隠された層出力とDNN入力/ターゲット)のダイナミクスを追跡することである。 Shwartz-Ziv & Tishby (2017) の仮説によれば、トレーニングプロセスは、フィッティングと圧縮の2つの異なるフェーズで構成されている。 後者のフェーズは、DNNによる優れた一般化性能を考慮に入れていると考えられている。 高次元のランダムベクトル間でMIを推定する難しい性質のため、この仮説は、小さな大きさのNNや量子化されたNNのような特定のタイプのNNに対してのみ部分的に検証された。 本稿では,一般NNのICB解析を行うためのフレームワークを提案する。 提案手法はGoldfeld et al (2019) によって提案された確率的NN法を利用しており、高次元性に関連する障害を克服するための圧縮ステップを取り入れている。 言い換えれば、高次元ランダムベクトルの圧縮表現間のMIを推定する。 提案手法は理論的および実用的正当性の両方で支持される。 特に, 予め定義されたMI値とMINEとの比較を行った合成実験により, 推定器の精度を実証した(Belghazi et al , 2018)。 最後に,MI力学の新たな特徴を明らかにする畳み込み DNN を用いて IB 解析を行う。

関連論文リスト

• Residual-based attention and connection to information bottleneck theory in PINNs [0.393259574660092]
  近年,物理インフォームドニューラルネットワーク(PINN)への関心が高まっている。 本稿では,動的システムや静的システムの収束を加速する,PINNの効率的な勾配なし重み付け手法を提案する。
  論文  参考訳（メタデータ） (2023-07-01T16:29:55Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Rethinking Influence Functions of Neural Networks in the Over-parameterized Regime [12.501827786462924]
  インフルエンス関数(IF)は、ニューラルネットワークにおける1つのトレーニングポイントを除去する効果を測定するように設計されている。 ニューラルネットワークの平均二乗損失を正規化して訓練したニューラルネットワークのIFを計算するために,ニューラルタンジェントカーネル(NTK)理論を用いる。
  論文  参考訳（メタデータ） (2021-12-15T17:44:00Z)
• Neural Estimation of Statistical Divergences [24.78742908726579]
  ニューラルネットワーク(NN)による経験的変動形態のパラメトリゼーションによる統計的発散推定の一手法 特に、近似と経験的推定という2つのエラー源の間には、根本的なトレードオフがある。 NN成長速度がわずかに異なる神経推定器は、最小値の最適値に近づき、パラメトリック収束率を対数因子まで達成できることを示す。
  論文  参考訳（メタデータ） (2021-10-07T17:42:44Z)
• Inter-layer Information Similarity Assessment of Deep Neural Networks Via Topological Similarity and Persistence Analysis of Data Neighbour Dynamics [93.4221402881609]
  ディープニューラルネットワーク(DNN)による情報構造の定量的解析により、DNNアーキテクチャの理論的性能に関する新たな知見が明らかにされる。 量的情報構造解析のためのLSとIDの戦略に着想を得て, 層間情報類似度評価のための2つの新しい補完手法を提案する。 本研究では,画像データを用いた深層畳み込みニューラルネットワークのアーキテクチャ解析を行い,その効果を実証する。
  論文  参考訳（メタデータ） (2020-12-07T15:34:58Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• A deep learning framework for solution and discovery in solid mechanics [1.4699455652461721]
  本稿では,物理情報ニューラルネットワーク(PINN)と呼ばれるディープラーニングのクラスを,固体力学の学習と発見に応用する。 本稿では, 運動量バランスと弾性の関係をPINNに組み込む方法について解説し, 線形弾性への応用について詳細に検討する。
  論文  参考訳（メタデータ） (2020-02-14T08:24:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。