論文の概要: Information Bottleneck: Exact Analysis of (Quantized) Neural Networks
- arxiv url: http://arxiv.org/abs/2106.12912v1
- Date: Thu, 24 Jun 2021 11:13:08 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-25 15:02:22.844982
- Title: Information Bottleneck: Exact Analysis of (Quantized) Neural Networks
- Title（参考訳）: Information Bottleneck:(量子化)ニューラルネットワークの厳密な解析
- Authors: Stephan Sloth Lorenzen and Christian Igel and Mads Nielsen
- Abstract要約: 深いニューラルネットワークを分析する手段として、情報ボトルネック(IB)の原則が提案されている。
トレーニング中に異なるフィッティングと圧縮フェーズが報告されている。
本研究は,MI 計算において,初期 IB は binning のアーティファクトではないことを示す。
- 参考スコア（独自算出の注目度）: 16.199954215341833
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The information bottleneck (IB) principle has been suggested as a way to
analyze deep neural networks. The learning dynamics are studied by inspecting
the mutual information (MI) between the hidden layers and the input and output.
Notably, separate fitting and compression phases during training have been
reported. This led to some controversy including claims that the observations
are not reproducible and strongly dependent on the type of activation function
used as well as on the way the MI is estimated. Our study confirms that
different ways of binning when computing the MI lead to qualitatively different
results, either supporting or refusing IB conjectures. To resolve the
controversy, we study the IB principle in settings where MI is non-trivial and
can be computed exactly. We monitor the dynamics of quantized neural networks,
that is, we discretize the whole deep learning system so that no approximation
is required when computing the MI. This allows us to quantify the information
flow without measurement errors. In this setting, we observed a fitting phase
for all layers and a compression phase for the output layer in all experiments;
the compression in the hidden layers was dependent on the type of activation
function. Our study shows that the initial IB results were not artifacts of
binning when computing the MI. However, the critical claim that the compression
phase may not be observed for some networks also holds true.
- Abstract（参考訳）: 深いニューラルネットワークを分析する手段として、情報ボトルネック(IB)の原則が提案されている。
学習力学は、隠れた層と入力と出力の間の相互情報(MI)を検査することによって研究される。
特に、トレーニング中の別のフィッティングと圧縮フェーズが報告されている。
これは、観測が再現可能ではなく、使用する活性化関数の種類とmiの推定方法に強く依存しているという主張を含むいくつかの論争を引き起こした。
本研究は,MI計算における結合方法の違いが,IB予想を支持するか否定するか,定性的に異なる結果をもたらすことを確認した。
論争を解決するために,MI が非自明で正確に計算できるような環境で IB の原理を考察する。
我々は、量子化されたニューラルネットワークのダイナミクス、すなわち、MIを計算する際に近似を必要としないように、ディープラーニングシステム全体を識別する。
これにより,測定誤差を伴わずに情報の流れを定量化できる。
この設定では,すべての層に適合する相と,すべての実験において出力層に圧縮相が観察され,隠蔽層内の圧縮は活性化関数の種類に依存した。
本研究は,MI 計算において,初期 IB は binning のアーティファクトではないことを示す。
しかし、一部のネットワークでは圧縮フェーズが観察できないという批判的な主張も事実である。
関連論文リスト
- Average gradient outer product as a mechanism for deep neural collapse [26.939895223897572]
Deep Neural Collapse (DNC)は、Deep Neural Networks (DNN)の最終層におけるデータ表現の驚くほど硬い構造を指す。
本研究では,平均勾配外積(AGOP)を通した特徴学習によりDNCが生成するデータ依存環境を提案する。
特徴学習体制下で訓練されたニューラルネットワークに対して,適切な特異ベクトルと重みの値が,クラス内変動の崩壊の大部分の原因となることを示す。
論文 参考訳（メタデータ） (2024-02-21T11:40:27Z) - Understanding and Leveraging the Learning Phases of Neural Networks [7.1169582271841625]
深層ニューラルネットワークの学習力学はよく理解されていない。
本研究では,入力および予測性能の層再構築能力について検討し,学習力学を包括的に解析する。
本稿では,ResNetやVGGといった共通データセットとアーキテクチャを用いた3つのフェーズの存在を示す。
論文 参考訳（メタデータ） (2023-12-11T23:20:58Z) - Assessing Neural Network Representations During Training Using
Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。
データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。
本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
論文 参考訳（メタデータ） (2023-12-04T01:32:42Z) - Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。
我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。
我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
論文 参考訳（メタデータ） (2023-10-02T03:25:32Z) - Learning Linear Causal Representations from Interventions under General
Nonlinear Mixing [52.66151568785088]
介入対象にアクセスできることなく、未知の単一ノード介入を考慮し、強い識別可能性を示す。
これは、ディープニューラルネットワークの埋め込みに対する非ペアの介入による因果識別性の最初の例である。
論文 参考訳（メタデータ） (2023-06-04T02:32:12Z) - Information Bottleneck Analysis of Deep Neural Networks via Lossy Compression [37.69303106863453]
Information Bottleneck(IB)原則は、ディープニューラルネットワーク(DNN)のトレーニングプロセスを分析するための情報理論フレームワークを提供する。
本稿では,一般NNのICB解析を行うためのフレームワークを提案する。
また,MI力学の新たな特徴を明らかにするため,実規模に近いISB解析を行う。
論文 参考訳（メタデータ） (2023-05-13T21:44:32Z) - Information Bottleneck-Based Hebbian Learning Rule Naturally Ties
Working Memory and Synaptic Updates [0.0]
私たちは、バックプロパゲーションとその関連する問題を完全に回避する、別のアプローチを取っています。
深層学習における最近の研究は、情報ボトルネック(IB)を介してネットワークの各層を個別に訓練することを提案した。
この変調信号は、貯水池のような動作記憶を持つ補助回路で学習可能であることを示す。
論文 参考訳（メタデータ） (2021-11-24T17:38:32Z) - On the Variance of the Fisher Information for Deep Learning [79.71410479830222]
Fisher InformationMatrix (FIM) はディープラーニングの領域に応用されている。
正確なFIMは、クローズドな形で利用できないか、計算に高すぎるかのいずれかである。
FIMの2つの等価表現に基づく2つの推定器について検討する。
論文 参考訳（メタデータ） (2021-07-09T04:46:50Z) - The Causal Neural Connection: Expressiveness, Learnability, and
Inference [125.57815987218756]
構造因果モデル (Structuor causal model, SCM) と呼ばれるオブジェクトは、調査中のシステムのランダムな変動のメカニズムと源の集合を表す。
本稿では, 因果的階層定理 (Thm. 1, Bareinboim et al., 2020) がまだニューラルモデルに対して成り立っていることを示す。
我々はニューラル因果モデル(NCM)と呼ばれる特殊なタイプのSCMを導入し、因果推論に必要な構造的制約をエンコードする新しいタイプの帰納バイアスを定式化する。
論文 参考訳（メタデータ） (2021-07-02T01:55:18Z) - Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。
種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。
共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
論文 参考訳（メタデータ） (2020-10-01T17:51:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。