論文の概要: Visualizing Information Bottleneck through Variational Inference
- arxiv url: http://arxiv.org/abs/2212.12667v1
- Date: Sat, 24 Dec 2022 06:02:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-27 14:50:52.627943
- Title: Visualizing Information Bottleneck through Variational Inference
- Title(参考訳): 変分推論による情報ボトルネックの可視化
- Authors: Cipta Herwana and Abhishek Kadian
- Abstract要約: 我々は、MNIST分類に基づくディープニューラルネットワークのグラディエントDescentトレーニング過程を解析する。
本稿では,変分推論によるディープニューラルネットワークの相互情報を推定するためのセットアップを提案する。
- 参考スコア(独自算出の注目度): 2.02666268789748
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Information Bottleneck theory provides a theoretical and computational
framework for finding approximate minimum sufficient statistics. Analysis of
the Stochastic Gradient Descent (SGD) training of a neural network on a toy
problem has shown the existence of two phases, fitting and compression. In this
work, we analyze the SGD training process of a Deep Neural Network on MNIST
classification and confirm the existence of two phases of SGD training. We also
propose a setup for estimating the mutual information for a Deep Neural Network
through Variational Inference.
- Abstract(参考訳): 情報ボトルネック理論は、ほぼ最小限の統計量を見つけるための理論的および計算的枠組みを提供する。
玩具問題におけるニューラルネットワークの確率的勾配降下訓練(SGD)の解析により, 適合性と圧縮の2つの相の存在が確認された。
本研究では,mnist分類における深層ニューラルネットワークのsgdトレーニングプロセスを分析し,sgdトレーニングの2つのフェーズの存在を確認した。
また,変動推論による深層ニューラルネットワークの相互情報を推定するためのセットアップを提案する。
関連論文リスト
- Assessing Neural Network Representations During Training Using
Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。
データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。
本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
論文 参考訳(メタデータ) (2023-12-04T01:32:42Z) - Fundamental limits of overparametrized shallow neural networks for
supervised learning [11.136777922498355]
本研究では,教師ネットワークが生成した入力-出力ペアから学習した2層ニューラルネットワークについて検討する。
この結果は,トレーニングデータとネットワーク重み間の相互情報,すなわちベイズ最適一般化誤差に関連する境界の形で得られる。
論文 参考訳(メタデータ) (2023-07-11T08:30:50Z) - Information Bottleneck Analysis of Deep Neural Networks via Lossy
Compression [55.41644538483948]
Information Bottleneck(IB)原則は、ディープニューラルネットワーク(DNN)のトレーニングプロセスを分析するための情報理論フレームワークを提供する。
本稿では,一般NNのICB解析のための包括的フレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-13T21:44:32Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳(メタデータ) (2023-02-01T03:18:07Z) - Decomposing neural networks as mappings of correlation functions [57.52754806616669]
本研究では,ディープフィードフォワードネットワークによって実装された確率分布のマッピングについて検討する。
ニューラルネットワークで使用できる異なる情報表現と同様に、データに不可欠な統計を識別する。
論文 参考訳(メタデータ) (2022-02-10T09:30:31Z) - Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
勾配勾配勾配を用いた2層ReLUネットワークについて検討する。
SGDは単純な解に偏りがあることが示される。
また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
論文 参考訳(メタデータ) (2021-11-03T15:14:20Z) - A Riemannian Mean Field Formulation for Two-layer Neural Networks with
Batch Normalization [8.193914488276468]
バッチ正規化(BN)を伴う2層ニューラルネットワークのトレーニングダイナミクスについて検討した。
BNを持つ二層ニューラルネットワークの無限幅限界を考える。
平均場定式化の訓練力学は多様体上のワッサーシュタイン勾配流であることが示されている。
論文 参考訳(メタデータ) (2021-10-17T05:00:43Z) - On the reproducibility of fully convolutional neural networks for
modeling time-space evolving physical systems [0.0]
ディープラーニング完全畳み込みニューラルネットワークは、同じ条件で同じネットワークを数回トレーニングすることで評価される。
ダブル浮動小数点精度で実施したトレーニングは、ネットワークパラメータとテストエラー範囲の両方のばらつきを大幅に低減し、見積もりをわずかに改善する。
論文 参考訳(メタデータ) (2021-05-12T07:39:30Z) - Inter-layer Information Similarity Assessment of Deep Neural Networks
Via Topological Similarity and Persistence Analysis of Data Neighbour
Dynamics [93.4221402881609]
ディープニューラルネットワーク(DNN)による情報構造の定量的解析により、DNNアーキテクチャの理論的性能に関する新たな知見が明らかにされる。
量的情報構造解析のためのLSとIDの戦略に着想を得て, 層間情報類似度評価のための2つの新しい補完手法を提案する。
本研究では,画像データを用いた深層畳み込みニューラルネットワークのアーキテクチャ解析を行い,その効果を実証する。
論文 参考訳(メタデータ) (2020-12-07T15:34:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。