Fugu-MT 論文翻訳(概要): Visualizing Information Bottleneck through Variational Inference

論文の概要: Visualizing Information Bottleneck through Variational Inference

arxiv url: http://arxiv.org/abs/2212.12667v1
Date: Sat, 24 Dec 2022 06:02:42 GMT
ステータス: 処理完了
システム内更新日: 2022-12-27 14:50:52.627943
Title: Visualizing Information Bottleneck through Variational Inference
Title（参考訳）: 変分推論による情報ボトルネックの可視化
Authors: Cipta Herwana and Abhishek Kadian
Abstract要約: 我々は、MNIST分類に基づくディープニューラルネットワークのグラディエントDescentトレーニング過程を解析する。本稿では,変分推論によるディープニューラルネットワークの相互情報を推定するためのセットアップを提案する。
参考スコア（独自算出の注目度）: 2.02666268789748
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The Information Bottleneck theory provides a theoretical and computational framework for finding approximate minimum sufficient statistics. Analysis of the Stochastic Gradient Descent (SGD) training of a neural network on a toy problem has shown the existence of two phases, fitting and compression. In this work, we analyze the SGD training process of a Deep Neural Network on MNIST classification and confirm the existence of two phases of SGD training. We also propose a setup for estimating the mutual information for a Deep Neural Network through Variational Inference.
Abstract（参考訳）: 情報ボトルネック理論は、ほぼ最小限の統計量を見つけるための理論的および計算的枠組みを提供する。玩具問題におけるニューラルネットワークの確率的勾配降下訓練(SGD)の解析により, 適合性と圧縮の2つの相の存在が確認された。本研究では,mnist分類における深層ニューラルネットワークのsgdトレーニングプロセスを分析し,sgdトレーニングの2つのフェーズの存在を確認した。また,変動推論による深層ニューラルネットワークの相互情報を推定するためのセットアップを提案する。

関連論文リスト

An Analysis Framework for Understanding Deep Neural Networks Based on Network Dynamics [11.44947569206928]
ディープニューラルネットワーク(DNN)は、ディープ層にまたがる異なるモードのニューロンの割合を合理的に割り当てることで、情報抽出を最大化する。このフレームワークは、"フラット・ミニマ効果(flat minima effect)"、"グロッキング(grokking)"、二重降下現象(double descend phenomena)など、基本的なDNNの振る舞いについて統一的な説明を提供する。
論文参考訳（メタデータ） (2025-01-05T04:23:21Z)
Assessing Neural Network Representations During Training Using Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
論文参考訳（メタデータ） (2023-12-04T01:32:42Z)
Connecting NTK and NNGP: A Unified Theoretical Framework for Wide Neural Network Learning Dynamics [6.349503549199403]
我々は、ディープ・ワイド・ニューラルネットワークの学習プロセスのための包括的なフレームワークを提供する。拡散相を特徴づけることで、私たちの研究は脳内の表現的ドリフトに光を当てます。
論文参考訳（メタデータ） (2023-09-08T18:00:01Z)
Fundamental limits of overparametrized shallow neural networks for supervised learning [11.136777922498355]
本研究では,教師ネットワークが生成した入力-出力ペアから学習した2層ニューラルネットワークについて検討する。この結果は,トレーニングデータとネットワーク重み間の相互情報,すなわちベイズ最適一般化誤差に関連する境界の形で得られる。
論文参考訳（メタデータ） (2023-07-11T08:30:50Z)
Information Bottleneck Analysis of Deep Neural Networks via Lossy Compression [37.69303106863453]
Information Bottleneck(IB)原則は、ディープニューラルネットワーク(DNN)のトレーニングプロセスを分析するための情報理論フレームワークを提供する。本稿では,一般NNのICB解析を行うためのフレームワークを提案する。また,MI力学の新たな特徴を明らかにするため,実規模に近いISB解析を行う。
論文参考訳（メタデータ） (2023-05-13T21:44:32Z)
Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文参考訳（メタデータ） (2023-02-01T03:18:07Z)
Decomposing neural networks as mappings of correlation functions [57.52754806616669]
本研究では,ディープフィードフォワードネットワークによって実装された確率分布のマッピングについて検討する。ニューラルネットワークで使用できる異なる情報表現と同様に、データに不可欠な統計を識別する。
論文参考訳（メタデータ） (2022-02-10T09:30:31Z)
Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
勾配勾配勾配を用いた2層ReLUネットワークについて検討する。 SGDは単純な解に偏りがあることが示される。また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
論文参考訳（メタデータ） (2021-11-03T15:14:20Z)
A Riemannian Mean Field Formulation for Two-layer Neural Networks with Batch Normalization [8.193914488276468]
バッチ正規化(BN)を伴う2層ニューラルネットワークのトレーニングダイナミクスについて検討した。 BNを持つ二層ニューラルネットワークの無限幅限界を考える。平均場定式化の訓練力学は多様体上のワッサーシュタイン勾配流であることが示されている。
論文参考訳（メタデータ） (2021-10-17T05:00:43Z)
Inter-layer Information Similarity Assessment of Deep Neural Networks Via Topological Similarity and Persistence Analysis of Data Neighbour Dynamics [93.4221402881609]
ディープニューラルネットワーク(DNN)による情報構造の定量的解析により、DNNアーキテクチャの理論的性能に関する新たな知見が明らかにされる。量的情報構造解析のためのLSとIDの戦略に着想を得て, 層間情報類似度評価のための2つの新しい補完手法を提案する。本研究では,画像データを用いた深層畳み込みニューラルネットワークのアーキテクチャ解析を行い,その効果を実証する。
論文参考訳（メタデータ） (2020-12-07T15:34:58Z)
Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
論文参考訳（メタデータ） (2020-10-01T17:51:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。