論文の概要: Towards quantifying information flows: relative entropy in deep neural
networks and the renormalization group
- arxiv url: http://arxiv.org/abs/2107.06898v1
- Date: Wed, 14 Jul 2021 18:00:01 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-16 13:47:57.436108
- Title: Towards quantifying information flows: relative entropy in deep neural
networks and the renormalization group
- Title(参考訳): 情報の流れの定量化に向けて:ディープニューラルネットワークと再正規化群における相対エントロピー
- Authors: Johanna Erdmenger, Kevin T. Grosvenor, and Ro Jefferson
- Abstract要約: 相対エントロピーやクルバック・リーバーの分岐を明示的に計算することで,情報の流れを定量化する。
ニューラルネットワークの場合、その振る舞いは機械学習における様々な情報手法に影響を及ぼす可能性がある。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We investigate the analogy between the renormalization group (RG) and deep
neural networks, wherein subsequent layers of neurons are analogous to
successive steps along the RG. In particular, we quantify the flow of
information by explicitly computing the relative entropy or Kullback-Leibler
divergence in both the one- and two-dimensional Ising models under decimation
RG, as well as in a feedforward neural network as a function of depth. We
observe qualitatively identical behavior characterized by the monotonic
increase to a parameter-dependent asymptotic value. On the quantum field theory
side, the monotonic increase confirms the connection between the relative
entropy and the c-theorem. For the neural networks, the asymptotic behavior may
have implications for various information maximization methods in machine
learning, as well as for disentangling compactness and generalizability.
Furthermore, while both the two-dimensional Ising model and the random neural
networks we consider exhibit non-trivial critical points, the relative entropy
appears insensitive to the phase structure of either system. In this sense,
more refined probes are required in order to fully elucidate the flow of
information in these models.
- Abstract(参考訳): 本稿では, ニューロンの層がRGに沿った連続的なステップに類似する, 再正規化群 (RG) とディープニューラルネットワークの類似性について検討する。
特に,1次元および2次元のIsingモデルと,深度関数としてのフィードフォワードニューラルネットワークの両方において,相対エントロピーあるいはクルバック・リブラーの偏差を明示的に計算することにより,情報の流れを定量化する。
パラメータ依存漸近値への単調増加を特徴とする定性的に同一の挙動を観察する。
場の量子論側では、単調増加は相対エントロピーとc-理論の間の関係を確認する。
ニューラルネットワークの場合、漸近的な振る舞いは、機械学習における様々な情報最大化手法や、拡張性や一般化可能性に影響を及ぼす可能性がある。
さらに,2次元イジングモデルとランダムニューラルネットワークはいずれも非自明な臨界点を示すが,相対エントロピーはいずれの系の位相構造にも影響を受けない。
この意味では、これらのモデルにおける情報の流れを完全に解明するために、より洗練されたプローブが必要である。
関連論文リスト
- Wilsonian Renormalization of Neural Network Gaussian Processes [1.8749305679160366]
本稿では,ガウス過程(GP)回帰の文脈でWilsonian RGを実行するための実践的アプローチを示す。
GPカーネルの学習不能モードを体系的に統合し,エネルギースケールの役割を果たすガウス過程のRGフローを得る。
このアプローチは、RGフローと学習可能モードと学習不可能モードとの自然な接続を提供することによって、RGとニューラルネットワークの間の構造的な類似性を越えている。
論文 参考訳(メタデータ) (2024-05-09T18:00:00Z) - Fluctuation based interpretable analysis scheme for quantum many-body
snapshots [0.0]
物質の微視的理解と分類は、強相関量子物理学の中心にある。
ここでは、混乱学習と相関畳み込みニューラルネットワークを組み合わせることで、完全に解釈可能な位相検出を行う。
我々の研究は、解釈可能な量子画像処理における新しい方向を、長距離の順序に相応しいものに開放する。
論文 参考訳(メタデータ) (2023-04-12T17:59:59Z) - On the Approximation and Complexity of Deep Neural Networks to Invariant
Functions [0.0]
深部ニューラルネットワークの不変関数への近似と複雑性について検討する。
様々なタイプのニューラルネットワークモデルにより、幅広い不変関数を近似できることを示す。
我々は,高分解能信号のパラメータ推定と予測を理論的結論と結びつけることが可能なアプリケーションを提案する。
論文 参考訳(メタデータ) (2022-10-27T09:19:19Z) - Interrelation of equivariant Gaussian processes and convolutional neural
networks [77.34726150561087]
現在、ニューラルネットワーク(NN)とガウス過程(GP)の関係に基づく機械学習(ML)には、かなり有望な新しい傾向がある。
本研究では、ベクトル値のニューロン活性化を持つ2次元ユークリッド群とそれに対応する独立に導入された同変ガウス過程(GP)との関係を確立する。
論文 参考訳(メタデータ) (2022-09-17T17:02:35Z) - Deep Architecture Connectivity Matters for Its Convergence: A
Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。
接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文 参考訳(メタデータ) (2022-05-11T17:43:54Z) - Cross-Frequency Coupling Increases Memory Capacity in Oscillatory Neural
Networks [69.42260428921436]
クロス周波数カップリング(CFC)は、ニューロンの集団間での情報統合と関連している。
我々は,海馬および大脳皮質における観測された$theta - gamma$振動回路の計算的役割を予測するCFCのモデルを構築した。
CFCの存在は, 可塑性シナプスによって結合された神経細胞のメモリ容量を増加させることを示す。
論文 参考訳(メタデータ) (2022-04-05T17:13:36Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Double-descent curves in neural networks: a new perspective using
Gaussian processes [9.153116600213641]
ニューラルネットワークの二重輝線曲線は、一般化誤差が最初にパラメータの増加とともに下降し、最適数のパラメータに達した後に成長する現象を記述している。
本稿では,ニューラルネットワークガウス過程カーネルのスペクトルの幅依存性として,経験的特徴共分散行列のスペクトル分布を特徴付けるために,ランダム行列理論の手法を用いる。
論文 参考訳(メタデータ) (2021-02-14T20:31:49Z) - Topological obstructions in neural networks learning [67.8848058842671]
損失勾配関数フローのグローバル特性について検討する。
損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
論文 参考訳(メタデータ) (2020-12-31T18:53:25Z) - Depth-Width Trade-offs for Neural Networks via Topological Entropy [0.0]
本稿では,深部ニューラルネットワークの表現性と力学系からのトポロジカルエントロピーとの新たな関連性を示す。
位相エントロピー,振動数,周期,リプシッツ定数の関係について論じる。
論文 参考訳(メタデータ) (2020-10-15T08:14:44Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳(メタデータ) (2020-07-02T17:55:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。