論文の概要: Towards quantifying information flows: relative entropy in deep neural networks and the renormalization group

• arxiv url: http://arxiv.org/abs/2107.06898v1
• Date: Wed, 14 Jul 2021 18:00:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-16 13:47:57.436108
• Title: Towards quantifying information flows: relative entropy in deep neural networks and the renormalization group
• Title（参考訳）: 情報の流れの定量化に向けて:ディープニューラルネットワークと再正規化群における相対エントロピー
• Authors: Johanna Erdmenger, Kevin T. Grosvenor, and Ro Jefferson
• Abstract要約: 相対エントロピーやクルバック・リーバーの分岐を明示的に計算することで,情報の流れを定量化する。 ニューラルネットワークの場合、その振る舞いは機械学習における様々な情報手法に影響を及ぼす可能性がある。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate the analogy between the renormalization group (RG) and deep neural networks, wherein subsequent layers of neurons are analogous to successive steps along the RG. In particular, we quantify the flow of information by explicitly computing the relative entropy or Kullback-Leibler divergence in both the one- and two-dimensional Ising models under decimation RG, as well as in a feedforward neural network as a function of depth. We observe qualitatively identical behavior characterized by the monotonic increase to a parameter-dependent asymptotic value. On the quantum field theory side, the monotonic increase confirms the connection between the relative entropy and the c-theorem. For the neural networks, the asymptotic behavior may have implications for various information maximization methods in machine learning, as well as for disentangling compactness and generalizability. Furthermore, while both the two-dimensional Ising model and the random neural networks we consider exhibit non-trivial critical points, the relative entropy appears insensitive to the phase structure of either system. In this sense, more refined probes are required in order to fully elucidate the flow of information in these models.
• Abstract（参考訳）: 本稿では, ニューロンの層がRGに沿った連続的なステップに類似する, 再正規化群 (RG) とディープニューラルネットワークの類似性について検討する。 特に,1次元および2次元のIsingモデルと,深度関数としてのフィードフォワードニューラルネットワークの両方において,相対エントロピーあるいはクルバック・リブラーの偏差を明示的に計算することにより,情報の流れを定量化する。 パラメータ依存漸近値への単調増加を特徴とする定性的に同一の挙動を観察する。 場の量子論側では、単調増加は相対エントロピーとc-理論の間の関係を確認する。 ニューラルネットワークの場合、漸近的な振る舞いは、機械学習における様々な情報最大化手法や、拡張性や一般化可能性に影響を及ぼす可能性がある。 さらに,2次元イジングモデルとランダムニューラルネットワークはいずれも非自明な臨界点を示すが,相対エントロピーはいずれの系の位相構造にも影響を受けない。 この意味では、これらのモデルにおける情報の流れを完全に解明するために、より洗練されたプローブが必要である。

関連論文リスト

• Understanding Artificial Neural Network's Behavior from Neuron Activation Perspective [8.251799609350725]
  本稿では,ニューロン活性化ダイナミクスのレンズによるディープニューラルネットワーク(DNN)の複雑な動作について検討する。 本稿では,モデルのニューロン活性化パターンをプロセスとして解析する確率的フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-24T01:01:06Z)
• Connecting NTK and NNGP: A Unified Theoretical Framework for Wide Neural Network Learning Dynamics [6.349503549199403]
  我々は、ディープ・ワイド・ニューラルネットワークの学習プロセスのための包括的なフレームワークを提供する。 拡散相を特徴づけることで、私たちの研究は脳内の表現的ドリフトに光を当てます。
  論文  参考訳（メタデータ） (2023-09-08T18:00:01Z)
• Fluctuation based interpretable analysis scheme for quantum many-body snapshots [0.0]
  物質の微視的理解と分類は、強相関量子物理学の中心にある。 ここでは、混乱学習と相関畳み込みニューラルネットワークを組み合わせることで、完全に解釈可能な位相検出を行う。 我々の研究は、解釈可能な量子画像処理における新しい方向を、長距離の順序に相応しいものに開放する。
  論文  参考訳（メタデータ） (2023-04-12T17:59:59Z)
• On the Approximation and Complexity of Deep Neural Networks to Invariant Functions [0.0]
  深部ニューラルネットワークの不変関数への近似と複雑性について検討する。 様々なタイプのニューラルネットワークモデルにより、幅広い不変関数を近似できることを示す。 我々は,高分解能信号のパラメータ推定と予測を理論的結論と結びつけることが可能なアプリケーションを提案する。
  論文  参考訳（メタデータ） (2022-10-27T09:19:19Z)
• Interrelation of equivariant Gaussian processes and convolutional neural networks [77.34726150561087]
  現在、ニューラルネットワーク(NN)とガウス過程(GP)の関係に基づく機械学習(ML)には、かなり有望な新しい傾向がある。 本研究では、ベクトル値のニューロン活性化を持つ2次元ユークリッド群とそれに対応する独立に導入された同変ガウス過程(GP)との関係を確立する。
  論文  参考訳（メタデータ） (2022-09-17T17:02:35Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Cross-Frequency Coupling Increases Memory Capacity in Oscillatory Neural Networks [69.42260428921436]
  クロス周波数カップリング(CFC)は、ニューロンの集団間での情報統合と関連している。 我々は,海馬および大脳皮質における観測された$theta - gamma$振動回路の計算的役割を予測するCFCのモデルを構築した。 CFCの存在は, 可塑性シナプスによって結合された神経細胞のメモリ容量を増加させることを示す。
  論文  参考訳（メタデータ） (2022-04-05T17:13:36Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Double-descent curves in neural networks: a new perspective using Gaussian processes [9.153116600213641]
  ニューラルネットワークの二重輝線曲線は、一般化誤差が最初にパラメータの増加とともに下降し、最適数のパラメータに達した後に成長する現象を記述している。 本稿では,ニューラルネットワークガウス過程カーネルのスペクトルの幅依存性として,経験的特徴共分散行列のスペクトル分布を特徴付けるために,ランダム行列理論の手法を用いる。
  論文  参考訳（メタデータ） (2021-02-14T20:31:49Z)
• Topological obstructions in neural networks learning [67.8848058842671]
  損失勾配関数フローのグローバル特性について検討する。 損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
  論文  参考訳（メタデータ） (2020-12-31T18:53:25Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。