論文の概要: Quantifying and maximizing the information flux in recurrent neural networks

• arxiv url: http://arxiv.org/abs/2301.12892v2
• Date: Tue, 17 Oct 2023 15:49:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-18 22:53:04.612896
• Title: Quantifying and maximizing the information flux in recurrent neural networks
• Title（参考訳）: リカレントニューラルネットワークにおける情報フラックスの定量化と最大化
• Authors: Claus Metzner, Marius E. Yamakou, Dennis Voelkl, Achim Schilling and Patrick Krauss
• Abstract要約: 弱い接続を持つネットワークでは、相互情報$I$は、ニューロンペア間の平均相関関係のルート平均2乗ピアソンの単調変換であることがわかった。 この結果は,短期記憶やパターンジェネレータとして機能するRNNの構築に有用である可能性が示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Free-running Recurrent Neural Networks (RNNs), especially probabilistic models, generate an ongoing information flux that can be quantified with the mutual information $I\left[\vec{x}(t),\vec{x}(t\!+\!1)\right]$ between subsequent system states $\vec{x}$. Although, former studies have shown that $I$ depends on the statistics of the network's connection weights, it is unclear (1) how to maximize $I$ systematically and (2) how to quantify the flux in large systems where computing the mutual information becomes intractable. Here, we address these questions using Boltzmann machines as model systems. We find that in networks with moderately strong connections, the mutual information $I$ is approximately a monotonic transformation of the root-mean-square averaged Pearson correlations between neuron-pairs, a quantity that can be efficiently computed even in large systems. Furthermore, evolutionary maximization of $I\left[\vec{x}(t),\vec{x}(t\!+\!1)\right]$ reveals a general design principle for the weight matrices enabling the systematic construction of systems with a high spontaneous information flux. Finally, we simultaneously maximize information flux and the mean period length of cyclic attractors in the state space of these dynamical networks. Our results are potentially useful for the construction of RNNs that serve as short-time memories or pattern generators.
• Abstract（参考訳）: 自由実行型リカレントニューラルネットワーク(rnn)、特に確率モデルでは、相互情報$i\left[\vec{x}(t),\vec{x}(t\! +\! 1)\right]$ 次のシステム状態間で、$\vec{x}$。 以前の研究では、$i$はネットワークの接続重みの統計に依存することが示されているが、(1)体系的に$i$を最大化する方法と、(2)相互情報を計算できない大規模システムにおけるフラックスの定量化方法が不明である。 本稿ではボルツマンマシンをモデルシステムとして用いる。 強い接続を持つネットワークでは、相互情報$I$は、大系においても効率的に計算できる量であるニューロンペア間のルート平均2乗平均ピアソン相関の単調変換であることがわかった。 さらに、$I\left[\vec{x}(t),\vec{x}(t\! +\! 1)\right]$は、高自発的情報流束を持つシステムの体系的構築を可能にする重み行列の一般的な設計原理を明らかにする。 最後に,これらの動的ネットワークの状態空間における情報フラックスとサイクリックアトラクタの平均周期長を同時に最大化する。 この結果は,短期記憶やパターン生成装置として機能するRNNの構築に有用である可能性がある。

関連論文リスト

• Assessing Neural Network Representations During Training Using Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
  ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。 データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。 本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
  論文  参考訳（メタデータ） (2023-12-04T01:32:42Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Recovering the Graph Underlying Networked Dynamical Systems under Partial Observability: A Deep Learning Approach [7.209528581296429]
  時系列間の依存グラフを復元するグラフ構造同定の問題について検討する。 観測時系列から計算した特徴ベクトルを考案し,これらの特徴が線形分離可能であることを示す。 私たちはこれらの機能を使って畳み込みニューラルネットワーク(CNN)を訓練します。
  論文  参考訳（メタデータ） (2022-08-08T20:32:28Z)
• Hierarchical autoregressive neural networks for statistical systems [0.05156484100374058]
  我々は、例えばスピンのような物理的自由度の階層的な結合を、システムの線形範囲$L$のスケーリングに置き換えるニューロンに提案する。 我々は,2次元Isingモデルに対して,最大128×128$スピンの格子をシミュレートし,時間ベンチマークを512×512$の格子に到達させることで,その2次元Isingモデルに対するアプローチを実証した。
  論文  参考訳（メタデータ） (2022-03-21T13:55:53Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• The Rate of Convergence of Variation-Constrained Deep Neural Networks [35.393855471751756]
  変動制約のあるニューラルネットワークのクラスは、任意に小さな定数$delta$に対して、ほぼパラメトリックレート$n-1/2+delta$を達成することができることを示す。 その結果、滑らかな関数の近似に必要な神経機能空間は、しばしば知覚されるものほど大きくない可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-22T21:28:00Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• System Identification Through Lipschitz Regularized Deep Neural Networks [0.4297070083645048]
  ニューラルネットワークを使って、データから支配方程式を学習します。 我々は、観測されたタイムスタンプデータから直接、ODEs $dotx(t) = f(t, x(t))$の右辺を再構築する。
  論文  参考訳（メタデータ） (2020-09-07T17:52:51Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。