論文の概要: Dimension of activity in random neural networks

• arxiv url: http://arxiv.org/abs/2207.12373v3
• Date: Mon, 11 Sep 2023 18:15:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-13 18:11:57.442061
• Title: Dimension of activity in random neural networks
• Title（参考訳）: ランダムニューラルネットワークにおける活動の次元
• Authors: David G. Clark, L.F. Abbott, Ashok Litwin-Kumar
• Abstract要約: ニューラルネットワークは、多くの連結ユニットの協調活動を通して情報を処理する高次元非線形力学系である。 二点共分散をDMFTを用いて自己整合的に計算する。 我々の公式は、幅広い単単位力学に適用され、非二項結合に一般化される。
• 参考スコア（独自算出の注目度）: 6.752538702870792
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks are high-dimensional nonlinear dynamical systems that process information through the coordinated activity of many connected units. Understanding how biological and machine-learning networks function and learn requires knowledge of the structure of this coordinated activity, information contained, for example, in cross covariances between units. Self-consistent dynamical mean field theory (DMFT) has elucidated several features of random neural networks -- in particular, that they can generate chaotic activity -- however, a calculation of cross covariances using this approach has not been provided. Here, we calculate cross covariances self-consistently via a two-site cavity DMFT. We use this theory to probe spatiotemporal features of activity coordination in a classic random-network model with independent and identically distributed (i.i.d.) couplings, showing an extensive but fractionally low effective dimension of activity and a long population-level timescale. Our formulae apply to a wide range of single-unit dynamics and generalize to non-i.i.d. couplings. As an example of the latter, we analyze the case of partially symmetric couplings.
• Abstract（参考訳）: ニューラルネットワークは、多くの連結ユニットの協調活動を通して情報を処理する高次元非線形力学系である。 生物と機械学習のネットワークがどのように機能し学習するかを理解するには、この協調した活動の構造、例えば、単位間の相互共分散に含まれる情報を理解する必要がある。 自己整合動的平均場理論(dmft)は、ランダムニューラルネットワークのいくつかの特徴—特にカオス的活動を生み出す—を解明しているが、このアプローチを用いた相互共分散の計算は提供されていない。 ここでは,2箇所の共分散をDMFTを用いて自己整合的に計算する。 本研究では,従来のランダムネットワークモデルにおける活動協調の時空間的特徴を,独立的かつ同一に分散した(d.d.)カップリングモデルを用いて探索する。 我々の公式は幅広い単単位力学に適用され、非二項結合に一般化される。 後者の例として,部分対称結合の場合を分析する。

関連論文リスト

• Connectivity structure and dynamics of nonlinear recurrent neural networks [46.62658917638706]
  我々は,ニューラルネットワークの高次元,内部的に発生する活動が接続構造をどのように形成するかを解析する理論を開発する。 我々の理論は、ニューラルネットワークアーキテクチャと人工および生物学的システムにおける集合力学を関連付けるためのツールを提供する。
  論文  参考訳（メタデータ） (2024-09-03T15:08:37Z)
• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Sparse Interaction Additive Networks via Feature Interaction Detection and Sparse Selection [10.191597755296163]
  我々は,必要な特徴の組み合わせを効率的に識別する,抽出可能な選択アルゴリズムを開発した。 提案するスパース・インタラクション・アダプティブ・ネットワーク(SIAN)は,単純かつ解釈可能なモデルから完全に接続されたニューラルネットワークへのブリッジを構築する。
  論文  参考訳（メタデータ） (2022-09-19T19:57:17Z)
• Imaginary components of out-of-time correlators and information scrambling for navigating the learning landscape of a quantum machine learning model [0.0]
  我々は、時間外相関器の未探索の虚構成分が、グラフニューラルネットワークの情報スクランブル能力に関する前例のない洞察を与えることができることを分析的に説明する。 このような分析は、量子情報がそのようなネットワークを介してどのようにスクランブルされるかを明らかにすることによって、量子機械学習モデルのトレーニングをデミステレーションする。
  論文  参考訳（メタデータ） (2022-08-29T06:17:28Z)
• Bayesian Inference of Stochastic Dynamical Networks [0.0]
  本稿では,ネットワークトポロジと内部ダイナミクスを学習するための新しい手法を提案する。 グループスパースベイズ学習(GSBL)、BINGO、カーネルベースの方法、dynGENIE3、genIE3、ARNIと比較される。 本手法は,グループスパースベイズ学習 (GSBL), BINGO, kernel-based method, dynGENIE3, GENIE3, ARNI と比較して,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-06-02T03:22:34Z)
• Decomposing neural networks as mappings of correlation functions [57.52754806616669]
  本研究では,ディープフィードフォワードネットワークによって実装された確率分布のマッピングについて検討する。 ニューラルネットワークで使用できる異なる情報表現と同様に、データに不可欠な統計を識別する。
  論文  参考訳（メタデータ） (2022-02-10T09:30:31Z)
• Learning Interpretable Models for Coupled Networks Under Domain Constraints [8.308385006727702]
  脳ネットワークの構造的エッジと機能的エッジの相互作用に着目して,結合ネットワークの概念を検討する。 相互作用を推定しながらノイズ項にハードネットワークの制約を課す新しい定式化を提案する。 ヒトコネクトームプロジェクトから得られたマルチシェル拡散およびタスク誘発fMRIデータセットの手法を検証する。
  論文  参考訳（メタデータ） (2021-04-19T06:23:31Z)
• Towards Interaction Detection Using Topological Analysis on Neural Networks [55.74562391439507]
  ニューラルネットワークでは、あらゆる相互作用する特徴は共通の隠蔽ユニットとの強い重み付けの接続に従う必要がある。 本稿では, 永続的ホモロジーの理論に基づいて, 相互作用強度を定量化するための新しい尺度を提案する。 PID(Persistence Interaction Detection)アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-10-25T02:15:24Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。