論文の概要: Dimension of Activity in Random Neural Networks

• arxiv url: http://arxiv.org/abs/2207.12373v1
• Date: Mon, 25 Jul 2022 17:38:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-26 14:17:57.081478
• Title: Dimension of Activity in Random Neural Networks
• Title（参考訳）: ランダムニューラルネットワークにおける活動の次元
• Authors: David G. Clark, L.F. Abbott, Ashok Litwin-Kumar
• Abstract要約: ニューラルネットワークは、多くの相互接続ユニットの協調活動を通して情報を処理する高次元非線形力学系である。 DMFT法を2サイトキャビティ法により拡張し,活動調整の構造について検討する。 本研究は, 乱数ニューラルネットワークにおける集合活動の構造と, より広範に, クエンチ障害を伴う高次元非線形力学系において, 一般的な解析的枠組みを提供するものである。
• 参考スコア（独自算出の注目度）: 3.867363075280544
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks are high-dimensional nonlinear dynamical systems that process information through the coordinated activity of many interconnected units. Understanding how biological and machine-learning networks function and learn requires knowledge of the structure of this coordinated activity, information contained in cross-covariances between units. Although dynamical mean field theory (DMFT) has elucidated several features of random neural networks -- in particular, that they can generate chaotic activity -- existing DMFT approaches do not support the calculation of cross-covariances. We solve this longstanding problem by extending the DMFT approach via a two-site cavity method. This reveals, for the first time, several spatial and temporal features of activity coordination, including the effective dimension, defined as the participation ratio of the spectrum of the covariance matrix. Our results provide a general analytical framework for studying the structure of collective activity in random neural networks and, more broadly, in high-dimensional nonlinear dynamical systems with quenched disorder.
• Abstract（参考訳）: ニューラルネットワークは、多くの相互接続ユニットの協調活動を通して情報を処理する高次元非線形力学系である。 生物学的および機械学習ネットワークがどのように機能し、学習するかを理解するには、ユニット間の相互共分散に含まれるこの協調アクティビティの構造に関する知識が必要である。 動的平均場理論(DMFT)は、無作為ニューラルネットワークのいくつかの特徴を解明してきたが、既存のDMFTアプローチは相互共分散の計算をサポートしない。 DMFTアプローチを2箇所の空洞法により拡張することで,この長年の問題を解決する。 これは、初めて、共分散行列のスペクトルの参加比として定義される有効次元を含む、アクティビティコーディネーションのいくつかの空間的および時間的特徴を明らかにする。 本研究は, 乱数ニューラルネットワークにおける集合活動の構造と, より広範に, クエンチ障害を伴う高次元非線形力学系において, 一般的な解析フレームワークを提供する。

関連論文リスト

• Connectivity structure and dynamics of nonlinear recurrent neural networks [46.62658917638706]
  我々は,ニューラルネットワークの高次元,内部的に発生する活動が接続構造をどのように形成するかを解析する理論を開発する。 我々の理論は、ニューラルネットワークアーキテクチャと人工および生物学的システムにおける集合力学を関連付けるためのツールを提供する。
  論文  参考訳（メタデータ） (2024-09-03T15:08:37Z)
• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Sparse Interaction Additive Networks via Feature Interaction Detection and Sparse Selection [10.191597755296163]
  我々は,必要な特徴の組み合わせを効率的に識別する,抽出可能な選択アルゴリズムを開発した。 提案するスパース・インタラクション・アダプティブ・ネットワーク(SIAN)は,単純かつ解釈可能なモデルから完全に接続されたニューラルネットワークへのブリッジを構築する。
  論文  参考訳（メタデータ） (2022-09-19T19:57:17Z)
• Imaginary components of out-of-time correlators and information scrambling for navigating the learning landscape of a quantum machine learning model [0.0]
  我々は、時間外相関器の未探索の虚構成分が、グラフニューラルネットワークの情報スクランブル能力に関する前例のない洞察を与えることができることを分析的に説明する。 このような分析は、量子情報がそのようなネットワークを介してどのようにスクランブルされるかを明らかにすることによって、量子機械学習モデルのトレーニングをデミステレーションする。
  論文  参考訳（メタデータ） (2022-08-29T06:17:28Z)
• Bayesian Inference of Stochastic Dynamical Networks [0.0]
  本稿では,ネットワークトポロジと内部ダイナミクスを学習するための新しい手法を提案する。 グループスパースベイズ学習(GSBL)、BINGO、カーネルベースの方法、dynGENIE3、genIE3、ARNIと比較される。 本手法は,グループスパースベイズ学習 (GSBL), BINGO, kernel-based method, dynGENIE3, GENIE3, ARNI と比較して,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-06-02T03:22:34Z)
• Decomposing neural networks as mappings of correlation functions [57.52754806616669]
  本研究では,ディープフィードフォワードネットワークによって実装された確率分布のマッピングについて検討する。 ニューラルネットワークで使用できる異なる情報表現と同様に、データに不可欠な統計を識別する。
  論文  参考訳（メタデータ） (2022-02-10T09:30:31Z)
• Learning Interpretable Models for Coupled Networks Under Domain Constraints [8.308385006727702]
  脳ネットワークの構造的エッジと機能的エッジの相互作用に着目して,結合ネットワークの概念を検討する。 相互作用を推定しながらノイズ項にハードネットワークの制約を課す新しい定式化を提案する。 ヒトコネクトームプロジェクトから得られたマルチシェル拡散およびタスク誘発fMRIデータセットの手法を検証する。
  論文  参考訳（メタデータ） (2021-04-19T06:23:31Z)
• Towards Interaction Detection Using Topological Analysis on Neural Networks [55.74562391439507]
  ニューラルネットワークでは、あらゆる相互作用する特徴は共通の隠蔽ユニットとの強い重み付けの接続に従う必要がある。 本稿では, 永続的ホモロジーの理論に基づいて, 相互作用強度を定量化するための新しい尺度を提案する。 PID(Persistence Interaction Detection)アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-10-25T02:15:24Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。