論文の概要: Causal Influences Decouple From Their Underlying Network Structure In Echo State Networks

• arxiv url: http://arxiv.org/abs/2205.11947v1
• Date: Tue, 24 May 2022 10:22:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-25 15:49:30.831373
• Title: Causal Influences Decouple From Their Underlying Network Structure In Echo State Networks
• Title（参考訳）: Echo状態ネットワークにおける下位ネットワーク構造からの因果的影響
• Authors: Kayson Fakhar, Fatemeh Hadaeghi, Claus C. Hilgetag
• Abstract要約: Echo State Networks(ESN)は、トレーニング中に隠れた層が変更されない、汎用的なリカレントニューラルネットワークモデルである。 ネットワークの出力に対する各ノードの因果的寄与を定量化し,ネットワーク構造と振舞いの因果的リンクを提供する。 適切に設計されたESNのノードは、ネットワークの基盤構造に関係なく、ほとんど相互作用することがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Echo State Networks (ESN) are versatile recurrent neural network models in which the hidden layer remains unaltered during training. Interactions among nodes of this static backbone produce diverse representations of the given stimuli that are harnessed by a read-out mechanism to perform computations needed for solving a given task. ESNs are accessible models of neuronal circuits, since they are relatively inexpensive to train. Therefore, ESNs have become attractive for neuroscientists studying the relationship between neural structure, function, and behavior. For instance, it is not yet clear how distinctive connectivity patterns of brain networks support effective interactions among their nodes and how these patterns of interactions give rise to computation. To address this question, we employed an ESN with a biologically inspired structure and used a systematic multi-site lesioning framework to quantify the causal contribution of each node to the network's output, thus providing a causal link between network structure and behavior. We then focused on the structure-function relationship and decomposed the causal influence of each node on all other nodes, using the same lesioning framework. We found that nodes in a properly engineered ESN interact largely irrespective of the network's underlying structure. However, in a network with the same topology and a non-optimal parameter set, the underlying connectivity patterns determine the node interactions. Our results suggest that causal structure-function relations in ESNs can be decomposed into two components, direct and indirect interactions. The former are based on influences relying on structural connections. The latter describe the effective communication between any two nodes through other intermediate nodes. These widely distributed indirect interactions may crucially contribute to the efficient performance of ESNs.
• Abstract（参考訳）: Echo State Networks(ESN)は、トレーニング中に隠れた層が変更されない、汎用的なリカレントニューラルネットワークモデルである。 この静的バックボーンのノード間の相互作用は、与えられたタスクを解決するのに必要な計算を実行するために読み出し機構を利用する所定の刺激の多様な表現を生み出す。 ESNは、訓練が比較的安価であるため、ニューロン回路のアクセス可能なモデルである。 したがって、ESNは神経科学者にとって、神経構造、機能、行動の関係を研究している。 例えば、脳ネットワークの特徴的な接続パターンがノード間の効果的なインタラクションをどのようにサポートするか、そしてこれらの相互作用パターンがどのように計算をもたらすかは、まだ明らかではない。 この問題に対処するため,我々はesnを生物学的にインスパイアされた構造とし,ネットワークの出力に対する各ノードの因果寄与を定量化するために,系統的多地点損傷フレームワークを用いてネットワーク構造と行動の因果関係を明らかにした。 次に構造と機能の関係に焦点をあて,他のすべてのノードに対する各ノードの因果的影響を,同じ障害フレームワークを用いて分解した。 適切に設計されたESNのノードは、ネットワークの基盤構造に関係なく、ほとんど相互作用することがわかった。 しかし、同じトポロジーと非最適パラメータセットを持つネットワークでは、基盤となる接続パターンがノード間の相互作用を決定する。 その結果, ESNの因果構造-機能関係は, 直接的・間接的相互作用の2つの構成要素に分解できることがわかった。 前者は構造的接続に依存する影響に基づいている。 後者は、他の中間ノードを通しての任意の2つのノード間の効果的な通信を記述する。 これらの広範囲に分散した間接的相互作用は、ESNの効率的な性能に決定的に寄与する。

関連論文リスト

• Collaborative Graph Neural Networks for Attributed Network Embedding [63.39495932900291]
  グラフニューラルネットワーク(GNN)は、属性付きネットワーク埋め込みにおいて顕著な性能を示している。 本稿では,ネットワーク埋め込みに適したGNNアーキテクチャであるCulaborative graph Neural Networks-CONNを提案する。
  論文  参考訳（メタデータ） (2023-07-22T04:52:27Z)
• Joint Graph Convolution for Analyzing Brain Structural and Functional Connectome [11.016035878136034]
  本稿では,脳領域間でネットワーク間エッジを付加することにより,個人の2つのネットワークを結合することを提案する。 ネットワーク間エッジの重みは学習可能であり、脳全体の非一様構造-機能結合強度を反映している。 青少年期におけるアルコール・神経発達に関する全国コンソーシアムの公開データセットから,662人の参加者の年齢と性別を予測するために共同GCNを適用した。
  論文  参考訳（メタデータ） (2022-10-27T23:43:34Z)
• Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
  NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。 本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。 我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
  論文  参考訳（メタデータ） (2022-09-16T06:36:06Z)
• Deep Neural Networks as Complex Networks [1.704936863091649]
  我々は、重み付きグラフとしてディープニューラルネットワーク(DNN)を表現するために複雑ネットワーク理論を用いる。 我々は、DNNを動的システムとして研究するためのメトリクスを導入し、その粒度は、重みから神経細胞を含む層まで様々である。 我々の測定値が低性能ネットワークと高パフォーマンスネットワークを区別していることが示される。
  論文  参考訳（メタデータ） (2022-09-12T16:26:04Z)
• Backpropagation on Dynamical Networks [0.0]
  本稿では,リカレントニューラルネットワークのトレーニングによく使用されるBPTTアルゴリズムに基づくネットワーク推論手法を提案する。 局所ノードダイナミクスの近似は、まずニューラルネットワークを用いて構築される。 得られた局所モデルと重み付けによるフリーラン予測性能は、真のシステムに匹敵することがわかった。
  論文  参考訳（メタデータ） (2022-07-07T05:22:44Z)
• On the Intrinsic Structures of Spiking Neural Networks [66.57589494713515]
  近年、時間依存データやイベント駆動データを扱う大きな可能性から、SNNへの関心が高まっている。 スパイキング計算における本質的な構造の影響を総合的に調査する研究が数多く行われている。 この研究はSNNの本質的な構造を深く掘り下げ、SNNの表現性への影響を解明する。
  論文  参考訳（メタデータ） (2022-06-21T09:42:30Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Functional2Structural: Cross-Modality Brain Networks Representation Learning [55.24969686433101]
  脳ネットワーク上のグラフマイニングは、臨床表現型および神経変性疾患のための新しいバイオマーカーの発見を促進する可能性がある。 本稿では,Deep Signed Brain Networks (DSBN) と呼ばれる新しいグラフ学習フレームワークを提案する。 臨床表現型および神経変性疾患予測の枠組みを,2つの独立した公開データセットを用いて検証した。
  論文  参考訳（メタデータ） (2022-05-06T03:45:36Z)
• Rich dynamics caused by known biological brain network features resulting in stateful networks [0.0]
  ニューロン/ネットワークの内部状態は、情報がどのようにネットワーク内で表現されるかを定義する要素となる。 本研究では,ネットワーク状態のダイナミクスを豊かにするニューロンの固有の内在的パラメータが与える影響について検討した。 このような効果は密結合ネットワークよりも疎結合ネットワークにおいて深いことが判明した。
  論文  参考訳（メタデータ） (2021-06-03T08:32:43Z)
• Learning Interpretable Models for Coupled Networks Under Domain Constraints [8.308385006727702]
  脳ネットワークの構造的エッジと機能的エッジの相互作用に着目して,結合ネットワークの概念を検討する。 相互作用を推定しながらノイズ項にハードネットワークの制約を課す新しい定式化を提案する。 ヒトコネクトームプロジェクトから得られたマルチシェル拡散およびタスク誘発fMRIデータセットの手法を検証する。
  論文  参考訳（メタデータ） (2021-04-19T06:23:31Z)
• Graph Structure of Neural Networks [104.33754950606298]
  ニューラルネットワークのグラフ構造が予測性能にどのように影響するかを示す。 リレーショナルグラフの"スイートスポット"は、予測性能を大幅に改善したニューラルネットワークにつながる。 トップパフォーマンスニューラルネットワークは、実際の生物学的ニューラルネットワークと驚くほどよく似たグラフ構造を持つ。
  論文  参考訳（メタデータ） (2020-07-13T17:59:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。