論文の概要: Modular Boundaries in Recurrent Neural Networks
- arxiv url: http://arxiv.org/abs/2310.20601v2
- Date: Fri, 18 Oct 2024 17:07:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-21 14:22:50.804006
- Title: Modular Boundaries in Recurrent Neural Networks
- Title(参考訳): リカレントニューラルネットワークにおけるモジュール境界
- Authors: Jacob Tanner, Sina Mansour L., Ludovico Coletta, Alessandro Gozzi, Richard F. Betzel,
- Abstract要約: 我々は、モジュール性として知られるネットワーク科学のコミュニティ検出手法を用いて、ニューロンを異なるモジュールに分割する。
これらのモジュラー境界はシステムにとって重要か?
- 参考スコア(独自算出の注目度): 39.626497874552555
- License:
- Abstract: Recent theoretical and experimental work in neuroscience has focused on the representational and dynamical character of neural manifolds --subspaces in neural activity space wherein many neurons coactivate. Importantly, neural populations studied under this "neural manifold hypothesis" are continuous and not cleanly divided into separate neural populations. This perspective clashes with the "modular hypothesis" of brain organization, wherein neural elements maintain an "all-or-nothing" affiliation with modules. In line with this modular hypothesis, recent research on recurrent neural networks suggests that multi-task networks become modular across training, such that different modules specialize for task-general dynamical motifs. If the modular hypothesis is true, then it would be important to use a dimensionality reduction technique that captures modular structure. Here, we investigate the features of such a method. We leverage RNNs as a model system to study the character of modular neural populations, using a community detection method from network science known as modularity maximization to partition neurons into distinct modules. These partitions allow us to ask the following question: do these modular boundaries matter to the system? ...
- Abstract(参考訳): 神経科学における最近の理論的、実験的研究は、多くのニューロンが共活性化する神経活動空間における神経多様体-部分空間の表現的および動的性質に焦点を当てている。
重要なことに、この「神経多様体仮説」の下で研究された神経集団は連続的であり、きれいに分離された神経集団にはならない。
この観点は、神経要素がモジュールとの"オール・オア・ナッシング"アフィリエイトを維持する脳組織の「モジュラー仮説」と衝突する。
このモジュラー仮説に従って、最近のリカレントニューラルネットワークの研究は、タスク一般の動的モチーフを専門とする異なるモジュールのように、トレーニング全体にわたってマルチタスクネットワークがモジュラーになることを示唆している。
モジュラー仮説が真であれば、モジュラー構造を捉えた次元還元手法を用いることが重要である。
本稿では,そのような手法の特徴について考察する。
モジュラリティ最大化(Modularity maximization)として知られるネットワーク科学のコミュニティ検出手法を用いて、RNNをモデルシステムとして利用し、ニューロンを異なるモジュールに分割する。
これらのモジュラー境界はシステムにとって重要か?
はぁ...。
関連論文リスト
- Modular Growth of Hierarchical Networks: Efficient, General, and Robust Curriculum Learning [0.0]
与えられた古典的、非モジュラーリカレントニューラルネットワーク(RNN)に対して、等価なモジュラーネットワークが複数のメトリクスにわたってより良い性能を発揮することを示す。
モジュラートポロジによって導入された帰納バイアスは,モジュール内の接続が固定された場合でもネットワークが良好に動作可能であることを示す。
以上の結果から,RNNの段階的モジュラー成長は,進化の時間スケールで複雑なタスクを学習する上でのメリットをもたらす可能性が示唆された。
論文 参考訳(メタデータ) (2024-06-10T13:44:07Z) - Interpretable Spatio-Temporal Embedding for Brain Structural-Effective Network with Ordinary Differential Equation [56.34634121544929]
本研究では,まず動的因果モデルを用いて脳効果ネットワークを構築する。
次に、STE-ODE(Spatio-Temporal Embedding ODE)と呼ばれる解釈可能なグラフ学習フレームワークを導入する。
このフレームワークは、構造的および効果的なネットワーク間の動的相互作用を捉えることを目的とした、特異的に設計されたノード埋め込み層を含んでいる。
論文 参考訳(メタデータ) (2024-05-21T20:37:07Z) - DSAM: A Deep Learning Framework for Analyzing Temporal and Spatial Dynamics in Brain Networks [4.041732967881764]
ほとんどのrs-fMRI研究は、関心のある脳領域にまたがる単一の静的機能接続行列を計算している。
これらのアプローチは、脳のダイナミクスを単純化し、目の前のゴールを適切に考慮していないリスクがある。
本稿では,時系列から直接ゴール固有の機能的接続行列を学習する,解釈可能な新しいディープラーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2024-05-19T23:35:06Z) - Astrocytes as a mechanism for meta-plasticity and contextually-guided
network function [2.66269503676104]
アストロサイトは、ユビキタスでエニグマティックな非神経細胞である。
アストロサイトは脳機能や神経計算においてより直接的で活発な役割を果たす。
論文 参考訳(メタデータ) (2023-11-06T20:31:01Z) - Growing Brains: Co-emergence of Anatomical and Functional Modularity in
Recurrent Neural Networks [18.375521792153112]
構成タスクで訓練されたリカレントニューラルネットワーク(RNN)は、機能的なモジュラリティを示すことができる。
我々は、脳に触発されたモジュラートレーニングという最近の機械学習手法を、合成認知タスクの集合を解決するためにトレーニングされているネットワークに適用する。
機能的および解剖学的クラスタリングが同時に出現し、機能的に類似したニューロンが空間的局所化および相互接続されるようになる。
論文 参考訳(メタデータ) (2023-10-11T17:58:25Z) - Emergent Modularity in Pre-trained Transformers [127.08792763817496]
モジュラリティの主な特徴は、ニューロンの機能的特殊化と機能に基づくニューロングループ化である。
事前学習中にモジュラリティがどのように出現するかを調べた結果,モジュール構造が早期に安定していることが判明した。
このことはトランスフォーマーがまずモジュラ構造を構築し、次にきめ細かいニューロン関数を学ぶことを示唆している。
論文 参考訳(メタデータ) (2023-05-28T11:02:32Z) - Contrastive-Signal-Dependent Plasticity: Forward-Forward Learning of
Spiking Neural Systems [73.18020682258606]
我々は、ニューロンの個々の層が並列に機能する、スパイキングニューロンユニットからなる神経模倣アーキテクチャを開発する。
コントラスト信号依存塑性(CSDP)と呼ばれるイベントベース前方学習の一般化を提案する。
いくつかのパターンデータセットに対する実験結果から,CSDPプロセスは分類と再構成の両方が可能な動的再帰スパイクネットワークのトレーニングに有効であることが示された。
論文 参考訳(メタデータ) (2023-03-30T02:40:28Z) - Functional2Structural: Cross-Modality Brain Networks Representation
Learning [55.24969686433101]
脳ネットワーク上のグラフマイニングは、臨床表現型および神経変性疾患のための新しいバイオマーカーの発見を促進する可能性がある。
本稿では,Deep Signed Brain Networks (DSBN) と呼ばれる新しいグラフ学習フレームワークを提案する。
臨床表現型および神経変性疾患予測の枠組みを,2つの独立した公開データセットを用いて検証した。
論文 参考訳(メタデータ) (2022-05-06T03:45:36Z) - Cross-Frequency Coupling Increases Memory Capacity in Oscillatory Neural
Networks [69.42260428921436]
クロス周波数カップリング(CFC)は、ニューロンの集団間での情報統合と関連している。
我々は,海馬および大脳皮質における観測された$theta - gamma$振動回路の計算的役割を予測するCFCのモデルを構築した。
CFCの存在は, 可塑性シナプスによって結合された神経細胞のメモリ容量を増加させることを示す。
論文 参考訳(メタデータ) (2022-04-05T17:13:36Z) - A Graph Neural Network Framework for Causal Inference in Brain Networks [0.3392372796177108]
神経科学における中心的な問題は、脳内の自律的な動的相互作用が、比較的静的なバックボーンにどのように現れるかである。
構造解剖学的レイアウトに基づく機能的相互作用を記述するグラフニューラルネットワーク(GNN)フレームワークを提案する。
我々は,GNNがデータの長期的依存関係をキャプチャし,大規模ネットワークの解析までスケールアップ可能であることを示す。
論文 参考訳(メタデータ) (2020-10-14T15:01:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。