論文の概要: Modular Boundaries in Recurrent Neural Networks

• arxiv url: http://arxiv.org/abs/2310.20601v2
• Date: Fri, 18 Oct 2024 17:07:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 14:22:50.804006
• Title: Modular Boundaries in Recurrent Neural Networks
• Title（参考訳）: リカレントニューラルネットワークにおけるモジュール境界
• Authors: Jacob Tanner, Sina Mansour L., Ludovico Coletta, Alessandro Gozzi, Richard F. Betzel,
• Abstract要約: 我々は、モジュール性として知られるネットワーク科学のコミュニティ検出手法を用いて、ニューロンを異なるモジュールに分割する。 これらのモジュラー境界はシステムにとって重要か?
• 参考スコア（独自算出の注目度）: 39.626497874552555
• License:
• Abstract: Recent theoretical and experimental work in neuroscience has focused on the representational and dynamical character of neural manifolds --subspaces in neural activity space wherein many neurons coactivate. Importantly, neural populations studied under this "neural manifold hypothesis" are continuous and not cleanly divided into separate neural populations. This perspective clashes with the "modular hypothesis" of brain organization, wherein neural elements maintain an "all-or-nothing" affiliation with modules. In line with this modular hypothesis, recent research on recurrent neural networks suggests that multi-task networks become modular across training, such that different modules specialize for task-general dynamical motifs. If the modular hypothesis is true, then it would be important to use a dimensionality reduction technique that captures modular structure. Here, we investigate the features of such a method. We leverage RNNs as a model system to study the character of modular neural populations, using a community detection method from network science known as modularity maximization to partition neurons into distinct modules. These partitions allow us to ask the following question: do these modular boundaries matter to the system? ...
• Abstract（参考訳）: 神経科学における最近の理論的、実験的研究は、多くのニューロンが共活性化する神経活動空間における神経多様体-部分空間の表現的および動的性質に焦点を当てている。 重要なことに、この「神経多様体仮説」の下で研究された神経集団は連続的であり、きれいに分離された神経集団にはならない。 この観点は、神経要素がモジュールとの"オール・オア・ナッシング"アフィリエイトを維持する脳組織の「モジュラー仮説」と衝突する。 このモジュラー仮説に従って、最近のリカレントニューラルネットワークの研究は、タスク一般の動的モチーフを専門とする異なるモジュールのように、トレーニング全体にわたってマルチタスクネットワークがモジュラーになることを示唆している。 モジュラー仮説が真であれば、モジュラー構造を捉えた次元還元手法を用いることが重要である。 本稿では,そのような手法の特徴について考察する。 モジュラリティ最大化(Modularity maximization)として知られるネットワーク科学のコミュニティ検出手法を用いて、RNNをモデルシステムとして利用し、ニューロンを異なるモジュールに分割する。 これらのモジュラー境界はシステムにとって重要か? はぁ...。

関連論文リスト

• Don't Cut Corners: Exact Conditions for Modularity in Biologically Inspired Representations [52.48094670415497]
  我々は、生物にインスパイアされた表現が、ソース変数(ソース)に関してモジュール化されるときの理論を開発する。 我々は、最適な生物学的にインスパイアされたリニアオートエンコーダのニューロンがモジュラー化されるかどうかを判断する情報源のサンプルに対して、必要かつ十分な条件を導出する。 我々の理論はどんなデータセットにも当てはまり、以前の研究で研究された統計的な独立性よりもはるかに長い。
  論文  参考訳（メタデータ） (2024-10-08T17:41:37Z)
• Growing Brains: Co-emergence of Anatomical and Functional Modularity in Recurrent Neural Networks [18.375521792153112]
  構成タスクで訓練されたリカレントニューラルネットワーク(RNN)は、機能的なモジュラリティを示すことができる。 我々は、脳に触発されたモジュラートレーニングという最近の機械学習手法を、合成認知タスクの集合を解決するためにトレーニングされているネットワークに適用する。 機能的および解剖学的クラスタリングが同時に出現し、機能的に類似したニューロンが空間的局所化および相互接続されるようになる。
  論文  参考訳（メタデータ） (2023-10-11T17:58:25Z)
• Emergent Modularity in Pre-trained Transformers [127.08792763817496]
  モジュラリティの主な特徴は、ニューロンの機能的特殊化と機能に基づくニューロングループ化である。 事前学習中にモジュラリティがどのように出現するかを調べた結果,モジュール構造が早期に安定していることが判明した。 このことはトランスフォーマーがまずモジュラ構造を構築し、次にきめ細かいニューロン関数を学ぶことを示唆している。
  論文  参考訳（メタデータ） (2023-05-28T11:02:32Z)
• Seeing is Believing: Brain-Inspired Modular Training for Mechanistic Interpretability [5.15188009671301]
  Brain-Inspired Modular Trainingは、ニューラルネットワークをよりモジュール的で解釈可能なものにする方法である。 BIMTは、ニューロンを幾何学的空間に埋め込み、各ニューロン接続の長さに比例して損失関数を増大させる。
  論文  参考訳（メタデータ） (2023-05-04T17:56:42Z)
• Ranking of Communities in Multiplex Spatiotemporal Models of Brain Dynamics [0.0]
  隠れマルコフグラフモデル(HMs)と呼ぶ多重脳状態グラフモデルとして、ニューラルHMMの解釈を提案する。 この解釈により、ネットワーク分析技術の完全なレパートリーを使用して、動的脳活動を分析することができる。 ランダムウォークに基づく手法を用いて,脳領域の重要なコミュニティを決定するための新しいツールを開発した。
  論文  参考訳（メタデータ） (2022-03-17T12:14:09Z)
• POPPINS : A Population-Based Digital Spiking Neuromorphic Processor with Integer Quadratic Integrate-and-Fire Neurons [50.591267188664666]
  2つの階層構造を持つ180nmプロセス技術において,集団に基づくディジタルスパイキングニューロモルフィックプロセッサを提案する。 提案手法は,生体模倣型ニューロモルフィックシステム,低消費電力,低遅延推論処理アプリケーションの開発を可能にする。
  論文  参考訳（メタデータ） (2022-01-19T09:26:34Z)
• Detecting Modularity in Deep Neural Networks [8.967870619902211]
  ネットワークニューロンの分割によるモジュラリティ評価の問題点を考察する。 本稿では,ニューロンがネットワーク性能にいかに重要かを反映した重要度と,そのニューロンが入力の特徴といかに常に関連しているかを反映したコヒーレンスという2つのプロキシを提案する。 これらの分割は、重みのみに基づくものであっても、重要で一貫性のあるニューロンのグループを明らかにします。
  論文  参考訳（メタデータ） (2021-10-13T20:33:30Z)
• The Neural Coding Framework for Learning Generative Models [91.0357317238509]
  本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。 同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
  論文  参考訳（メタデータ） (2020-12-07T01:20:38Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。