論文の概要: Don't Cut Corners: Exact Conditions for Modularity in Biologically Inspired Representations

• arxiv url: http://arxiv.org/abs/2410.06232v1
• Date: Tue, 8 Oct 2024 17:41:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 10:31:16.270957
• Title: Don't Cut Corners: Exact Conditions for Modularity in Biologically Inspired Representations
• Title（参考訳）: コーナーを切らない:生物学的にインスパイアされた表現におけるモジュラリティの厳密な条件
• Authors: Will Dorrell, Kyle Hsu, Luke Hollingsworth, Jin Hwa Lee, Jiajun Wu, Chelsea Finn, Peter E Latham, Tim EJ Behrens, James CR Whittington,
• Abstract要約: 我々は、生物にインスパイアされた表現が、ソース変数(ソース)に関してモジュール化されるときの理論を開発する。 我々は、最適な生物学的にインスパイアされたリニアオートエンコーダのニューロンがモジュラー化されるかどうかを判断する情報源のサンプルに対して、必要かつ十分な条件を導出する。 我々の理論はどんなデータセットにも当てはまり、以前の研究で研究された統計的な独立性よりもはるかに長い。
• 参考スコア（独自算出の注目度）: 52.48094670415497
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Why do biological and artificial neurons sometimes modularise, each encoding a single meaningful variable, and sometimes entangle their representation of many variables? In this work, we develop a theory of when biologically inspired representations -- those that are nonnegative and energy efficient -- modularise with respect to source variables (sources). We derive necessary and sufficient conditions on a sample of sources that determine whether the neurons in an optimal biologically-inspired linear autoencoder modularise. Our theory applies to any dataset, extending far beyond the case of statistical independence studied in previous work. Rather, we show that sources modularise if their support is "sufficiently spread". From this theory, we extract and validate predictions in a variety of empirical studies on how data distribution affects modularisation in nonlinear feedforward and recurrent neural networks trained on supervised and unsupervised tasks. Furthermore, we apply these ideas to neuroscience data. First, we explain why two studies that recorded prefrontal activity in working memory tasks conflict on whether memories are encoded in orthogonal subspaces: the support of the sources differed due to a critical discrepancy in experimental protocol. Second, we use similar arguments to understand why preparatory and potent subspaces in RNN models of motor cortex are only sometimes orthogonal. Third, we study spatial and reward information mixing in entorhinal recordings, and show our theory matches data better than previous work. And fourth, we suggest a suite of surprising settings in which neurons can be (or appear) mixed selective, without requiring complex nonlinear readouts as in traditional theories. In sum, our theory prescribes precise conditions on when neural activities modularise, providing tools for inducing and elucidating modular representations in brains and machines.
• Abstract（参考訳）: なぜ生物学的・人工的なニューロンは、しばしばモジュラー化し、それぞれが単一の有意義な変数をコードし、時には多くの変数の表現を絡み合わせるのか? 本研究では、生物学的にインスピレーションを受けた表現(非負でエネルギー効率のよい表現)が、ソース変数(ソース)に対してモジュラー化されるときの理論を開発する。 我々は、最適な生物学的にインスパイアされたリニアオートエンコーダのモジュラー化のニューロンを決定する情報源のサンプルに対して、必要かつ十分な条件を導出する。 我々の理論はどんなデータセットにも当てはまり、以前の研究で研究された統計的な独立性よりもはるかに長い。 むしろ、サポートが"十分拡大"された場合、ソースがモジュール化されることを示します。 この理論から、非線形フィードフォワードおよびリカレントニューラルネットワークにおけるデータ分散が、教師なしタスクおよび教師なしタスクで訓練されたモジュラー化にどのように影響するかに関する様々な実験的な研究において、予測を抽出し、検証する。 さらに、これらのアイデアを神経科学データに適用する。 まず,作業記憶タスクにおける前頭前野活動を記録した2つの研究が,記憶が直交部分空間に符号化されているかどうかに矛盾する理由を説明する。 第二に、運動野のRNNモデルにおける準備的および強力な部分空間がなぜ直交的であるかを理解するために、同様の議論を用いる。 第三に,エントラヒナル録音における空間情報と報酬情報の混合について検討し,我々の理論が過去の研究とよく一致したことを示す。 そして第4に、従来の理論のように複雑な非線形読み出しを必要とせず、神経細胞を選択的に混合(または出現)できる驚くべき設定の組を提案する。 まとめると、我々の理論は神経活動がいつモジュール化されるかという正確な条件を規定し、脳や機械のモジュラー表現を誘導し解明するためのツールを提供する。

関連論文リスト

• A generative framework to bridge data-driven models and scientific theories in language neuroscience [84.76462599023802]
  脳内の言語選択性の簡潔な説明を生成するためのフレームワークである生成的説明媒介バリデーションを提案する。 本研究では,説明精度が基礎となる統計モデルの予測力と安定性と密接に関連していることを示す。
  論文  参考訳（メタデータ） (2024-10-01T15:57:48Z)
• Neuroformer: Multimodal and Multitask Generative Pretraining for Brain Data [3.46029409929709]
  最先端のシステム神経科学実験は大規模なマルチモーダルデータを生み出し、これらのデータセットは分析のための新しいツールを必要とする。 視覚領域と言語領域における大きな事前学習モデルの成功に触発されて、我々は大規模な細胞分解性神経スパイクデータの解析を自己回帰生成問題に再構成した。 我々はまず、シミュレーションデータセットでNeuroformerを訓練し、本質的なシミュレートされた神経回路の動作を正確に予測し、方向を含む基盤となる神経回路の接続性を推定した。
  論文  参考訳（メタデータ） (2023-10-31T20:17:32Z)
• Modular Boundaries in Recurrent Neural Networks [39.626497874552555]
  我々は、モジュール性として知られるネットワーク科学のコミュニティ検出手法を用いて、ニューロンを異なるモジュールに分割する。 これらのモジュラー境界はシステムにとって重要か?
  論文  参考訳（メタデータ） (2023-10-31T16:37:01Z)
• Emergent Modularity in Pre-trained Transformers [127.08792763817496]
  モジュラリティの主な特徴は、ニューロンの機能的特殊化と機能に基づくニューロングループ化である。 事前学習中にモジュラリティがどのように出現するかを調べた結果,モジュール構造が早期に安定していることが判明した。 このことはトランスフォーマーがまずモジュラ構造を構築し、次にきめ細かいニューロン関数を学ぶことを示唆している。
  論文  参考訳（メタデータ） (2023-05-28T11:02:32Z)
• Modeling Implicit Bias with Fuzzy Cognitive Maps [0.0]
  本稿では、構造化データセットにおける暗黙バイアスを定量化するファジィ認知マップモデルを提案する。 本稿では,ニューロンの飽和を防止する正規化様伝達関数を備えた新しい推論機構を提案する。
  論文  参考訳（メタデータ） (2021-12-23T17:04:12Z)
• Logical Information Cells I [10.411800812671952]
  本研究では,単純な人工ネットワークにおける可視的不可視推論の自発的な評価について検討する。 まず、サルの自然ニューロンのDNNモデルを再現することから始める。 次に、述語論理を含む優先順位として、もう少し複雑なタスクについて研究する。
  論文  参考訳（メタデータ） (2021-08-10T15:31:26Z)
• The Causal Neural Connection: Expressiveness, Learnability, and Inference [125.57815987218756]
  構造因果モデル (Structuor causal model, SCM) と呼ばれるオブジェクトは、調査中のシステムのランダムな変動のメカニズムと源の集合を表す。 本稿では, 因果的階層定理 (Thm. 1, Bareinboim et al., 2020) がまだニューラルモデルに対して成り立っていることを示す。 我々はニューラル因果モデル(NCM)と呼ばれる特殊なタイプのSCMを導入し、因果推論に必要な構造的制約をエンコードする新しいタイプの帰納バイアスを定式化する。
  論文  参考訳（メタデータ） (2021-07-02T01:55:18Z)
• The Neural Coding Framework for Learning Generative Models [91.0357317238509]
  本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。 同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
  論文  参考訳（メタデータ） (2020-12-07T01:20:38Z)
• Modeling Shared Responses in Neuroimaging Studies through MultiView ICA [94.31804763196116]
  被験者の大規模なコホートを含むグループ研究は、脳機能組織に関する一般的な結論を引き出す上で重要である。 グループ研究のための新しい多視点独立成分分析モデルを提案し、各被験者のデータを共有独立音源と雑音の線形結合としてモデル化する。 まず、fMRIデータを用いて、被験者間の共通音源の同定における感度の向上を示す。
  論文  参考訳（メタデータ） (2020-06-11T17:29:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。