論文の概要: Don't Cut Corners: Exact Conditions for Modularity in Biologically Inspired Representations

• arxiv url: http://arxiv.org/abs/2410.06232v1
• Date: Tue, 8 Oct 2024 17:41:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 10:31:16.270957
• Title: Don't Cut Corners: Exact Conditions for Modularity in Biologically Inspired Representations
• Title（参考訳）: コーナーを切らない:生物学的にインスパイアされた表現におけるモジュラリティの厳密な条件
• Authors: Will Dorrell, Kyle Hsu, Luke Hollingsworth, Jin Hwa Lee, Jiajun Wu, Chelsea Finn, Peter E Latham, Tim EJ Behrens, James CR Whittington,
• Abstract要約: 我々は、生物にインスパイアされた表現が、ソース変数(ソース)に関してモジュール化されるときの理論を開発する。 我々は、最適な生物学的にインスパイアされたリニアオートエンコーダのニューロンがモジュラー化されるかどうかを判断する情報源のサンプルに対して、必要かつ十分な条件を導出する。 我々の理論はどんなデータセットにも当てはまり、以前の研究で研究された統計的な独立性よりもはるかに長い。
• 参考スコア（独自算出の注目度）: 52.48094670415497
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Why do biological and artificial neurons sometimes modularise, each encoding a single meaningful variable, and sometimes entangle their representation of many variables? In this work, we develop a theory of when biologically inspired representations -- those that are nonnegative and energy efficient -- modularise with respect to source variables (sources). We derive necessary and sufficient conditions on a sample of sources that determine whether the neurons in an optimal biologically-inspired linear autoencoder modularise. Our theory applies to any dataset, extending far beyond the case of statistical independence studied in previous work. Rather, we show that sources modularise if their support is "sufficiently spread". From this theory, we extract and validate predictions in a variety of empirical studies on how data distribution affects modularisation in nonlinear feedforward and recurrent neural networks trained on supervised and unsupervised tasks. Furthermore, we apply these ideas to neuroscience data. First, we explain why two studies that recorded prefrontal activity in working memory tasks conflict on whether memories are encoded in orthogonal subspaces: the support of the sources differed due to a critical discrepancy in experimental protocol. Second, we use similar arguments to understand why preparatory and potent subspaces in RNN models of motor cortex are only sometimes orthogonal. Third, we study spatial and reward information mixing in entorhinal recordings, and show our theory matches data better than previous work. And fourth, we suggest a suite of surprising settings in which neurons can be (or appear) mixed selective, without requiring complex nonlinear readouts as in traditional theories. In sum, our theory prescribes precise conditions on when neural activities modularise, providing tools for inducing and elucidating modular representations in brains and machines.
• Abstract（参考訳）: なぜ生物学的・人工的なニューロンは、しばしばモジュラー化し、それぞれが単一の有意義な変数をコードし、時には多くの変数の表現を絡み合わせるのか? 本研究では、生物学的にインスピレーションを受けた表現(非負でエネルギー効率のよい表現)が、ソース変数(ソース)に対してモジュラー化されるときの理論を開発する。 我々は、最適な生物学的にインスパイアされたリニアオートエンコーダのモジュラー化のニューロンを決定する情報源のサンプルに対して、必要かつ十分な条件を導出する。 我々の理論はどんなデータセットにも当てはまり、以前の研究で研究された統計的な独立性よりもはるかに長い。 むしろ、サポートが"十分拡大"された場合、ソースがモジュール化されることを示します。 この理論から、非線形フィードフォワードおよびリカレントニューラルネットワークにおけるデータ分散が、教師なしタスクおよび教師なしタスクで訓練されたモジュラー化にどのように影響するかに関する様々な実験的な研究において、予測を抽出し、検証する。 さらに、これらのアイデアを神経科学データに適用する。 まず,作業記憶タスクにおける前頭前野活動を記録した2つの研究が,記憶が直交部分空間に符号化されているかどうかに矛盾する理由を説明する。 第二に、運動野のRNNモデルにおける準備的および強力な部分空間がなぜ直交的であるかを理解するために、同様の議論を用いる。 第三に,エントラヒナル録音における空間情報と報酬情報の混合について検討し,我々の理論が過去の研究とよく一致したことを示す。 そして第4に、従来の理論のように複雑な非線形読み出しを必要とせず、神経細胞を選択的に混合(または出現)できる驚くべき設定の組を提案する。 まとめると、我々の理論は神経活動がいつモジュール化されるかという正確な条件を規定し、脳や機械のモジュラー表現を誘導し解明するためのツールを提供する。

関連論文リスト

• Causal Representation Learning from Multimodal Biological Observations [57.00712157758845]
  我々は,マルチモーダルデータに対するフレキシブルな識別条件の開発を目指している。 我々は、各潜伏成分の識別可能性を保証するとともに、サブスペース識別結果を事前の作業から拡張する。 我々の重要な理論的要素は、異なるモーダル間の因果関係の構造的空間性である。
  論文  参考訳（メタデータ） (2024-11-10T16:40:27Z)
• A generative framework to bridge data-driven models and scientific theories in language neuroscience [84.76462599023802]
  脳内の言語選択性の簡潔な説明を生成するためのフレームワークである生成的説明媒介バリデーションを提案する。 本研究では,説明精度が基礎となる統計モデルの予測力と安定性と密接に関連していることを示す。
  論文  参考訳（メタデータ） (2024-10-01T15:57:48Z)
• Modular Boundaries in Recurrent Neural Networks [39.626497874552555]
  我々は、モジュール性として知られるネットワーク科学のコミュニティ検出手法を用いて、ニューロンを異なるモジュールに分割する。 これらのモジュラー境界はシステムにとって重要か?
  論文  参考訳（メタデータ） (2023-10-31T16:37:01Z)
• Inferring Inference [7.11780383076327]
  我々は,大規模神経活動パターンから標準分散計算を推定するフレームワークを開発した。 確率的グラフィカルモデルに近似推論アルゴリズムを暗黙的に実装したモデル脳のための記録をシミュレートする。 全体として、このフレームワークはニューラル記録の解釈可能な構造を発見するための新しいツールを提供する。
  論文  参考訳（メタデータ） (2023-10-04T22:12:11Z)
• On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
  異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。 このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。 我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
  論文  参考訳（メタデータ） (2022-06-09T17:12:32Z)
• Modeling Implicit Bias with Fuzzy Cognitive Maps [0.0]
  本稿では、構造化データセットにおける暗黙バイアスを定量化するファジィ認知マップモデルを提案する。 本稿では,ニューロンの飽和を防止する正規化様伝達関数を備えた新しい推論機構を提案する。
  論文  参考訳（メタデータ） (2021-12-23T17:04:12Z)
• The Causal Neural Connection: Expressiveness, Learnability, and Inference [125.57815987218756]
  構造因果モデル (Structuor causal model, SCM) と呼ばれるオブジェクトは、調査中のシステムのランダムな変動のメカニズムと源の集合を表す。 本稿では, 因果的階層定理 (Thm. 1, Bareinboim et al., 2020) がまだニューラルモデルに対して成り立っていることを示す。 我々はニューラル因果モデル(NCM)と呼ばれる特殊なタイプのSCMを導入し、因果推論に必要な構造的制約をエンコードする新しいタイプの帰納バイアスを定式化する。
  論文  参考訳（メタデータ） (2021-07-02T01:55:18Z)
• The Neural Coding Framework for Learning Generative Models [91.0357317238509]
  本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。 同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
  論文  参考訳（メタデータ） (2020-12-07T01:20:38Z)
• Learning identifiable and interpretable latent models of high-dimensional neural activity using pi-VAE [10.529943544385585]
  本稿では,潜在モデルと従来のニューラルエンコーディングモデルから重要な要素を統合する手法を提案する。 我々の手法であるpi-VAEは、同定可能な変分自動エンコーダの最近の進歩にインスパイアされている。 人工データを用いてpi-VAEを検証し,それをラット海馬およびマカク運動野の神経生理学的データセットの解析に応用した。
  論文  参考訳（メタデータ） (2020-11-09T22:00:38Z)
• TaBooN -- Boolean Network Synthesis Based on Tabu Search [0.0]
  Omics-Technologyは、複数の次元とスケールで分子データを生成することによって生物学の研究に革命をもたらした。 生物学的ネットワークは、遺伝子やタンパク質などのコンポーネントを参照するノードと、それらの相互作用を形式化するエッジ/弧から構成される。
  論文  参考訳（メタデータ） (2020-09-08T08:56:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。