論文の概要: Neural Population Geometry and Optimal Coding of Tasks with Shared
Latent Structure
- arxiv url: http://arxiv.org/abs/2402.16770v1
- Date: Mon, 26 Feb 2024 17:39:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-28 19:51:33.004040
- Title: Neural Population Geometry and Optimal Coding of Tasks with Shared
Latent Structure
- Title(参考訳): 共有潜在構造を有するタスクのニューラルポピュレーション幾何と最適符号化
- Authors: Albert J. Wakhloo, Will Slatton, and SueYeon Chung
- Abstract要約: 我々は,多タスク学習問題において,神経集団の活動のメソスコピック統計と一般化性能を関連付ける理論を開発した。
実験により得られた因子化(あるいは非絡み合い)表現が最適解として自然に現れることを示す。
続いて、データが不足している場合、最適なコードは情報に富んだ潜伏変数を圧縮せず、データが豊富であれば、最適なコードは状態空間にこの情報を拡大することを示す。
- 参考スコア(独自算出の注目度): 4.490493754303233
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Humans and animals can recognize latent structures in their environment and
apply this information to efficiently navigate the world. Several recent works
argue that the brain supports these abilities by forming neural representations
that encode such latent structures in flexible, generalizable ways. However, it
remains unclear what aspects of neural population activity are contributing to
these computational capabilities. Here, we develop an analytical theory linking
the mesoscopic statistics of a neural population's activity to generalization
performance on a multi-task learning problem. To do this, we rely on a
generative model in which different tasks depend on a common, unobserved latent
structure and predictions are formed from a linear readout of a neural
population's activity. We show that three geometric measures of the population
activity determine generalization performance in these settings. Using this
theory, we find that experimentally observed factorized (or disentangled)
representations naturally emerge as an optimal solution to the multi-task
learning problem. We go on to show that when data is scarce, optimal codes
compress less informative latent variables, and when data is abundant, optimal
codes expand this information in the state space. We validate predictions from
our theory using biological and artificial neural network data. Our results
therefore tie neural population geometry to the multi-task learning problem and
make normative predictions of the structure of population activity in these
settings.
- Abstract(参考訳): 人間や動物は環境中の潜在構造を認識し、この情報を使って効率的に世界をナビゲートすることができる。
いくつかの最近の研究は、脳がこれらの能力をサポートし、そのような潜在構造を柔軟で一般化可能な方法でエンコードする神経表現を形成すると主張している。
しかし、神経集団活動のどの側面がこれらの計算能力に寄与しているかはまだ不明である。
そこで我々は,多タスク学習問題における神経集団の活動のメソスコピック統計と一般化性能を結びつける解析理論を開発した。
これを実現するために、異なるタスクが共通の観測不能な潜在構造に依存する生成モデルに依存し、予測は神経集団の活動の線形な読み出しから形成される。
人口活動の3つの幾何学的尺度は,これらの設定において一般化性能を決定する。
この理論を用いて、実験的に観察された因子化(あるいは非絡み合い)表現が、マルチタスク学習問題の最適解として自然に現れることを発見した。
続いて、データが不足している場合、最適なコードは情報に富んだ潜伏変数を圧縮し、データが豊富であれば、この情報を状態空間に拡張することを示す。
生物および人工ニューラルネットワークデータを用いた理論からの予測を検証する。
そこで本研究では,神経集団の幾何構造をマルチタスク学習問題に結びつけ,これらの環境での集団活動の構造を規範的に予測する。
関連論文リスト
- Neuroformer: Multimodal and Multitask Generative Pretraining for Brain
Data [3.712362524473752]
最先端のシステム神経科学実験は大規模なマルチモーダルデータを生み出し、これらのデータセットは分析のための新しいツールを必要とする。
視覚領域と言語領域における大きな事前学習モデルの成功に触発されて、我々は大規模な細胞分解性神経スパイクデータの解析を自己回帰生成問題に再構成した。
我々はまず、シミュレーションデータセットでNeuroformerを訓練し、本質的なシミュレートされた神経回路の動作を正確に予測し、方向を含む基盤となる神経回路の接続性を推定した。
論文 参考訳(メタデータ) (2023-10-31T20:17:32Z) - Automated Natural Language Explanation of Deep Visual Neurons with Large
Models [43.178568768100305]
本稿では,大きな基礎モデルを持つニューロンの意味的説明を生成するための,新しいポストホックフレームワークを提案する。
我々のフレームワークは、様々なモデルアーキテクチャやデータセット、自動化されたスケーラブルなニューロン解釈と互換性があるように設計されています。
論文 参考訳(メタデータ) (2023-10-16T17:04:51Z) - Efficient, probabilistic analysis of combinatorial neural codes [0.0]
ニューラルネットワークは、個々のニューロンの活動の組み合わせの形で入力を符号化する。
これらのニューラルネットワークは、その高次元性としばしば大量のデータのため、計算上の課題を示す。
従来の手法を小さな例に適用し,実験によって生成された大きなニューラルコードに適用する。
論文 参考訳(メタデータ) (2022-10-19T11:58:26Z) - Learnable latent embeddings for joint behavioral and neural analysis [3.6062449190184136]
CEBRAは、空間のマッピング、複雑なキネマティックな特徴の発見、視覚野からの自然映画の高速かつ高精度な復号化に利用できることを示す。
我々は、その精度を検証し、カルシウムと電気生理学の両方のデータセット、感覚と運動のタスク、そして種全体にわたる単純または複雑な振る舞いにその有用性を実証する。
論文 参考訳(メタデータ) (2022-04-01T19:19:33Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Overcoming the Domain Gap in Neural Action Representations [60.47807856873544]
3Dポーズデータは、手動で介入することなく、マルチビュービデオシーケンスから確実に抽出できる。
本稿では,ニューラルアクション表現の符号化を,ニューラルアクションと行動拡張のセットと共に導くために使用することを提案する。
ドメインギャップを減らすために、トレーニングの間、同様の行動をしているように見える動物間で神経と行動のデータを取り替える。
論文 参考訳(メタデータ) (2021-12-02T12:45:46Z) - Overcoming the Domain Gap in Contrastive Learning of Neural Action
Representations [60.47807856873544]
神経科学の基本的な目標は、神経活動と行動の関係を理解することである。
我々は,ハエが自然に生み出す行動からなる新しいマルチモーダルデータセットを作成した。
このデータセットと新しい拡張セットは、神経科学における自己教師あり学習手法の適用を加速することを約束します。
論文 参考訳(メタデータ) (2021-11-29T15:27:51Z) - Neuronal Learning Analysis using Cycle-Consistent Adversarial Networks [4.874780144224057]
我々は、-CycleGANと呼ばれる深層生成モデルを用いて、前学習と後学習の神経活動の間の未知のマッピングを学習する。
我々は,カルシウム蛍光信号を前処理し,訓練し,評価するためのエンドツーエンドパイプラインを開発し,その結果の深層学習モデルを解釈する手法を開発した。
論文 参考訳(メタデータ) (2021-11-25T13:24:19Z) - Dynamic Neural Diversification: Path to Computationally Sustainable
Neural Networks [68.8204255655161]
訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。
学習過程において隠れた層内のニューロンの多様性を探索する。
ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
論文 参考訳(メタデータ) (2021-09-20T15:12:16Z) - The Causal Neural Connection: Expressiveness, Learnability, and
Inference [125.57815987218756]
構造因果モデル (Structuor causal model, SCM) と呼ばれるオブジェクトは、調査中のシステムのランダムな変動のメカニズムと源の集合を表す。
本稿では, 因果的階層定理 (Thm. 1, Bareinboim et al., 2020) がまだニューラルモデルに対して成り立っていることを示す。
我々はニューラル因果モデル(NCM)と呼ばれる特殊なタイプのSCMを導入し、因果推論に必要な構造的制約をエンコードする新しいタイプの帰納バイアスを定式化する。
論文 参考訳(メタデータ) (2021-07-02T01:55:18Z) - The Neural Coding Framework for Learning Generative Models [91.0357317238509]
本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。
同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
論文 参考訳(メタデータ) (2020-12-07T01:20:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。