論文の概要: Neuron Platonic Intrinsic Representation From Dynamics Using Contrastive Learning
- arxiv url: http://arxiv.org/abs/2502.10425v2
- Date: Tue, 18 Feb 2025 11:07:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-19 14:04:43.532376
- Title: Neuron Platonic Intrinsic Representation From Dynamics Using Contrastive Learning
- Title（参考訳）: コントラスト学習を用いた神経プラトン性内因性表現
- Authors: Wei Wu, Can Liao, Zizhen Deng, Zhengrui Guo, Jinzhuo Wang,
- Abstract要約: 我々はNeurPIR(Neuron Platonic Intrinsic Representation)フレームワークを提案する。
対照的な学習を使用し、正の対と同じニューロンのセグメントと、負の対である異なるニューロンのセグメントを持つ。
我々はIzhikevichモデルを用いた神経集団動態データを用いて実験を行った。
- 参考スコア（独自算出の注目度）: 4.538151592901714
- License:
- Abstract: The Platonic Representation Hypothesis suggests a universal, modality-independent reality representation behind different data modalities. Inspired by this, we view each neuron as a system and detect its multi-segment activity data under various peripheral conditions. We assume there's a time-invariant representation for the same neuron, reflecting its intrinsic properties like molecular profiles, location, and morphology. The goal of obtaining these intrinsic neuronal representations has two criteria: (I) segments from the same neuron should have more similar representations than those from different neurons; (II) the representations must generalize well to out-of-domain data. To meet these, we propose the NeurPIR (Neuron Platonic Intrinsic Representation) framework. It uses contrastive learning, with segments from the same neuron as positive pairs and those from different neurons as negative pairs. In implementation, we use VICReg, which focuses on positive pairs and separates dissimilar samples via regularization. We tested our method on Izhikevich model-simulated neuronal population dynamics data. The results accurately identified neuron types based on preset hyperparameters. We also applied it to two real-world neuron dynamics datasets with neuron type annotations from spatial transcriptomics and neuron locations. Our model's learned representations accurately predicted neuron types and locations and were robust on out-of-domain data (from unseen animals). This shows the potential of our approach for understanding neuronal systems and future neuroscience research.
- Abstract（参考訳）: プラトン表現仮説(Platonic Representation hypothesis)は、異なるデータモダリティの背後にある普遍的でモジュラリティに依存しない現実の表現を示唆している。
そこで我々は,各ニューロンをシステムとして捉え,その周辺環境下でのマルチセグメンテーション活動データを検出する。
我々は、同じニューロンに時間不変の表現があり、分子プロファイル、位置、形態といった固有の性質を反映していると仮定する。
これらの固有の神経表現を得るという目的には、2つの基準がある: (I) 同じニューロンのセグメントは、異なるニューロンのセグメントよりも、より類似した表現を持つべきである; (II) 表現は、ドメイン外のデータにうまく一般化する必要がある。
そこで我々はNeurPIR(Neuron Platonic Intrinsic Representation)フレームワークを提案する。
対照的な学習を使用し、正の対と同じニューロンのセグメントと、負の対である異なるニューロンのセグメントを持つ。
実装では、正のペアに焦点を当てたVICRegを使用し、正規化により異種サンプルを分離する。
我々はIzhikevichモデルを用いた神経集団動態データを用いて実験を行った。
その結果, 予め設定したハイパーパラメーターに基づいてニューロンタイプを正確に同定した。
また,2つの実世界のニューロン動態データセットに,空間転写学およびニューロン位置からのニューロン型アノテーションを適用した。
私たちのモデルでは、学習した表現がニューロンの種類や位置を正確に予測し、ドメイン外のデータ(目に見えない動物から)で堅牢でした。
これは、神経系と将来の神経科学研究を理解するための我々のアプローチの可能性を示している。
関連論文リスト
- Interpreting the Second-Order Effects of Neurons in CLIP [73.54377859089801]
CLIPの個々のニューロンの機能をテキストで自動的に記述することで解釈する。
ニューロンから後続のアテンションヘッドに流れる影響を、直接出力に解析する「第2次レンズ」を提案する。
以上の結果から,ニューロンの自動解釈は,モデル騙しや新しいモデル機能の導入に有効であることが示唆された。
論文 参考訳（メタデータ） (2024-06-06T17:59:52Z) - Universal Neurons in GPT2 Language Models [4.9892471449871305]
異なる初期ランダムシードから学習したGPT2モデルにおける個々のニューロンの普遍性について検討した。
ニューロンの1-5%が普遍的、すなわち、同じ入力で一貫して活性化されるニューロンのペアであることがわかった。
論文 参考訳（メタデータ） (2024-01-22T18:11:01Z) - Learning Time-Invariant Representations for Individual Neurons from
Population Dynamics [29.936569965875375]
本稿では,時間不変表現を個々のニューロンに割り当てる自己教師型学習手法を提案する。
我々は、個人と近隣住民の両方の活動を考慮して表現を学ぶために、動的モデルと神経活動に適合する。
本手法は,マウス大脳皮質神経活動と転写ラベルの多モーダルなデータセット上で実証する。
論文 参考訳（メタデータ） (2023-11-03T22:30:12Z) - WaLiN-GUI: a graphical and auditory tool for neuron-based encoding [73.88751967207419]
ニューロモルフィックコンピューティングはスパイクベースのエネルギー効率の高い通信に依存している。
本研究では, スパイクトレインへのサンプルベースデータの符号化に適した構成を同定するツールを開発した。
WaLiN-GUIはオープンソースとドキュメントが提供されている。
論文 参考訳（メタデータ） (2023-10-25T20:34:08Z) - Identifying Interpretable Visual Features in Artificial and Biological
Neural Systems [3.604033202771937]
ニューラルネットワークの単一ニューロンはしばしば、個々の直感的に意味のある特徴を表すものとして解釈される。
多くのニューロンは$textitmixed selectivity$、すなわち複数の無関係な特徴を示す。
本稿では、視覚的解釈可能性の定量化と、ネットワークアクティベーション空間における意味のある方向を見つけるためのアプローチを提案する。
論文 参考訳（メタデータ） (2023-10-17T17:41:28Z) - Neuron to Graph: Interpreting Language Model Neurons at Scale [8.32093320910416]
本稿では,大規模言語モデル内の多数のニューロンにまたがる解釈可能性手法のスケールアップを目的とした,新しい自動化手法を提案する。
我々は、トレーニングしたデータセットからニューロンの振る舞いを自動的に抽出し、解釈可能なグラフに変換する革新的なツールであるNeuron to Graph(N2G)を提案する。
論文 参考訳（メタデータ） (2023-05-31T14:44:33Z) - Constraints on the design of neuromorphic circuits set by the properties
of neural population codes [61.15277741147157]
脳内では、情報はコード化され、伝達され、行動を伝えるために使用される。
ニューロモルフィック回路は、脳内のニューロンの集団が使用するものと互換性のある方法で情報を符号化する必要がある。
論文 参考訳（メタデータ） (2022-12-08T15:16:04Z) - Drop, Swap, and Generate: A Self-Supervised Approach for Generating
Neural Activity [33.06823702945747]
我々はSwap-VAEと呼ばれる神経活動の不整合表現を学習するための新しい教師なしアプローチを導入する。
このアプローチは、生成モデリングフレームワークとインスタンス固有のアライメント損失を組み合わせたものです。
我々は、行動に関連付けられた関連する潜在次元に沿って、ニューラルネットワークをアンタングルする表現を構築することが可能であることを示す。
論文 参考訳（メタデータ） (2021-11-03T16:39:43Z) - The Neural Coding Framework for Learning Generative Models [91.0357317238509]
本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。
同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
論文 参考訳（メタデータ） (2020-12-07T01:20:38Z) - Compositional Explanations of Neurons [52.71742655312625]
本稿では, 合成論理的概念を同定し, 深部表現におけるニューロンの説明手順について述べる。
本稿では,視覚と自然言語処理のモデルにおける解釈可能性に関するいくつかの疑問に答えるために,この手順を用いる。
論文 参考訳（メタデータ） (2020-06-24T20:37:05Z) - Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。
コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文 参考訳（メタデータ） (2020-02-02T21:09:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。