論文の概要: Population Transformer: Learning Population-level Representations of Neural Activity
- arxiv url: http://arxiv.org/abs/2406.03044v3
- Date: Mon, 17 Mar 2025 17:58:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-18 21:00:54.464306
- Title: Population Transformer: Learning Population-level Representations of Neural Activity
- Title（参考訳）: 人口変換器:神経活動の集団レベルの表現を学習する
- Authors: Geeling Chau, Christopher Wang, Sabera Talukder, Vighnesh Subramaniam, Saraswati Soedarmadji, Yisong Yue, Boris Katz, Andrei Barbu,
- Abstract要約: 本稿では,大規模なニューラル記録の任意のアンサンブルのための集団レベルの符号を学習する自己教師型フレームワークを提案する。
我々は、ニューラルネットワークの時系列データ、すなわち、被験者とデータセット間のスパースと可変電極分布でモデルをスケーリングする際の重要な課題に対処する。
マルチチャネルの頭蓋内データの復号化と解釈性を改善するために,事前訓練したPopTもリリースしています。
- 参考スコア（独自算出の注目度）: 29.18788640048468
- License:
- Abstract: We present a self-supervised framework that learns population-level codes for arbitrary ensembles of neural recordings at scale. We address key challenges in scaling models with neural time-series data, namely, sparse and variable electrode distribution across subjects and datasets. The Population Transformer (PopT) stacks on top of pretrained temporal embeddings and enhances downstream decoding by enabling learned aggregation of multiple spatially-sparse data channels. The pretrained PopT lowers the amount of data required for downstream decoding experiments, while increasing accuracy, even on held-out subjects and tasks. Compared to end-to-end methods, this approach is computationally lightweight, while achieving similar or better decoding performance. We further show how our framework is generalizable to multiple time-series embeddings and neural data modalities. Beyond decoding, we interpret the pretrained and fine-tuned PopT models to show how they can be used to extract neuroscience insights from large amounts of data. We release our code as well as a pretrained PopT to enable off-the-shelf improvements in multi-channel intracranial data decoding and interpretability. Code is available at https://github.com/czlwang/PopulationTransformer.
- Abstract（参考訳）: 本稿では,大規模なニューラル記録の任意のアンサンブルのための集団レベルの符号を学習する自己教師型フレームワークを提案する。
我々は、ニューラルネットワークの時系列データ、すなわち、被験者とデータセット間のスパースと可変電極分布でモデルをスケーリングする際の重要な課題に対処する。
Population Transformer (PopT)スタックは、事前訓練された時間埋め込みの上に構築され、複数の空間的にスパースなデータチャネルの学習的な集約を可能にすることで、下流デコーディングを強化する。
事前訓練されたPopTは、ダウンストリーム復号実験に必要なデータ量を削減し、保持対象やタスクに対しても精度を向上する。
エンドツーエンドの手法と比較して、このアプローチは計算量的に軽量であり、類似あるいはより良い復号性能を実現している。
さらに、我々のフレームワークが複数の時系列埋め込みとニューラルデータモダリティにどのように一般化できるかを示す。
復号化以外にも、トレーニング済みおよび微調整済みのPopTモデルを解釈して、大量のデータから神経科学的な洞察を抽出する方法を示す。
マルチチャネルの頭蓋内データの復号化と解釈性を改善するために,事前訓練したPopTもリリースしています。
コードはhttps://github.com/czlwang/PopulationTransformer.comで入手できる。
関連論文リスト
- Neural Conformal Control for Time Series Forecasting [54.96087475179419]
非定常環境における適応性を高める時系列のニューラルネットワーク共形予測手法を提案する。
提案手法は,ニューラルネットワークエンコーダを用いた補助的マルチビューデータを活用することにより,望ましい対象範囲を達成するために設計されたニューラルネットワークコントローラとして機能する。
予測間隔の整合性に優れたキャリブレーションを組み合わさった手法は, 適用範囲と確率的精度の大幅な向上を実証的に示す。
論文 参考訳（メタデータ） (2024-12-24T03:56:25Z) - Sampling weights of deep neural networks [1.2370077627846041]
完全に接続されたニューラルネットワークの重みとバイアスに対して,効率的なサンプリングアルゴリズムと組み合わせた確率分布を導入する。
教師付き学習環境では、内部ネットワークパラメータの反復最適化や勾配計算は不要である。
サンプルネットワークが普遍近似器であることを証明する。
論文 参考訳（メタデータ） (2023-06-29T10:13:36Z) - Diffused Redundancy in Pre-trained Representations [98.55546694886819]
事前訓練された表現で機能がどのようにコード化されているか、より詳しく見ていきます。
与えられた層における学習された表現は拡散冗長性を示す。
我々の発見は、事前訓練されたディープニューラルネットワークによって学習された表現の性質に光を当てた。
論文 参考訳（メタデータ） (2023-05-31T21:00:50Z) - DCLP: Neural Architecture Predictor with Curriculum Contrastive Learning [5.2319020651074215]
ニューラル予測器(DCLP)のためのカリキュラム誘導型コントラスト学習フレームワークを提案する。
本手法は,新たなカリキュラムを設計し,ラベルのないトレーニングデータ分布の安定性を高めることで,対照的なタスクを単純化する。
我々は既存の予測器と比較してDCLPの精度と効率が優れていることを実験的に実証した。
論文 参考訳（メタデータ） (2023-02-25T08:16:21Z) - Mutual Information Learned Classifiers: an Information-theoretic
Viewpoint of Training Deep Learning Classification Systems [9.660129425150926]
クロスエントロピー損失は、重度のオーバーフィッティング動作を示すモデルを見つけるのに容易である。
本稿では,既存のDNN分類器のクロスエントロピー損失最小化が,基礎となるデータ分布の条件エントロピーを本質的に学習することを証明する。
ラベルと入力の相互情報を学習することで、DNN分類器を訓練する相互情報学習フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-03T15:09:19Z) - Variable Bitrate Neural Fields [75.24672452527795]
本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。
辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
論文 参考訳（メタデータ） (2022-06-15T17:58:34Z) - Towards Open-World Feature Extrapolation: An Inductive Graph Learning
Approach [80.8446673089281]
グラフ表現と学習を伴う新しい学習パラダイムを提案する。
本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
論文 参考訳（メタデータ） (2021-10-09T09:02:45Z) - Self-supervised Audiovisual Representation Learning for Remote Sensing Data [96.23611272637943]
遠隔センシングにおける深層ニューラルネットワークの事前学習のための自己教師型アプローチを提案する。
ジオタグ付きオーディオ記録とリモートセンシングの対応を利用して、これは完全にラベルなしの方法で行われる。
提案手法は,既存のリモートセンシング画像の事前学習方法よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-08-02T07:50:50Z) - Reasoning-Modulated Representations [85.08205744191078]
タスクが純粋に不透明でないような共通的な環境について研究する。
我々のアプローチは、新しいデータ効率表現学習の道を開く。
論文 参考訳（メタデータ） (2021-07-19T13:57:13Z) - A Tutorial on the Mathematical Model of Single Cell Variational
Inference [0.0]
本チュートリアルではsingle cell variational inference(scvi)の数学的モデルを紹介する。
初心者向けに、この分野のさらなる研究者を奨励するために、多くの推論の詳細とともに、シンプルで直感的な方法で書かれた。
論文 参考訳（メタデータ） (2021-01-03T16:02:36Z) - Conditional Mutual information-based Contrastive Loss for Financial Time
Series Forecasting [12.0855096102517]
金融時系列予測のための表現学習フレームワークを提案する。
本稿では、まず時系列データからコンパクトな表現を学習し、次に学習した表現を用いて、時系列の動きを予測するためのより単純なモデルを訓練する。
論文 参考訳（メタデータ） (2020-02-18T15:24:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。