論文の概要: Population Transformer: Learning Population-level Representations of Intracranial Activity

• arxiv url: http://arxiv.org/abs/2406.03044v1
• Date: Wed, 5 Jun 2024 08:15:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 19:29:27.242591
• Title: Population Transformer: Learning Population-level Representations of Intracranial Activity
• Title（参考訳）: 集団変換器:頭蓋内活動の集団レベルの表現を学習する
• Authors: Geeling Chau, Christopher Wang, Sabera Talukder, Vighnesh Subramaniam, Saraswati Soedarmadji, Yisong Yue, Boris Katz, Andrei Barbu,
• Abstract要約: Population Transformer (PopT) は頭蓋内神経記録を大規模に学習する。 PopTの開発における2つの重要な課題に対処する。 複数チャネルの頭蓋内電極データの復号化と解釈性を改善するために,事前訓練したPopTをリリースする。
• 参考スコア（独自算出の注目度）: 29.18788640048468
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a self-supervised framework that learns population-level codes for intracranial neural recordings at scale, unlocking the benefits of representation learning for a key neuroscience recording modality. The Population Transformer (PopT) lowers the amount of data required for decoding experiments, while increasing accuracy, even on never-before-seen subjects and tasks. We address two key challenges in developing PopT: sparse electrode distribution and varying electrode location across patients. PopT stacks on top of pretrained representations and enhances downstream tasks by enabling learned aggregation of multiple spatially-sparse data channels. Beyond decoding, we interpret the pretrained PopT and fine-tuned models to show how it can be used to provide neuroscience insights learned from massive amounts of data. We release a pretrained PopT to enable off-the-shelf improvements in multi-channel intracranial data decoding and interpretability, and code is available at https://github.com/czlwang/PopulationTransformer.
• Abstract（参考訳）: 本稿では,頭蓋内神経記録の集団レベルの符号を大規模に学習し,重要な神経科学記録のための表現学習の利点を解放する自己教師型フレームワークを提案する。 Population Transformer (PopT)は、復号実験に必要なデータ量を削減し、未確認の被験者やタスクでも精度を向上する。 PopTの開発における2つの課題に対処する: スパース電極分布と患者間での電極位置の変化である。 PopTスタックは事前訓練された表現の上にあり、複数の空間的にスパースなデータチャネルの学習的な集約を可能にすることで下流タスクを強化する。 復号化以外にも、事前訓練されたPopTと微調整されたモデルを解釈して、大量のデータから学んだ神経科学的な洞察を提供する方法を示す。 トレーニング済みのPopTをリリースし、マルチチャネルの頭蓋内データの復号化と解釈性の向上を実現し、https://github.com/czlwang/Population Transformer.comでコードを利用できる。

関連論文リスト

• AViT: Adapting Vision Transformers for Small Skin Lesion Segmentation Datasets [19.44142290594537]
  AViTは、トレーニング済みのViTをSLSタスクに転送することで、ViTのデータハンガーを緩和する新しい戦略である。 AViTはSOTAよりも競争力があり、時には優れているが、訓練可能なパラメータは大幅に少ない。
  論文  参考訳（メタデータ） (2023-07-26T01:44:31Z)
• Diffused Redundancy in Pre-trained Representations [98.55546694886819]
  事前訓練された表現で機能がどのようにコード化されているか、より詳しく見ていきます。 与えられた層における学習された表現は拡散冗長性を示す。 我々の発見は、事前訓練されたディープニューラルネットワークによって学習された表現の性質に光を当てた。
  論文  参考訳（メタデータ） (2023-05-31T21:00:50Z)
• Mutual Information Learned Classifiers: an Information-theoretic Viewpoint of Training Deep Learning Classification Systems [9.660129425150926]
  クロスエントロピー損失は、重度のオーバーフィッティング動作を示すモデルを見つけるのに容易である。 本稿では,既存のDNN分類器のクロスエントロピー損失最小化が,基礎となるデータ分布の条件エントロピーを本質的に学習することを証明する。 ラベルと入力の相互情報を学習することで、DNN分類器を訓練する相互情報学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-03T15:09:19Z)
• On the benefits of self-taught learning for brain decoding [0.0]
  我々は,fMRI統計図からなる大規模公開神経画像データベースを,新しいタスクにおける脳のデコードを改善するための自己学習フレームワークで活用することの利点について検討した。 まず、NeuroVaultデータベースを利用して、関連する統計マップの選択に基づいて、畳み込みオートエンコーダを使ってこれらのマップを再構築する。 次に、このトレーニングされたエンコーダを用いて、教師付き畳み込みニューラルネットワークを初期化し、NeuroVaultデータベースの大規模なコレクションから見えない統計マップのタスクまたは認知過程を分類する。
  論文  参考訳（メタデータ） (2022-09-19T08:10:17Z)
• Transfer Learning with Deep Tabular Models [66.67017691983182]
  上流データにより、グラフニューラルネットワークはGBDTモデルよりも決定的な優位性を示す。 そこで本研究では,表在化学習のための現実的な診断ベンチマークを提案する。 上流と下流の特徴セットが異なる場合の擬似特徴法を提案する。
  論文  参考訳（メタデータ） (2022-06-30T14:24:32Z)
• Variable Bitrate Neural Fields [75.24672452527795]
  本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。 辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
  論文  参考訳（メタデータ） (2022-06-15T17:58:34Z)
• Neuro-BERT: Rethinking Masked Autoencoding for Self-supervised Neurological Pretraining [24.641328814546842]
  本稿では、フーリエ領域におけるマスク付き自己エンコーディングに基づく神経信号の自己教師付き事前学習フレームワークであるNeuro-BERTを提案する。 本稿では、入力信号の一部をランダムにマスキングし、欠落した情報を予測するFourier Inversion Prediction (FIP)と呼ばれる新しい事前学習タスクを提案する。 提案手法をいくつかのベンチマークデータセットで評価することにより,Neuro-BERTは下流神経関連タスクを大きなマージンで改善することを示す。
  論文  参考訳（メタデータ） (2022-04-20T16:48:18Z)
• Reasoning-Modulated Representations [85.08205744191078]
  タスクが純粋に不透明でないような共通的な環境について研究する。 我々のアプローチは、新しいデータ効率表現学習の道を開く。
  論文  参考訳（メタデータ） (2021-07-19T13:57:13Z)
• Adaptive conversion of real-valued input into spike trains [91.3755431537592]
  本稿では,実数値入力をスパイクトレインに変換し,スパイクニューラルネットワークで処理する方法を提案する。 提案手法は網膜神経節細胞の適応的挙動を模倣し,入力ニューロンが入力の統計の変化に応答することを可能にする。
  論文  参考訳（メタデータ） (2021-04-12T12:33:52Z)
• Domain Generalization for Medical Imaging Classification with Linear-Dependency Regularization [59.5104563755095]
  本稿では,医用画像分類分野におけるディープニューラルネットワークの一般化能力向上のための,シンプルだが効果的なアプローチを提案する。 医用画像の領域変数がある程度コンパクトであることに感銘を受けて,変分符号化による代表的特徴空間の学習を提案する。
  論文  参考訳（メタデータ） (2020-09-27T12:30:30Z)
• Adversarial Multi-Source Transfer Learning in Healthcare: Application to Glucose Prediction for Diabetic People [4.17510581764131]
  本稿では,複数のソース間で類似した特徴表現の学習を可能にする多元逆変換学習フレームワークを提案する。 完全畳み込みニューラルネットワークを用いた糖尿病患者の血糖予測にこの考え方を適用した。 特に、異なるデータセットのデータを使用したり、あるいはデータセット内の状況にデータが少ない場合に輝く。
  論文  参考訳（メタデータ） (2020-06-29T11:17:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。