論文の概要: Brant-2: Foundation Model for Brain Signals
- arxiv url: http://arxiv.org/abs/2402.10251v4
- Date: Thu, 28 Mar 2024 13:55:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-29 20:52:50.494080
- Title: Brant-2: Foundation Model for Brain Signals
- Title(参考訳): Brant-2:脳信号の基礎モデル
- Authors: Zhizhang Yuan, Daoze Zhang, Junru Chen, Gefei Gu, Yang Yang,
- Abstract要約: 基礎的なモデルは、大量のラベルのないデータに対する事前トレーニングの恩恵を受ける。
脳信号における最大の基礎モデルであるBrant-2を提示する。
広範囲なタスクを実験することにより、Brant-2が脳信号の様々な応用シナリオに適応可能であることを示す。
- 参考スコア(独自算出の注目度): 5.4568483942428925
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Foundational models benefit from pre-training on large amounts of unlabeled data and enable strong performance in a wide variety of applications with a small amount of labeled data. Such models can be particularly effective in analyzing brain signals, as this field encompasses numerous application scenarios, and it is costly to perform large-scale annotation. In this work, we present the largest foundation model in brain signals, Brant-2. Compared to Brant, a foundation model designed for intracranial neural signals, Brant-2 not only exhibits robustness towards data variations and modeling scales but also can be applied to a broader range of brain neural data. By experimenting on an extensive range of tasks, we demonstrate that Brant-2 is adaptive to various application scenarios in brain signals. Further analyses reveal the scalability of the Brant-2, validate each component's effectiveness, and showcase our model's ability to maintain performance in scenarios with scarce labels.
- Abstract(参考訳): 基礎モデルは、大量のラベル付きデータに対する事前トレーニングの恩恵を受け、少量のラベル付きデータを持つ幅広いアプリケーションにおいて、強力なパフォーマンスを実現する。
このようなモデルは、多数のアプリケーションシナリオを含むため、脳信号の分析に特に効果的であり、大規模なアノテーションを実行するのに費用がかかる。
本研究では,脳信号の基盤モデルであるBrant-2について述べる。
頭蓋内神経信号用に設計された基礎モデルであるBrantと比較して、Brant-2はデータのバリエーションやモデリングスケールに対して堅牢性を示すだけでなく、幅広い脳神経データにも適用することができる。
広範囲なタスクを実験することにより、Brant-2が脳信号の様々な応用シナリオに適応可能であることを示す。
さらに分析した結果、Brant-2のスケーラビリティを明らかにし、各コンポーネントの有効性を検証し、ラベルの少ないシナリオでパフォーマンスを維持するモデルの能力を示す。
関連論文リスト
- Graph Neural Network with Two Uplift Estimators for Label-Scarcity
Individual Uplift Modeling [30.16065210190575]
本稿では,ソーシャルグラフから高揚度推定法を学ぶために,Mと呼ばれる2つの高揚度推定器を備えたグラフニューラルネットワークベースのフレームワークを提案する。
提案アルゴリズムは,実世界のアップリフト推定シナリオを提供するために,オンラインで展開されている。
論文 参考訳(メタデータ) (2024-03-11T07:51:27Z) - Towards A Foundation Model For Trajectory Intelligence [0.0]
実世界のユーザチェックインデータを用いて,大規模軌跡モデルのトレーニング結果を示す。
提案手法は,マスク付き軌道モデルを用いてベースモデルを事前学習する,事前学習と微調整のパラダイムに従う。
私たちの経験分析では、600万人以上のユーザーが生成した20億以上のチェックインの包括的データセットを利用しています。
論文 参考訳(メタデータ) (2023-11-30T00:34:09Z) - On the Connection between Pre-training Data Diversity and Fine-tuning
Robustness [66.30369048726145]
下流の有効ロバスト性に影響を与える主な要因はデータ量である。
各種自然および合成データソースから抽出した事前学習分布について,本研究の成果を示す。
論文 参考訳(メタデータ) (2023-07-24T05:36:19Z) - Learning towards Selective Data Augmentation for Dialogue Generation [52.540330534137794]
すべての事例が増補作業に有益である訳ではなく、増補に適した事例は以下の2つの属性に従うべきであると我々は主張する。
応答生成タスクに対してSDA(Selective Data Augmentation framework)を提案する。
論文 参考訳(メタデータ) (2023-03-17T01:26:39Z) - Multiclass Semantic Segmentation to Identify Anatomical Sub-Regions of
Brain and Measure Neuronal Health in Parkinson's Disease [2.288652563296735]
現在、脳の解剖下領域を分析して2次元の組織像を分析する機械学習モデルは利用できない。
本研究では,Nissl/HaematoxylinおよびTyrosine hydroxylase酵素(TH,ドーパミン作動性ニューロンの生存率の指標)で染色した約1000個のアノテート2次元脳画像を用いて,ベストフィットモデルを訓練した。
このモデルは、すべての画像において2つのサブリージョンコンパクト(SNCD)とレチキュラタ(SNr)を効果的に検出できる。
論文 参考訳(メタデータ) (2023-01-07T19:35:28Z) - Data-Free Adversarial Knowledge Distillation for Graph Neural Networks [62.71646916191515]
グラフ構造化データ(DFAD-GNN)を用いたデータフリー逆知識蒸留のための第1のエンドツーエンドフレームワークを提案する。
具体的には、DFAD-GNNは、教師モデルと学生モデルとを2つの識別器とみなし、教師モデルから学生モデルに知識を抽出するために学習グラフを導出するジェネレータという、主に3つの成分からなる生成的対向ネットワークを採用している。
我々のDFAD-GNNは、グラフ分類タスクにおける最先端のデータフリーベースラインを大幅に上回っている。
論文 参考訳(メタデータ) (2022-05-08T08:19:40Z) - Multi network InfoMax: A pre-training method involving graph
convolutional networks [0.0]
本稿では,グラフ畳み込み/ニューラルネットワーク(GCN/GNN)を含む事前学習手法を提案する。
学習された高レベルグラフ潜在表現は、下流グラフ分類タスクのパフォーマンス向上に役立つ。
我々は、被験者を健康管理群(HC)と統合失調症群(SZ)に分類するための神経画像データセットに適用した。
論文 参考訳(メタデータ) (2021-11-01T21:53:20Z) - Towards Open-World Feature Extrapolation: An Inductive Graph Learning
Approach [80.8446673089281]
グラフ表現と学習を伴う新しい学習パラダイムを提案する。
本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
論文 参考訳(メタデータ) (2021-10-09T09:02:45Z) - ALT-MAS: A Data-Efficient Framework for Active Testing of Machine
Learning Algorithms [58.684954492439424]
少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。
ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
論文 参考訳(メタデータ) (2021-04-11T12:14:04Z) - Retrieval Augmentation to Improve Robustness and Interpretability of
Deep Neural Networks [3.0410237490041805]
本研究では,深層ニューラルネットワークの堅牢性と解釈性を改善するために,トレーニングデータを積極的に活用する。
具体的には、LSTMモデルのメモリ状態を初期化したり、注意機構を誘導するために、最も近い入力例のターゲットを用いる。
その結果,Flickr8 と IMDB の2つのタスクに対して提案したモデルの有効性が示された。
論文 参考訳(メタデータ) (2021-02-25T17:38:31Z) - Modeling Shared Responses in Neuroimaging Studies through MultiView ICA [94.31804763196116]
被験者の大規模なコホートを含むグループ研究は、脳機能組織に関する一般的な結論を引き出す上で重要である。
グループ研究のための新しい多視点独立成分分析モデルを提案し、各被験者のデータを共有独立音源と雑音の線形結合としてモデル化する。
まず、fMRIデータを用いて、被験者間の共通音源の同定における感度の向上を示す。
論文 参考訳(メタデータ) (2020-06-11T17:29:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。