論文の概要: BrainNPT: Pre-training of Transformer networks for brain network classification

• arxiv url: http://arxiv.org/abs/2305.01666v4
• Date: Wed, 2 Aug 2023 09:37:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-03 17:33:05.308089
• Title: BrainNPT: Pre-training of Transformer networks for brain network classification
• Title（参考訳）: BrainNPT:脳ネットワーク分類のためのトランスフォーマーネットワークの事前学習
• Authors: Jinlong Hu, Yangmin Huang, Nan Wang, Shoubin Dong
• Abstract要約: 我々は脳機能ネットワーク分類のためのトランスフォーマーベースニューラルネットワークであるBrainNPTを提案した。 我々は、ラベルのない脳ネットワークデータを活用するために、BrainNPTモデルのための事前学習フレームワークを提案した。 分類実験の結果, 事前学習を伴わないBrainNPTモデルが最も優れた性能を示した。
• 参考スコア（独自算出の注目度）: 3.8906116457135966
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning methods have advanced quickly in brain imaging analysis over the past few years, but they are usually restricted by the limited labeled data. Pre-trained model on unlabeled data has presented promising improvement in feature learning in many domains, including natural language processing and computer vision. However, this technique is under-explored in brain network analysis. In this paper, we focused on pre-training methods with Transformer networks to leverage existing unlabeled data for brain functional network classification. First, we proposed a Transformer-based neural network, named as BrainNPT, for brain functional network classification. The proposed method leveraged <cls> token as a classification embedding vector for the Transformer model to effectively capture the representation of brain network. Second, we proposed a pre-training framework for BrainNPT model to leverage unlabeled brain network data to learn the structure information of brain networks. The results of classification experiments demonstrated the BrainNPT model without pre-training achieved the best performance with the state-of-the-art models, and the BrainNPT model with pre-training strongly outperformed the state-of-the-art models. The pre-training BrainNPT model improved 8.75% of accuracy compared with the model without pre-training. We further compared the pre-training strategies, analyzed the influence of the parameters of the model, and interpreted the trained model.
• Abstract（参考訳）: 深層学習法はここ数年、脳画像解析において急速に進歩してきたが、通常は限られたラベル付きデータによって制限されている。 ラベルなしデータの事前学習モデルでは、自然言語処理やコンピュータビジョンなど、多くの領域で機能学習の改善が期待できる。 しかし、この手法は脳ネットワーク解析において未検討である。 本稿では,トランスフォーマーネットワークを用いた事前学習手法に着目し,既存のラベルなしデータを脳機能ネットワーク分類に活用する。 まず,脳機能的ネットワーク分類のために,brainnptと呼ばれるトランスフォーマーベースのニューラルネットワークを提案した。 提案手法はトランスフォーマーモデルの分類埋め込みベクトルとして<cls>トークンを利用して,脳ネットワークの表現を効果的に捉える。 第2に,未ラベルの脳ネットワークデータを利用して脳ネットワークの構造情報を学習するBrainNPTモデルの事前学習フレームワークを提案する。 分類実験の結果,前訓練のないbrainnptモデルが最先端モデルで最高の性能を達成し,前訓練のbrainnptモデルが最先端モデルを大きく上回った。 トレーニング前のBrainNPTモデルは、トレーニング前のモデルと比較して精度が8.75%向上した。 さらに,事前学習戦略を比較検討し,モデルのパラメータの影響を分析し,学習モデルの解釈を行った。

関連論文リスト

• Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
  スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。 本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
  論文  参考訳（メタデータ） (2024-09-17T04:48:45Z)
• Self-supervised Brain Lesion Generation for Effective Data Augmentation of Medical Images [0.9626666671366836]
  本稿では,脳病変分割モデルのトレーニングのための新しいサンプルを効率よく生成するフレームワークを提案する。 まず, 対向型自己エンコーダに基づく病変発生器を自己管理的に訓練する。 次に,新しい画像合成アルゴリズムであるSoft Poisson Blendingを用いて,合成病変と脳画像のシームレスな結合を行う。
  論文  参考訳（メタデータ） (2024-06-21T01:53:12Z)
• Unsupervised representation learning with Hebbian synaptic and structural plasticity in brain-like feedforward neural networks [0.0]
  教師なし表現学習が可能な脳様ニューラルネットワークモデルを導入,評価する。 このモデルは、一般的な機械学習ベンチマークのさまざまなセットでテストされた。
  論文  参考訳（メタデータ） (2024-06-07T08:32:30Z)
• Manipulating Feature Visualizations with Gradient Slingshots [54.31109240020007]
  本稿では,モデルの決定過程に大きな影響を及ぼすことなく,特徴可視化(FV)を操作する新しい手法を提案する。 ニューラルネットワークモデルにおける本手法の有効性を評価し,任意の選択したニューロンの機能を隠蔽する能力を示す。
  論文  参考訳（メタデータ） (2024-01-11T18:57:17Z)
• Meta-Learning in Spiking Neural Networks with Reward-Modulated STDP [2.179313476241343]
  本研究では,海馬と前頭前皮質にインスパイアされた生物工学的メタラーニングモデルを提案する。 我々の新しいモデルはスパイクベースのニューロモーフィックデバイスに容易に適用でき、ニューロモーフィックハードウェアにおける高速な学習を可能にする。
  論文  参考訳（メタデータ） (2023-06-07T13:08:46Z)
• Boosted Dynamic Neural Networks [53.559833501288146]
  典型的なEDNNは、ネットワークバックボーンの異なる層に複数の予測ヘッドを持つ。 モデルを最適化するために、これらの予測ヘッドとネットワークバックボーンは、トレーニングデータのバッチ毎にトレーニングされる。 トレーニングと2つのフェーズでのインプットの異なるテストは、トレーニングとデータ分散のテストのミスマッチを引き起こす。 EDNNを勾配強化にインスパイアされた付加モデルとして定式化し、モデルを効果的に最適化するための複数のトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2022-11-30T04:23:12Z)
• Reconciliation of Pre-trained Models and Prototypical Neural Networks in Few-shot Named Entity Recognition [35.34238362639678]
  本研究では,このようなミスマッチを経験的・理論的根拠と整合させる一線符号正規化法を提案する。 我々の研究は、数発のエンティティ認識における一般的な問題に対処するための分析的な視点も提供します。
  論文  参考訳（メタデータ） (2022-11-07T02:33:45Z)
• Contrastive Brain Network Learning via Hierarchical Signed Graph Pooling Model [64.29487107585665]
  脳機能ネットワーク上のグラフ表現学習技術は、臨床表現型および神経変性疾患のための新しいバイオマーカーの発見を容易にする。 本稿では,脳機能ネットワークからグラフレベル表現を抽出する階層型グラフ表現学習モデルを提案する。 また、モデルの性能をさらに向上させるために、機能的脳ネットワークデータをコントラスト学習のために拡張する新たな戦略を提案する。
  論文  参考訳（メタデータ） (2022-07-14T20:03:52Z)
• Neural Language Models are not Born Equal to Fit Brain Data, but Training Helps [75.84770193489639]
  音声ブックを聴く被験者の機能的磁気共鳴イメージングの時間軸予測に及ぼすテスト損失,トレーニングコーパス,モデルアーキテクチャの影響について検討した。 各モデルの訓練されていないバージョンは、同じ単語をまたいだ脳反応の類似性を捉えることで、脳内のかなりの量のシグナルをすでに説明していることがわかりました。 ニューラル言語モデルを用いたヒューマン・ランゲージ・システムの説明を目的とした今後の研究の実践を提案する。
  論文  参考訳（メタデータ） (2022-07-07T15:37:17Z)
• Neural Capacitance: A New Perspective of Neural Network Selection via Edge Dynamics [85.31710759801705]
  現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。 本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。 我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
  論文  参考訳（メタデータ） (2022-01-11T20:53:15Z)
• Improving a neural network model by explanation-guided training for glioma classification based on MRI data [0.0]
  解釈可能性の手法は、ディープラーニングモデルの意思決定プロセスに関する洞察を得るための一般的な方法となっている。 本稿では,LRP(Layer-wise Relevance propagation)技術を用いた説明誘導学習手法を提案する。 我々は,低次・高次グリオーマ分類問題に対する畳み込みニューラルネットワーク(CNN)モデルについて実験的に検証した。
  論文  参考訳（メタデータ） (2021-07-05T13:27:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。