論文の概要: Evaluating deep transfer learning for whole-brain cognitive decoding
- arxiv url: http://arxiv.org/abs/2111.01562v1
- Date: Mon, 1 Nov 2021 15:44:49 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-04 01:56:42.941209
- Title: Evaluating deep transfer learning for whole-brain cognitive decoding
- Title（参考訳）: 全脳認知復号における深層伝達学習の評価
- Authors: Armin W. Thomas and Ulman Lindenberger and Wojciech Samek and
Klaus-Robert M\"uller
- Abstract要約: 転送学習(TL)は、少数のサンプルを持つデータセットにおける深層学習(DL)モデルの性能向上に適している。
本稿では,全脳機能型磁気共鳴画像(fMRI)データから認識状態の復号化にDLモデルを適用するためのTLを評価した。
- 参考スコア（独自算出の注目度）: 11.898286908882561
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Research in many fields has shown that transfer learning (TL) is well-suited
to improve the performance of deep learning (DL) models in datasets with small
numbers of samples. This empirical success has triggered interest in the
application of TL to cognitive decoding analyses with functional neuroimaging
data. Here, we systematically evaluate TL for the application of DL models to
the decoding of cognitive states (e.g., viewing images of faces or houses) from
whole-brain functional Magnetic Resonance Imaging (fMRI) data. We first
pre-train two DL architectures on a large, public fMRI dataset and subsequently
evaluate their performance in an independent experimental task and a fully
independent dataset. The pre-trained models consistently achieve higher
decoding accuracies and generally require less training time and data than
model variants that were not pre-trained, clearly underlining the benefits of
pre-training. We demonstrate that these benefits arise from the ability of the
pre-trained models to reuse many of their learned features when training with
new data, providing deeper insights into the mechanisms giving rise to the
benefits of pre-training. Yet, we also surface nuanced challenges for
whole-brain cognitive decoding with DL models when interpreting the decoding
decisions of the pre-trained models, as these have learned to utilize the fMRI
data in unforeseen and counterintuitive ways to identify individual cognitive
states.
- Abstract（参考訳）: 多くの分野の研究で、少量のサンプルを持つデータセットにおけるディープラーニング(DL)モデルの性能を改善するのに、転送学習(TL)が適していることが示されている。
この経験的成功は、機能的神経画像データを用いた認知的デコード解析へのtlの適用に対する関心を惹き起こした。
本稿では,全脳機能型磁気共鳴画像(fMRI)データから,認知状態(顔や家の画像など)の復号化にDLモデルを適用するためのTLを体系的に評価する。
まず,公開fmriデータセット上で2つのdlアーキテクチャを事前学習し,その性能を独立した実験タスクと完全に独立したデータセットで評価した。
事前訓練されたモデルは、常に高い復号精度を達成し、通常、事前訓練されていないモデル変種よりも訓練時間とデータが少ない。
これらの利点は、トレーニング済みモデルが新しいデータでトレーニングする際、学習した特徴の多くを再利用できることから生じており、事前トレーニングの利点をもたらすメカニズムに関する深い洞察を提供する。
しかし, 学習済みモデルの復号決定を解釈する際に, DLモデルを用いた全脳認知復号化の難しさも浮き彫りにしている。
関連論文リスト
- NeuralOOD: Improving Out-of-Distribution Generalization Performance with Brain-machine Fusion Learning Framework [13.25912138698749]
CVモデルからの視覚的知識と人間の脳からの認知的知識を融合させる新しい脳機械融合学習フレームワークを提案する。
我々は、視覚特徴から機能的磁気共鳴イメージング(fMRI)を予測するために、事前訓練された視覚ニューラルエンコーディングモデルを用いている。
我々のモデルは、ImageNet-1kバリデーションデータセットのDINOv2とベースラインモデル、および6つのキュレートされたOODデータセットよりも優れています。
論文 参考訳（メタデータ） (2024-08-27T10:54:37Z) - Diffusion-Based Neural Network Weights Generation [80.89706112736353]
D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。
本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。
我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
論文 参考訳（メタデータ） (2024-02-28T08:34:23Z) - Fantastic Gains and Where to Find Them: On the Existence and Prospect of
General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。
このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
論文 参考訳（メタデータ） (2023-10-26T17:59:46Z) - Robustness and Generalization Performance of Deep Learning Models on
Cyber-Physical Systems: A Comparative Study [71.84852429039881]
調査は、センサーの故障やノイズなど、様々な摂動を扱うモデルの能力に焦点を当てている。
我々は,これらのモデルの一般化と伝達学習能力を,アウト・オブ・ディストリビューション(OOD)サンプルに公開することによって検証する。
論文 参考訳（メタデータ） (2023-06-13T12:43:59Z) - Efficiently Training Vision Transformers on Structural MRI Scans for
Alzheimer's Disease Detection [2.359557447960552]
ビジョントランスフォーマー(ViT)は近年、コンピュータビジョンアプリケーションのためのCNNの代替として登場した。
難易度に基づいて,脳神経画像の下流タスクに対するViTアーキテクチャの変種を検証した。
合成および実MRIスキャンで事前訓練した微調整型視覚変換器モデルを用いて、5%と9-10%の性能向上を実現した。
論文 参考訳（メタデータ） (2023-03-14T20:18:12Z) - Leveraging the structure of dynamical systems for data-driven modeling [111.45324708884813]
トレーニングセットとその構造が長期予測の品質に与える影響を考察する。
トレーニングセットのインフォームドデザインは,システムの不変性と基盤となるアトラクションの構造に基づいて,結果のモデルを大幅に改善することを示す。
論文 参考訳（メタデータ） (2021-12-15T20:09:20Z) - Variational voxelwise rs-fMRI representation learning: Evaluation of
sex, age, and neuropsychiatric signatures [0.0]
本稿では,Voxelwise rs-fMRIデータに非線形表現学習を適用することを提案する。
非線形表現の学習は変分オートエンコーダ(VAE)を用いて行われる
VAEは、voxelwise rs-fMRIデータに基づいて訓練され、意味のある情報を保持する非線形次元還元を行う。
論文 参考訳（メタデータ） (2021-08-29T05:27:32Z) - Transformer-Based Behavioral Representation Learning Enables Transfer
Learning for Mobile Sensing in Small Datasets [4.276883061502341]
時系列から一般化可能な特徴表現を学習できるモバイルセンシングデータのためのニューラルネットワークフレームワークを提供する。
このアーキテクチャは、CNNとTrans-formerアーキテクチャの利点を組み合わせて、より良い予測性能を実現する。
論文 参考訳（メタデータ） (2021-07-09T22:26:50Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - Automatic Recall Machines: Internal Replay, Continual Learning and the
Brain [104.38824285741248]
ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。
本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。
代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
論文 参考訳（メタデータ） (2020-06-22T15:07:06Z) - The Utility of Feature Reuse: Transfer Learning in Data-Starved Regimes [6.419457653976053]
データ・スターベド・レシエーションを持つドメインに対する転送学習のユースケースについて述べる。
畳み込み特徴抽出と微調整の有効性を評価する。
我々はトランスファーラーニングがCNNアーキテクチャの性能を向上させることを結論付けている。
論文 参考訳（メタデータ） (2020-02-29T18:48:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。