論文の概要: Evaluating the structure of cognitive tasks with transfer learning

• arxiv url: http://arxiv.org/abs/2308.02408v1
• Date: Fri, 28 Jul 2023 14:51:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-14 01:49:02.992441
• Title: Evaluating the structure of cognitive tasks with transfer learning
• Title（参考訳）: 伝達学習による認知タスクの構造評価
• Authors: Bruno Aristimunha, Raphael Y. de Camargo, Walter H. Lopez Pinaya, Sylvain Chevallier, Alexandre Gramfort, Cedric Rommel
• Abstract要約: 本研究では,脳波復号処理における深層学習表現の伝達可能性について検討した。 最近リリースされた2つのEEGデータセット上で、最先端デコードモデルを用いて広範な実験を行う。
• 参考スコア（独自算出の注目度）: 67.22168759751541
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Electroencephalography (EEG) decoding is a challenging task due to the limited availability of labelled data. While transfer learning is a promising technique to address this challenge, it assumes that transferable data domains and task are known, which is not the case in this setting. This study investigates the transferability of deep learning representations between different EEG decoding tasks. We conduct extensive experiments using state-of-the-art decoding models on two recently released EEG datasets, ERP CORE and M$^3$CV, containing over 140 subjects and 11 distinct cognitive tasks. We measure the transferability of learned representations by pre-training deep neural networks on one task and assessing their ability to decode subsequent tasks. Our experiments demonstrate that, even with linear probing transfer, significant improvements in decoding performance can be obtained, with gains of up to 28% compare with the pure supervised approach. Additionally, we discover evidence that certain decoding paradigms elicit specific and narrow brain activities, while others benefit from pre-training on a broad range of representations. By revealing which tasks transfer well and demonstrating the benefits of transfer learning for EEG decoding, our findings have practical implications for mitigating data scarcity in this setting. The transfer maps generated also provide insights into the hierarchical relations between cognitive tasks, hence enhancing our understanding of how these tasks are connected from a neuroscientific standpoint.
• Abstract（参考訳）: 脳波デコード(EEG)はラベル付きデータの限られた可用性のために難しい課題である。 転送学習は、この課題に対処する有望なテクニックであるが、転送可能なデータドメインとタスクが知られていると仮定している。 本研究では,異なる脳波復号タスク間での深層学習表現の転送可能性について検討する。 最近リリースされた2つの脳波データセットであるERP COREとM$3$CVで、140以上の被験者と11の認知タスクを含む最先端デコーディングモデルを用いて広範な実験を行った。 深層ニューラルネットワークを1つのタスクで事前学習し、その後のタスクをデコードする能力を評価することにより、学習した表現の伝達可能性を測定する。 私たちの実験では、線形プローブ転送でもデコード性能が大幅に向上し、最大28%の利得が純粋な教師付きアプローチと比較できることを実証した。 さらに、特定のデコードパラダイムが特定の脳活動や狭い脳活動を誘発する証拠を発見できる一方、幅広い表現の事前学習の恩恵を受けるものもある。 脳波デコードにおけるトランスファー学習の利点を明らかにすることで,本手法におけるデータ不足の軽減に有効であることを示す。 伝達マップは認知的タスク間の階層的関係についての洞察も与えるので、神経科学的な観点からこれらのタスクがどのように接続されているかの理解を深めることができます。

関連論文リスト

• TVE: Learning Meta-attribution for Transferable Vision Explainer [76.68234965262761]
  本稿では,下流タスクにおける様々な視覚モデルを効果的に説明できるTransferable Vision Explainer(TVE)を提案する。 TVEは,大規模データセットの事前学習プロセスを通じて,メタ属性の学習を実現する。 このメタ属性は、一般的なバックボーンエンコーダの汎用性を利用して、入力インスタンスの属性知識を包括的にエンコードし、TVEがシームレスに転送し、様々な下流タスクを説明することを可能にする。
  論文  参考訳（メタデータ） (2023-12-23T21:49:23Z)
• Amplifying Pathological Detection in EEG Signaling Pathways through Cross-Dataset Transfer Learning [10.212217551908525]
  実世界の病理分類課題におけるデータとモデルスケーリングとデータセット間の知識伝達の有効性について検討する。 ネガティブトランスファーの可能性の課題を特定し、いくつかの重要なコンポーネントの重要性を強調する。 以上の結果から,小規模で汎用的なモデル(ShallowNetなど)は単一データセット上では良好に動作するが,大規模なモデル(TCNなど)では,大規模かつ多様なデータセットからの転送や学習がより優れていることが示唆された。
  論文  参考訳（メタデータ） (2023-09-19T20:09:15Z)
• EEG-based Cognitive Load Classification using Feature Masked Autoencoding and Emotion Transfer Learning [13.404503606887715]
  脳波(EEG)を用いた認知負荷の新しい分類法を提案する。 感情関連脳波データセットの自己教師付きマスクによる自動エンコーディングを用いて、我々のモデルを事前学習する。 実験の結果,提案手法は従来の単段階完全教師付き学習よりも優れた結果が得られることがわかった。
  論文  参考訳（メタデータ） (2023-08-01T02:59:19Z)
• Frozen Overparameterization: A Double Descent Perspective on Transfer Learning of Deep Neural Networks [27.17697714584768]
  ディープニューラルネットワーク(DNN)の伝達学習の一般化挙動について検討する。 目標トレーニング中のテストエラーの進化は、目標トレーニングデータセットが十分に大きい場合、より顕著な二重降下効果を有することを示す。 また、二重降下現象は、より関連するソースタスクからの転送よりも、関連するソースタスクからの転送をより良くする可能性があることを示す。
  論文  参考訳（メタデータ） (2022-11-20T20:26:23Z)
• An Exploration of Data Efficiency in Intra-Dataset Task Transfer for Dialog Understanding [65.75873687351553]
  本研究は,対話領域における逐次移動学習における目標タスク訓練データ量の影響について検討する。 非意図的に、我々のデータでは、タスクトレーニングデータのサイズを目標とする場合、シーケンシャルトランスファーラーニングがトランスファーラーニングなしで同じモデルと比較した場合、最小限の効果が示される。
  論文  参考訳（メタデータ） (2022-10-21T04:36:46Z)
• Transfer learning to decode brain states reflecting the relationship between cognitive tasks [1.3701366534590498]
  本稿では,認知タスク間の関係を反映した伝達学習フレームワークを提案する。 我々は、伝達学習と脳領域の重なりによって反映されるタスク関係を比較した。 その結果,認知的タスク間の関係を反映した認知的タスクノミーが生み出された。
  論文  参考訳（メタデータ） (2022-06-07T09:39:47Z)
• Learning Invariant Representations across Domains and Tasks [81.30046935430791]
  本稿では,この教師なしタスク転送問題を解決するための新しいタスク適応ネットワーク(tan)を提案する。 ドメイン・アドバーサル・トレーニングによる伝達可能な機能を学習することに加えて、学習から学習への戦略を用いてタスクの意味を適応させる新しいタスク・セマンティクス・アダプタを提案する。 TANは最近の強いベースラインに比べてリコールとF1スコアを5.0%と7.8%大きく向上させた。
  論文  参考訳（メタデータ） (2021-03-03T11:18:43Z)
• Exploring and Predicting Transferability across NLP Tasks [115.6278033699853]
  本研究では,33のNLPタスク間の伝達可能性について検討した。 以上の結果から,転帰学習は従来考えられていたよりも有益であることが示唆された。 また,特定の対象タスクに対して最も転送可能なソースタスクを予測するために使用できるタスク埋め込みも開発した。
  論文  参考訳（メタデータ） (2020-05-02T09:39:36Z)
• DEPARA: Deep Attribution Graph for Deep Knowledge Transferability [91.06106524522237]
  本稿では,PR-DNNから学んだ知識の伝達可能性を検討するために,DreP Attribution gRAph (DEPARA)を提案する。 DEPARAでは、ノードは入力に対応し、PR-DNNの出力に関してベクトル化された属性マップで表現される。 2つのPR-DNNの知識伝達性は、対応するDEPARAの類似性によって測定される。
  論文  参考訳（メタデータ） (2020-03-17T02:07:50Z)
• Inter- and Intra-domain Knowledge Transfer for Related Tasks in Deep Character Recognition [2.320417845168326]
  ImageNetデータセットでディープニューラルネットワークを事前トレーニングすることは、ディープラーニングモデルをトレーニングするための一般的なプラクティスである。 1つのタスクで事前トレーニングを行い、新しいタスクで再トレーニングするテクニックは、トランスファーラーニング(transfer learning)と呼ばれる。 本稿では,文字認識タスクにおけるDeep Transfer Learningの有効性について分析する。
  論文  参考訳（メタデータ） (2020-01-02T14:18:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。