論文の概要: Neural Language Taskonomy: Which NLP Tasks are the most Predictive of fMRI Brain Activity?

• arxiv url: http://arxiv.org/abs/2205.01404v1
• Date: Tue, 3 May 2022 10:23:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-04 21:01:13.450260
• Title: Neural Language Taskonomy: Which NLP Tasks are the most Predictive of fMRI Brain Activity?
• Title（参考訳）: ニューラル言語タスクノミー:どのNLPタスクがfMRI脳活動の最も予測可能なタスクか?
• Authors: Subba Reddy Oota, Jashn Arora, Veeral Agarwal, Mounika Marreddy, Manish Gupta and Bapi Raju Surampudi
• Abstract要約: 人気のTransformerベースの言語モデルは、テキスト駆動型ブレインエンコーディングで成功している。 本研究では,10種類の自然言語処理タスクで学習した表現からの伝達学習について検討する。 10のタスク表現にまたがる実験は、以下の認知的洞察を提供する。
• 参考スコア（独自算出の注目度）: 3.186888145772382
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Several popular Transformer based language models have been found to be successful for text-driven brain encoding. However, existing literature leverages only pretrained text Transformer models and has not explored the efficacy of task-specific learned Transformer representations. In this work, we explore transfer learning from representations learned for ten popular natural language processing tasks (two syntactic and eight semantic) for predicting brain responses from two diverse datasets: Pereira (subjects reading sentences from paragraphs) and Narratives (subjects listening to the spoken stories). Encoding models based on task features are used to predict activity in different regions across the whole brain. Features from coreference resolution, NER, and shallow syntax parsing explain greater variance for the reading activity. On the other hand, for the listening activity, tasks such as paraphrase generation, summarization, and natural language inference show better encoding performance. Experiments across all 10 task representations provide the following cognitive insights: (i) language left hemisphere has higher predictive brain activity versus language right hemisphere, (ii) posterior medial cortex, temporo-parieto-occipital junction, dorsal frontal lobe have higher correlation versus early auditory and auditory association cortex, (iii) syntactic and semantic tasks display a good predictive performance across brain regions for reading and listening stimuli resp.
• Abstract（参考訳）: 人気のTransformerベースの言語モデルは、テキスト駆動型ブレインエンコーディングで成功している。 しかし、既存の文献は事前訓練されたテキストトランスフォーマーモデルのみを活用しており、タスク固有の学習されたトランスフォーマー表現の有効性を探求していない。 本研究では,10種類の自然言語処理タスク(統語論と8意味論)から学習した表現から,ペレイラ(節から文章を読み取る主語)とナラティブ(話を聞く主語)の2つの多様なデータセットから脳の反応を予測する伝達学習について検討する。 タスク特徴に基づくモデルエンコーディングは、脳全体の異なる領域での活動を予測するために使用される。 coreference resolution, ner, shallow syntax parsingの特徴は、読み込みアクティビティのばらつきを説明している。 一方,リスニングアクティビティでは,パラフレーズ生成や要約,自然言語推論といったタスクの方が高いエンコーディング性能を示す。 10のタスク表現にまたがる実験は、以下の認知的洞察を与えます。 (i)言語左半球は、言語右半球よりも高い予測脳活動を有する。 (ii)後中葉,側頭頂後頭葉,背側前頭葉は早期聴覚および聴覚関連皮質より高い相関性を有する。 (iii)統語的・意味的タスクは、脳領域をまたいで、聴覚刺激のrespを読み取るための優れた予測性能を示す。

関連論文リスト

• Language Reconstruction with Brain Predictive Coding from fMRI Data [28.217967547268216]
  予測符号化の理論は、人間の脳が将来的な単語表現を継続的に予測していることを示唆している。 textscPredFTは、BLEU-1スコアが最大27.8%$の最先端のデコード性能を実現する。
  論文  参考訳（メタデータ） (2024-05-19T16:06:02Z)
• Speech language models lack important brain-relevant semantics [6.626540321463248]
  近年の研究では、テキストベースの言語モデルは、テキスト誘発脳活動と音声誘発脳活動の両方を驚くほど予測している。 このことは、脳内でどのような情報言語モデルが本当に予測されるのかという疑問を引き起こします。
  論文  参考訳（メタデータ） (2023-11-08T13:11:48Z)
• Tuning In to Neural Encoding: Linking Human Brain and Artificial Supervised Representations of Language [31.636016502455693]
  我々は,プロンプトチューニングを用いた8つの自然言語理解(NLU)タスクの教師付き表現を生成する。 従来の微調整よりも、中国の刺激に対する神経反応をより正確に予測する表現が、プロンプトチューニングによって得られることを示す。
  論文  参考訳（メタデータ） (2023-10-05T06:31:01Z)
• Fine-tuned vs. Prompt-tuned Supervised Representations: Which Better Account for Brain Language Representations? [30.495681024162835]
  我々は、ニューラルデコーディングにおいて、プロンプト調整された表現と微調整された表現を比較した。 より脳に一貫性のあるチューニング手法では、脳データと相関する表現が得られます。 これは、私たちの脳が浅い構文情報よりもきめ細かい概念情報を符号化していることを示している。
  論文  参考訳（メタデータ） (2023-10-03T07:34:30Z)
• Probing Brain Context-Sensitivity with Masked-Attention Generation [87.31930367845125]
  我々は、GPT-2変換器を用いて、一定量の文脈情報をキャプチャする単語埋め込みを生成する。 そして、自然主義的なテキストを聴く人間のfMRI脳活動を予測することができるかどうかを検証した。
  論文  参考訳（メタデータ） (2023-05-23T09:36:21Z)
• Universal Multimodal Representation for Language Understanding [110.98786673598015]
  本研究は,一般的なNLPタスクの補助信号として視覚情報を利用する新しい手法を提案する。 各文に対して、まず、既存の文-画像ペア上で抽出された軽トピック-画像検索テーブルから、フレキシブルな画像を検索する。 そして、テキストと画像はそれぞれトランスフォーマーエンコーダと畳み込みニューラルネットワークによって符号化される。
  論文  参考訳（メタデータ） (2023-01-09T13:54:11Z)
• Neural Language Models are not Born Equal to Fit Brain Data, but Training Helps [75.84770193489639]
  音声ブックを聴く被験者の機能的磁気共鳴イメージングの時間軸予測に及ぼすテスト損失,トレーニングコーパス,モデルアーキテクチャの影響について検討した。 各モデルの訓練されていないバージョンは、同じ単語をまたいだ脳反応の類似性を捉えることで、脳内のかなりの量のシグナルをすでに説明していることがわかりました。 ニューラル言語モデルを用いたヒューマン・ランゲージ・システムの説明を目的とした今後の研究の実践を提案する。
  論文  参考訳（メタデータ） (2022-07-07T15:37:17Z)
• Toward a realistic model of speech processing in the brain with self-supervised learning [67.7130239674153]
  生波形で訓練された自己教師型アルゴリズムは有望な候補である。 We show that Wav2Vec 2.0 learns brain-like representations with little as 600 hours of unlabelled speech。
  論文  参考訳（メタデータ） (2022-06-03T17:01:46Z)
• Model-based analysis of brain activity reveals the hierarchy of language in 305 subjects [82.81964713263483]
  言語の神経基盤を分解する一般的なアプローチは、個人間で異なる刺激に対する脳の反応を関連付けている。 そこで本研究では,自然刺激に曝露された被験者に対して,モデルに基づくアプローチが等価な結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-12T15:30:21Z)
• Low-Dimensional Structure in the Space of Language Representations is Reflected in Brain Responses [62.197912623223964]
  言語モデルと翻訳モデルは,単語の埋め込み,構文的・意味的タスク,将来的な単語埋め込みとの間を円滑に介在する低次元構造を示す。 この表現埋め込みは、各特徴空間が、fMRIを用いて記録された自然言語刺激に対する人間の脳反応にどれだけうまく対応しているかを予測することができる。 これは、埋め込みが脳の自然言語表現構造の一部を捉えていることを示唆している。
  論文  参考訳（メタデータ） (2021-06-09T22:59:12Z)
• Brain2Word: Decoding Brain Activity for Language Generation [14.24200473508597]
  対象者からfMRIデータをデコードできるモデルを提案する。 この課題に対して,本モデルでは5.22%のTop-1と13.59%のTop-5の精度を実現している。
  論文  参考訳（メタデータ） (2020-09-10T10:47:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。