論文の概要: Probing Brain Context-Sensitivity with Masked-Attention Generation

• arxiv url: http://arxiv.org/abs/2305.13863v1
• Date: Tue, 23 May 2023 09:36:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-24 17:27:21.077899
• Title: Probing Brain Context-Sensitivity with Masked-Attention Generation
• Title（参考訳）: マズード・アテンション・ジェネレーションを用いた脳コンテキスト感度の探索
• Authors: Alexandre Pasquiou, Yair Lakretz, Bertrand Thirion, Christophe Pallier
• Abstract要約: 我々は、GPT-2変換器を用いて、一定量の文脈情報をキャプチャする単語埋め込みを生成する。 そして、自然主義的なテキストを聴く人間のfMRI脳活動を予測することができるかどうかを検証した。
• 参考スコア（独自算出の注目度）: 87.31930367845125
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Two fundamental questions in neurolinguistics concerns the brain regions that integrate information beyond the lexical level, and the size of their window of integration. To address these questions we introduce a new approach named masked-attention generation. It uses GPT-2 transformers to generate word embeddings that capture a fixed amount of contextual information. We then tested whether these embeddings could predict fMRI brain activity in humans listening to naturalistic text. The results showed that most of the cortex within the language network is sensitive to contextual information, and that the right hemisphere is more sensitive to longer contexts than the left. Masked-attention generation supports previous analyses of context-sensitivity in the brain, and complements them by quantifying the window size of context integration per voxel.
• Abstract（参考訳）: 神経言語学における2つの基本的な疑問は、語彙レベルを超えて情報を統合する脳領域と、その統合の窓の大きさに関するものである。 これらの問題に対処するために,マスク・アテンション・ジェネレーションという新しいアプローチを導入する。 GPT-2変換器を使用して、一定量のコンテキスト情報をキャプチャする単語埋め込みを生成する。 そして、自然主義的なテキストを聴く人間のfMRI脳活動を予測することができるかどうかを検証した。 その結果、言語ネットワーク内の大脳皮質の大部分は文脈情報に敏感であり、右半球は左半球よりも長い文脈に敏感であることが示された。 Masked-attention 生成は、以前の脳のコンテキスト感受性の分析をサポートし、voxel 当たりのコンテキスト統合のウィンドウサイズを定量化することによってそれらを補完する。

関連論文リスト

• Knowledge-Guided Prompt Learning for Lifespan Brain MR Image Segmentation [53.70131202548981]
  本稿では,脳MRIにKGPL(Knowledge-Guided Prompt Learning)を用いた2段階のセグメンテーションフレームワークを提案する。 具体的には,大規模データセットと準最適ラベルを用いたトレーニング前セグメンテーションモデルについて述べる。 知識的プロンプトの導入は、解剖学的多様性と生物学的プロセスの間の意味的関係を捉えている。
  論文  参考訳（メタデータ） (2024-07-31T04:32:43Z)
• Adaptive Critical Subgraph Mining for Cognitive Impairment Conversion Prediction with T1-MRI-based Brain Network [4.835051121929712]
  早期認知症への転換の予測は、その進行を緩和するために重要である。 従来のT1強調MRI(T1-MRI)研究は、脳萎縮領域の同定に重点を置いている。 Brain-SubGNNは、T1-MRIに基づく重要なサブグラフをマイニングし、拡張するための新しいグラフ表現ネットワークである。
  論文  参考訳（メタデータ） (2024-03-20T06:46:01Z)
• Chat2Brain: A Method for Mapping Open-Ended Semantic Queries to Brain Activation Maps [59.648646222905235]
  そこで本研究では,テキスト2画像モデルであるText2BrainにLLMを組み合わせ,セマンティッククエリを脳活性化マップにマッピングするChat2Brainを提案する。 テキストクエリのより複雑なタスクに対して、Chat2Brainが可塑性なニューラルアクティベーションパターンを合成できることを実証した。
  論文  参考訳（メタデータ） (2023-09-10T13:06:45Z)
• Coupling Artificial Neurons in BERT and Biological Neurons in the Human Brain [9.916033214833407]
  本研究は,トランスフォーマーに基づくNLPモデルと言語に対する神経活動をリンクする,新しい,汎用的で効果的なフレームワークを提案する。 実験の結果,(1)ANsとBNsの活性化は有意に同期し,(2)ANsは意味のある言語/意味情報を持ち,BNシグネチャにアンカーし,(3)アンカーされたBNは神経言語学的文脈で解釈可能であることがわかった。
  論文  参考訳（メタデータ） (2023-03-27T01:41:48Z)
• Information-Restricted Neural Language Models Reveal Different Brain Regions' Sensitivity to Semantics, Syntax and Context [87.31930367845125]
  テキストコーパスを用いて語彙言語モデルGloveと超語彙言語モデルGPT-2を訓練した。 そして、これらの情報制限されたモデルが、自然主義的テキストを聴く人間のfMRI信号の時間軸を予測することができるかを評価した。 分析の結果、言語に関わるほとんどの脳領域は、構文変数と意味変数の両方に敏感であるが、これらの影響の相対的な大きさは、これらの領域で大きく異なることがわかった。
  論文  参考訳（メタデータ） (2023-02-28T08:16:18Z)
• NeuroExplainer: Fine-Grained Attention Decoding to Uncover Cortical Development Patterns of Preterm Infants [73.85768093666582]
  我々はNeuroExplainerと呼ばれる説明可能な幾何学的深層ネットワークを提案する。 NeuroExplainerは、早産に伴う幼児の皮質発達パターンの解明に使用される。
  論文  参考訳（メタデータ） (2023-01-01T12:48:12Z)
• A Transformer-based Neural Language Model that Synthesizes Brain Activation Maps from Free-Form Text Queries [37.322245313730654]
  Text2Brainは、オープンエンドテキストクエリから脳活性化マップを合成するための使いやすいツールである。 Text2Brainは、トランスフォーマーベースのニューラルネットワーク言語モデルと、ニューロイメージング研究の座標ベースのメタ分析に基づいて構築された。
  論文  参考訳（メタデータ） (2022-07-24T09:15:03Z)
• Toward a realistic model of speech processing in the brain with self-supervised learning [67.7130239674153]
  生波形で訓練された自己教師型アルゴリズムは有望な候補である。 We show that Wav2Vec 2.0 learns brain-like representations with little as 600 hours of unlabelled speech。
  論文  参考訳（メタデータ） (2022-06-03T17:01:46Z)
• Neural Language Taskonomy: Which NLP Tasks are the most Predictive of fMRI Brain Activity? [3.186888145772382]
  人気のTransformerベースの言語モデルは、テキスト駆動型ブレインエンコーディングで成功している。 本研究では,10種類の自然言語処理タスクで学習した表現からの伝達学習について検討する。 10のタスク表現にまたがる実験は、以下の認知的洞察を提供する。
  論文  参考訳（メタデータ） (2022-05-03T10:23:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。