論文の概要: A Transformer-based Neural Language Model that Synthesizes Brain Activation Maps from Free-Form Text Queries

• arxiv url: http://arxiv.org/abs/2208.00840v1
• Date: Sun, 24 Jul 2022 09:15:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-07 14:33:37.308599
• Title: A Transformer-based Neural Language Model that Synthesizes Brain Activation Maps from Free-Form Text Queries
• Title（参考訳）: 自由形式のテキストクエリから脳活動マップを合成するトランスフォーマーベースニューラル言語モデル
• Authors: Gia H. Ngo, Minh Nguyen, Nancy F. Chen, Mert R. Sabuncu
• Abstract要約: Text2Brainは、オープンエンドテキストクエリから脳活性化マップを合成するための使いやすいツールである。 Text2Brainは、トランスフォーマーベースのニューラルネットワーク言語モデルと、ニューロイメージング研究の座標ベースのメタ分析に基づいて構築された。
• 参考スコア（独自算出の注目度）: 37.322245313730654
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neuroimaging studies are often limited by the number of subjects and cognitive processes that can be feasibly interrogated. However, a rapidly growing number of neuroscientific studies have collectively accumulated an extensive wealth of results. Digesting this growing literature and obtaining novel insights remains to be a major challenge, since existing meta-analytic tools are constrained to keyword queries. In this paper, we present Text2Brain, an easy to use tool for synthesizing brain activation maps from open-ended text queries. Text2Brain was built on a transformer-based neural network language model and a coordinate-based meta-analysis of neuroimaging studies. Text2Brain combines a transformer-based text encoder and a 3D image generator, and was trained on variable-length text snippets and their corresponding activation maps sampled from 13,000 published studies. In our experiments, we demonstrate that Text2Brain can synthesize meaningful neural activation patterns from various free-form textual descriptions. Text2Brain is available at https://braininterpreter.com as a web-based tool for efficiently searching through the vast neuroimaging literature and generating new hypotheses.
• Abstract（参考訳）: 神経画像研究は、しばしば被検者数と、容易に尋問できる認知過程によって制限される。 しかし、急速に成長する神経科学の研究は総じて膨大な結果を蓄積している。 既存のメタ分析ツールはキーワードクエリに制約されているため、この増大する文献をダイジェストし、新しい洞察を得ることは大きな課題である。 本稿では,オープンエンドテキストクエリから脳の活性化マップを合成する簡単なツールであるText2Brainを提案する。 text2brainは、トランスフォーマーベースのニューラルネットワーク言語モデルと、神経画像研究の座標ベースのメタ分析に基づいて構築された。 text2brainはトランスフォーマーベースのテキストエンコーダと3dイメージジェネレータを組み合わせることで、可変長のテキストスニペットと、13,000件の論文からサンプリングされた対応するアクティベーションマップをトレーニングした。 実験では,Text2Brainが様々な自由形式のテキスト記述から有意義な神経活性化パターンを合成できることを実証した。 text2brainは、webベースのツールとしてhttps://braininterpreter.comで利用可能である。

関連論文リスト

• Decoding Linguistic Representations of Human Brain [21.090956290947275]
  テキスト形式と音声形式の両方を脳から言語へ復号する分類法を提案する。 この研究は、言語理解に焦点を当てた神経科学と深層学習に基づく脳復号という2つのタイプの研究を統合している。
  論文  参考訳（メタデータ） (2024-07-30T07:55:44Z)
• Language Reconstruction with Brain Predictive Coding from fMRI Data [28.217967547268216]
  予測符号化の理論は、人間の脳が将来的な単語表現を継続的に予測していることを示唆している。 textscPredFTは、BLEU-1スコアが最大27.8%$の最先端のデコード性能を実現する。
  論文  参考訳（メタデータ） (2024-05-19T16:06:02Z)
• MindBridge: A Cross-Subject Brain Decoding Framework [60.58552697067837]
  脳の復号化は、獲得した脳信号から刺激を再構築することを目的としている。 現在、脳の復号化はモデルごとのオブジェクトごとのパラダイムに限られている。 我々は,1つのモデルのみを用いることで,オブジェクト間脳デコーディングを実現するMindBridgeを提案する。
  論文  参考訳（メタデータ） (2024-04-11T15:46:42Z)
• Chat2Brain: A Method for Mapping Open-Ended Semantic Queries to Brain Activation Maps [59.648646222905235]
  そこで本研究では,テキスト2画像モデルであるText2BrainにLLMを組み合わせ,セマンティッククエリを脳活性化マップにマッピングするChat2Brainを提案する。 テキストクエリのより複雑なタスクに対して、Chat2Brainが可塑性なニューラルアクティベーションパターンを合成できることを実証した。
  論文  参考訳（メタデータ） (2023-09-10T13:06:45Z)
• Multimodal Neurons in Pretrained Text-Only Transformers [52.20828443544296]
  視覚表現を対応するテキストに変換する「マルチモーダルニューロン」を同定する。 マルチモーダルニューロンは入力を横断する特定の視覚概念で動作し、画像キャプションに系統的な因果効果を有することを示す。
  論文  参考訳（メタデータ） (2023-08-03T05:27:12Z)
• Probing Brain Context-Sensitivity with Masked-Attention Generation [87.31930367845125]
  我々は、GPT-2変換器を用いて、一定量の文脈情報をキャプチャする単語埋め込みを生成する。 そして、自然主義的なテキストを聴く人間のfMRI脳活動を予測することができるかどうかを検証した。
  論文  参考訳（メタデータ） (2023-05-23T09:36:21Z)
• BrainBERT: Self-supervised representation learning for intracranial recordings [18.52962864519609]
  我々は、神経科学に現代的な表現学習アプローチをもたらす頭蓋内記録のための再利用可能な変換器BrainBERTを開発した。 NLPや音声認識と同様に、この変換器は複雑な概念を高い精度で、はるかに少ないデータで分類することができる。 将来的には、表現学習を使用することで、はるかに多くの概念がニューラル録音から切り離され、言語モデルがアンロックされた言語のように脳をアンロックする可能性がある。
  論文  参考訳（メタデータ） (2023-02-28T07:40:37Z)
• Open Vocabulary Electroencephalography-To-Text Decoding and Zero-shot Sentiment Classification [78.120927891455]
  最先端のブレイン・トゥ・テキストシステムは、ニューラルネットワークを使用して脳信号から直接言語を復号することに成功した。 本稿では,自然読解課題における語彙的脳波(EEG)-テキスト列列列復号化とゼロショット文感性分類に問題を拡張する。 脳波-テキストデコーディングで40.1%のBLEU-1スコア、ゼロショット脳波に基づく3次感情分類で55.6%のF1スコアを達成し、教師付きベースラインを著しく上回る結果となった。
  論文  参考訳（メタデータ） (2021-12-05T21:57:22Z)
• Text2Brain: Synthesis of Brain Activation Maps from Free-form Text Query [28.26166305556377]
  Text2Brainは、ニューロイメージング研究の座標に基づくメタ分析のためのニューラルネットワークアプローチである。 我々は,Text2Brainが,自由形式のテキスト記述から解剖学的に解明可能なニューラルアクティベーションパターンを合成できることを実証した。
  論文  参考訳（メタデータ） (2021-09-28T15:39:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。