論文の概要: Chat2Brain: A Method for Mapping Open-Ended Semantic Queries to Brain
Activation Maps
- arxiv url: http://arxiv.org/abs/2309.05021v1
- Date: Sun, 10 Sep 2023 13:06:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-12 15:09:54.575985
- Title: Chat2Brain: A Method for Mapping Open-Ended Semantic Queries to Brain
Activation Maps
- Title(参考訳): chat2brain: オープンな意味クエリを脳の活性化マップにマッピングする方法
- Authors: Yaonai Wei, Tuo Zhang, Han Zhang, Tianyang Zhong, Lin Zhao, Zhengliang
Liu, Chong Ma, Songyao Zhang, Muheng Shang, Lei Du, Xiao Li, Tianming Liu and
Junwei Han
- Abstract要約: そこで本研究では,テキスト2画像モデルであるText2BrainにLLMを組み合わせ,セマンティッククエリを脳活性化マップにマッピングするChat2Brainを提案する。
テキストクエリのより複雑なタスクに対して、Chat2Brainが可塑性なニューラルアクティベーションパターンを合成できることを実証した。
- 参考スコア(独自算出の注目度): 59.648646222905235
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Over decades, neuroscience has accumulated a wealth of research results in
the text modality that can be used to explore cognitive processes.
Meta-analysis is a typical method that successfully establishes a link from
text queries to brain activation maps using these research results, but it
still relies on an ideal query environment. In practical applications, text
queries used for meta-analyses may encounter issues such as semantic redundancy
and ambiguity, resulting in an inaccurate mapping to brain images. On the other
hand, large language models (LLMs) like ChatGPT have shown great potential in
tasks such as context understanding and reasoning, displaying a high degree of
consistency with human natural language. Hence, LLMs could improve the
connection between text modality and neuroscience, resolving existing
challenges of meta-analyses. In this study, we propose a method called
Chat2Brain that combines LLMs to basic text-2-image model, known as Text2Brain,
to map open-ended semantic queries to brain activation maps in data-scarce and
complex query environments. By utilizing the understanding and reasoning
capabilities of LLMs, the performance of the mapping model is optimized by
transferring text queries to semantic queries. We demonstrate that Chat2Brain
can synthesize anatomically plausible neural activation patterns for more
complex tasks of text queries.
- Abstract(参考訳): 何十年もの間、神経科学は、認知過程の探索に使えるテキストモダリティに多くの研究成果を蓄積してきた。
メタ分析は、これらの研究結果を用いてテキストクエリから脳活性化マップへのリンクを確立する典型的な手法であるが、それでも理想的なクエリ環境に依存している。
実践的な応用では、メタ分析に使われるテキストクエリは意味的冗長性や曖昧さといった問題に遭遇し、脳画像への不正確なマッピングをもたらす。
一方、ChatGPTのような大規模言語モデル(LLM)は、文脈理解や推論といったタスクにおいて大きな可能性を示し、人間の自然言語と高い一貫性を示す。
したがって、LLMはテキストモダリティと神経科学の関連性を改善し、メタ分析の既存の課題を解決することができる。
本研究では,LLMをText2Brainとして知られる基本テキスト2画像モデルと組み合わせたChat2Brainという手法を提案する。
LLMの理解と推論機能を利用することで、テキストクエリをセマンティッククエリに転送することで、マッピングモデルの性能を最適化する。
chat2brainは、テキストクエリのより複雑なタスクのために解剖学的に妥当な神経活性化パターンを合成できることを実証する。
関連論文リスト
- Reasoning in Conversation: Solving Subjective Tasks through Dialogue
Simulation for Large Language Models [56.93074140619464]
本稿では,対話シミュレーションによる主観的課題の解決に焦点を当てたRiC(Reasoning in Conversation)を提案する。
RiCのモチベーションは、チェーン・オブ・ソート・スタイルの合理性を提供するのではなく、対話をシミュレートすることで有用な文脈情報をマイニングすることである。
GPT-4、ChatGPT、OpenChatなど、APIベースのLLMとオープンソースのLLMの両方を12のタスクで評価する。
論文 参考訳(メタデータ) (2024-02-27T05:37:10Z) - Multi-Modal Cognitive Maps based on Neural Networks trained on Successor
Representations [3.4916237834391874]
認知地図(Cognitive map)は、脳が記憶を効率的に整理し、そこからコンテキストを取り出す方法に関する概念である。
そこで我々は,細胞動態と認知地図表現をモデル化可能な後続表現を用いたマルチモーダルニューラルネットワークを構築した。
ネットワークは、新しい入力とトレーニングデータベースの類似性を学習し、認知地図の表現を成功させる。
論文 参考訳(メタデータ) (2023-12-22T12:44:15Z) - Probing Brain Context-Sensitivity with Masked-Attention Generation [87.31930367845125]
我々は、GPT-2変換器を用いて、一定量の文脈情報をキャプチャする単語埋め込みを生成する。
そして、自然主義的なテキストを聴く人間のfMRI脳活動を予測することができるかどうかを検証した。
論文 参考訳(メタデータ) (2023-05-23T09:36:21Z) - ChatABL: Abductive Learning via Natural Language Interaction with
ChatGPT [72.83383437501577]
大規模言語モデル(LLM)は、最近数学的な能力において大きな可能性を証明している。
LLMは現在、認識、言語理解、推論能力のブリッジングに困難を抱えている。
本稿では, LLMを帰納学習フレームワークに統合する新しい手法を提案する。
論文 参考訳(メタデータ) (2023-04-21T16:23:47Z) - MURMUR: Modular Multi-Step Reasoning for Semi-Structured Data-to-Text
Generation [102.20036684996248]
多段階推論を用いた半構造化データからテキストを生成するための,ニューロシンボリックなモジュラーアプローチであるMURMURを提案する。
WebNLG や LogicNLG のような2つのデータ・テキスト生成タスクについて実験を行った。
論文 参考訳(メタデータ) (2022-12-16T17:36:23Z) - A Transformer-based Neural Language Model that Synthesizes Brain
Activation Maps from Free-Form Text Queries [37.322245313730654]
Text2Brainは、オープンエンドテキストクエリから脳活性化マップを合成するための使いやすいツールである。
Text2Brainは、トランスフォーマーベースのニューラルネットワーク言語モデルと、ニューロイメージング研究の座標ベースのメタ分析に基づいて構築された。
論文 参考訳(メタデータ) (2022-07-24T09:15:03Z) - Emotion Recognition in Conversation using Probabilistic Soft Logic [17.62924003652853]
会話における感情認識(英: emotion recognition in conversation、ERC)とは、2つ以上の発話を含む会話に焦点を当てた感情認識のサブフィールドである。
我々は,宣言的テンプレート言語である確率的ソフト論理(PSL)にアプローチを実装した。
PSLは、ニューラルモデルからPSLモデルへの結果の取り込みのための機能を提供する。
提案手法を最先端の純粋ニューラルネットワークERCシステムと比較した結果,約20%の改善が得られた。
論文 参考訳(メタデータ) (2022-07-14T23:59:06Z) - Text2Brain: Synthesis of Brain Activation Maps from Free-form Text Query [28.26166305556377]
Text2Brainは、ニューロイメージング研究の座標に基づくメタ分析のためのニューラルネットワークアプローチである。
我々は,Text2Brainが,自由形式のテキスト記述から解剖学的に解明可能なニューラルアクティベーションパターンを合成できることを実証した。
論文 参考訳(メタデータ) (2021-09-28T15:39:22Z) - Low-Dimensional Structure in the Space of Language Representations is
Reflected in Brain Responses [62.197912623223964]
言語モデルと翻訳モデルは,単語の埋め込み,構文的・意味的タスク,将来的な単語埋め込みとの間を円滑に介在する低次元構造を示す。
この表現埋め込みは、各特徴空間が、fMRIを用いて記録された自然言語刺激に対する人間の脳反応にどれだけうまく対応しているかを予測することができる。
これは、埋め込みが脳の自然言語表現構造の一部を捉えていることを示唆している。
論文 参考訳(メタデータ) (2021-06-09T22:59:12Z) - Brain2Word: Decoding Brain Activity for Language Generation [14.24200473508597]
対象者からfMRIデータをデコードできるモデルを提案する。
この課題に対して,本モデルでは5.22%のTop-1と13.59%のTop-5の精度を実現している。
論文 参考訳(メタデータ) (2020-09-10T10:47:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。