論文の概要: Coupling Artificial Neurons in BERT and Biological Neurons in the Human
Brain
- arxiv url: http://arxiv.org/abs/2303.14871v1
- Date: Mon, 27 Mar 2023 01:41:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-28 17:03:32.192025
- Title: Coupling Artificial Neurons in BERT and Biological Neurons in the Human
Brain
- Title(参考訳): ヒト脳のbertニューロンと生体ニューロンにおける人工ニューロンの結合
- Authors: Xu Liu, Mengyue Zhou, Gaosheng Shi, Yu Du, Lin Zhao, Zihao Wu, David
Liu, Tianming Liu, Xintao Hu
- Abstract要約: 本研究は,トランスフォーマーに基づくNLPモデルと言語に対する神経活動をリンクする,新しい,汎用的で効果的なフレームワークを提案する。
実験の結果,(1)ANsとBNsの活性化は有意に同期し,(2)ANsは意味のある言語/意味情報を持ち,BNシグネチャにアンカーし,(3)アンカーされたBNは神経言語学的文脈で解釈可能であることがわかった。
- 参考スコア(独自算出の注目度): 9.916033214833407
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Linking computational natural language processing (NLP) models and neural
responses to language in the human brain on the one hand facilitates the effort
towards disentangling the neural representations underpinning language
perception, on the other hand provides neurolinguistics evidence to evaluate
and improve NLP models. Mappings of an NLP model's representations of and the
brain activities evoked by linguistic input are typically deployed to reveal
this symbiosis. However, two critical problems limit its advancement: 1) The
model's representations (artificial neurons, ANs) rely on layer-level
embeddings and thus lack fine-granularity; 2) The brain activities (biological
neurons, BNs) are limited to neural recordings of isolated cortical unit (i.e.,
voxel/region) and thus lack integrations and interactions among brain
functions. To address those problems, in this study, we 1) define ANs with
fine-granularity in transformer-based NLP models (BERT in this study) and
measure their temporal activations to input text sequences; 2) define BNs as
functional brain networks (FBNs) extracted from functional magnetic resonance
imaging (fMRI) data to capture functional interactions in the brain; 3) couple
ANs and BNs by maximizing the synchronization of their temporal activations.
Our experimental results demonstrate 1) The activations of ANs and BNs are
significantly synchronized; 2) the ANs carry meaningful linguistic/semantic
information and anchor to their BN signatures; 3) the anchored BNs are
interpretable in a neurolinguistic context. Overall, our study introduces a
novel, general, and effective framework to link transformer-based NLP models
and neural activities in response to language and may provide novel insights
for future studies such as brain-inspired evaluation and development of NLP
models.
- Abstract(参考訳): 計算自然言語処理(NLP)モデルと人間の脳内の言語へのニューラルレスポンスのリンクは、言語知覚の根底にある神経表現を遠ざけるための努力を促進する一方で、NLPモデルの評価と改善のための神経言語学的証拠を提供する。
NLPモデルの表現と言語入力によって誘発される脳活動のマッピングは通常、この共生を明らかにするために配置される。
しかし、2つの重大な問題が進行を制限する。
1)モデルの表現(人工ニューロン,ANs)は層レベルの埋め込みに依存しているので,粒度を欠く。
2)脳活動(生体ニューロン、BN)は、孤立した皮質単位(すなわちボクセル/領域)の神経記録に限られており、脳機能間の結合や相互作用が欠如している。
これらの問題に対処するために この研究では
1) 変換器ベースNLPモデル(BERT)における粒度の細かいANを定義し、その時間的アクティベーションを入力テキストシーケンスに測定する。
2) BNを、機能的磁気共鳴画像(fMRI)データから抽出された機能的脳ネットワーク(FBN)として定義し、脳内の機能的相互作用を捉える。
3) 時間的活性化の同期を最大化することによりANとBNを結合する。
私たちの実験結果が示す
1) ANとBNの活性化は著しく同期している。
2 ANは、有意義な言語/意味情報を持ち、BN署名に固執する。
3)アンカーされたBNは神経言語学的文脈で解釈できる。
本研究は,言語に応答してトランスフォーマーに基づくNLPモデルとニューラルアクティビティをリンクする,新しい,汎用的で効果的なフレームワークを導入し,脳にインスパイアされたNLPモデルの評価や開発などの今後の研究に新たな洞察を与える可能性がある。
関連論文リスト
- Towards a Foundation Model for Brain Age Prediction using coVariance
Neural Networks [102.75954614946258]
時間的年齢に関する脳年齢の増加は、神経変性と認知低下に対する脆弱性の増加を反映している。
NeuroVNNは、時系列年齢を予測するために、健康な人口の回帰モデルとして事前訓練されている。
NeuroVNNは、脳の年齢に解剖学的解釈性を加え、任意の脳のアトラスに従って計算されたデータセットへの転移を可能にする「スケールフリー」特性を持つ。
論文 参考訳(メタデータ) (2024-02-12T14:46:31Z) - Tuning In to Neural Encoding: Linking Human Brain and Artificial
Supervised Representations of Language [31.636016502455693]
我々は,プロンプトチューニングを用いた8つの自然言語理解(NLU)タスクの教師付き表現を生成する。
従来の微調整よりも、中国の刺激に対する神経反応をより正確に予測する表現が、プロンプトチューニングによって得られることを示す。
論文 参考訳(メタデータ) (2023-10-05T06:31:01Z) - Deep Learning Models to Study Sentence Comprehension in the Human Brain [0.1503974529275767]
自然言語を処理する最近の人工ニューラルネットワークは、文レベルの理解を必要とするタスクにおいて、前例のないパフォーマンスを達成する。
我々は、これらの人工言語モデルと人間の脳活動を比較する研究をレビューし、このアプローチが自然言語理解に関わる神経プロセスの理解をいかに改善したかを評価する。
論文 参考訳(メタデータ) (2023-01-16T10:31:25Z) - Constraints on the design of neuromorphic circuits set by the properties
of neural population codes [61.15277741147157]
脳内では、情報はコード化され、伝達され、行動を伝えるために使用される。
ニューロモルフィック回路は、脳内のニューロンの集団が使用するものと互換性のある方法で情報を符号化する必要がある。
論文 参考訳(メタデータ) (2022-12-08T15:16:04Z) - Neural Language Models are not Born Equal to Fit Brain Data, but
Training Helps [75.84770193489639]
音声ブックを聴く被験者の機能的磁気共鳴イメージングの時間軸予測に及ぼすテスト損失,トレーニングコーパス,モデルアーキテクチャの影響について検討した。
各モデルの訓練されていないバージョンは、同じ単語をまたいだ脳反応の類似性を捉えることで、脳内のかなりの量のシグナルをすでに説明していることがわかりました。
ニューラル言語モデルを用いたヒューマン・ランゲージ・システムの説明を目的とした今後の研究の実践を提案する。
論文 参考訳(メタデータ) (2022-07-07T15:37:17Z) - Discovering Salient Neurons in Deep NLP Models [31.18937787704794]
本稿では,モデル内のサルエントニューロンを抽出する言語相関解析法を提案する。
我々のデータ駆動量分析は興味深い発見を照らす。
我々のコードはNeuroXツールキットの一部として公開されています。
論文 参考訳(メタデータ) (2022-06-27T13:31:49Z) - Coupling Visual Semantics of Artificial Neural Networks and Human Brain
Function via Synchronized Activations [13.956089436100106]
本稿では,ANNとBNNの視覚的表現空間と意味を結合する新しい計算フレームワーク,Sync-ACTを提案する。
このアプローチにより、人間の脳画像から生物学的に意味のある記述を導き、ANNのニューロンに意味論的に注釈を付けることができる。
論文 参考訳(メタデータ) (2022-06-22T03:32:17Z) - Functional2Structural: Cross-Modality Brain Networks Representation
Learning [55.24969686433101]
脳ネットワーク上のグラフマイニングは、臨床表現型および神経変性疾患のための新しいバイオマーカーの発見を促進する可能性がある。
本稿では,Deep Signed Brain Networks (DSBN) と呼ばれる新しいグラフ学習フレームワークを提案する。
臨床表現型および神経変性疾患予測の枠組みを,2つの独立した公開データセットを用いて検証した。
論文 参考訳(メタデータ) (2022-05-06T03:45:36Z) - Overcoming the Domain Gap in Contrastive Learning of Neural Action
Representations [60.47807856873544]
神経科学の基本的な目標は、神経活動と行動の関係を理解することである。
我々は,ハエが自然に生み出す行動からなる新しいマルチモーダルデータセットを作成した。
このデータセットと新しい拡張セットは、神経科学における自己教師あり学習手法の適用を加速することを約束します。
論文 参考訳(メタデータ) (2021-11-29T15:27:51Z) - Compositional Explanations of Neurons [52.71742655312625]
本稿では, 合成論理的概念を同定し, 深部表現におけるニューロンの説明手順について述べる。
本稿では,視覚と自然言語処理のモデルにおける解釈可能性に関するいくつかの疑問に答えるために,この手順を用いる。
論文 参考訳(メタデータ) (2020-06-24T20:37:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。