論文の概要: Coupling Artificial Neurons in BERT and Biological Neurons in the Human Brain

• arxiv url: http://arxiv.org/abs/2303.14871v1
• Date: Mon, 27 Mar 2023 01:41:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-28 17:03:32.192025
• Title: Coupling Artificial Neurons in BERT and Biological Neurons in the Human Brain
• Title（参考訳）: ヒト脳のbertニューロンと生体ニューロンにおける人工ニューロンの結合
• Authors: Xu Liu, Mengyue Zhou, Gaosheng Shi, Yu Du, Lin Zhao, Zihao Wu, David Liu, Tianming Liu, Xintao Hu
• Abstract要約: 本研究は,トランスフォーマーに基づくNLPモデルと言語に対する神経活動をリンクする,新しい,汎用的で効果的なフレームワークを提案する。 実験の結果,(1)ANsとBNsの活性化は有意に同期し,(2)ANsは意味のある言語/意味情報を持ち,BNシグネチャにアンカーし,(3)アンカーされたBNは神経言語学的文脈で解釈可能であることがわかった。
• 参考スコア（独自算出の注目度）: 9.916033214833407
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Linking computational natural language processing (NLP) models and neural responses to language in the human brain on the one hand facilitates the effort towards disentangling the neural representations underpinning language perception, on the other hand provides neurolinguistics evidence to evaluate and improve NLP models. Mappings of an NLP model's representations of and the brain activities evoked by linguistic input are typically deployed to reveal this symbiosis. However, two critical problems limit its advancement: 1) The model's representations (artificial neurons, ANs) rely on layer-level embeddings and thus lack fine-granularity; 2) The brain activities (biological neurons, BNs) are limited to neural recordings of isolated cortical unit (i.e., voxel/region) and thus lack integrations and interactions among brain functions. To address those problems, in this study, we 1) define ANs with fine-granularity in transformer-based NLP models (BERT in this study) and measure their temporal activations to input text sequences; 2) define BNs as functional brain networks (FBNs) extracted from functional magnetic resonance imaging (fMRI) data to capture functional interactions in the brain; 3) couple ANs and BNs by maximizing the synchronization of their temporal activations. Our experimental results demonstrate 1) The activations of ANs and BNs are significantly synchronized; 2) the ANs carry meaningful linguistic/semantic information and anchor to their BN signatures; 3) the anchored BNs are interpretable in a neurolinguistic context. Overall, our study introduces a novel, general, and effective framework to link transformer-based NLP models and neural activities in response to language and may provide novel insights for future studies such as brain-inspired evaluation and development of NLP models.
• Abstract（参考訳）: 計算自然言語処理(NLP)モデルと人間の脳内の言語へのニューラルレスポンスのリンクは、言語知覚の根底にある神経表現を遠ざけるための努力を促進する一方で、NLPモデルの評価と改善のための神経言語学的証拠を提供する。 NLPモデルの表現と言語入力によって誘発される脳活動のマッピングは通常、この共生を明らかにするために配置される。 しかし、2つの重大な問題が進行を制限する。 1)モデルの表現(人工ニューロン,ANs)は層レベルの埋め込みに依存しているので,粒度を欠く。 2)脳活動(生体ニューロン、BN)は、孤立した皮質単位(すなわちボクセル/領域)の神経記録に限られており、脳機能間の結合や相互作用が欠如している。 これらの問題に対処するために この研究では 1) 変換器ベースNLPモデル(BERT)における粒度の細かいANを定義し、その時間的アクティベーションを入力テキストシーケンスに測定する。 2) BNを、機能的磁気共鳴画像(fMRI)データから抽出された機能的脳ネットワーク(FBN)として定義し、脳内の機能的相互作用を捉える。 3) 時間的活性化の同期を最大化することによりANとBNを結合する。 私たちの実験結果が示す 1) ANとBNの活性化は著しく同期している。 2 ANは、有意義な言語/意味情報を持ち、BN署名に固執する。 3)アンカーされたBNは神経言語学的文脈で解釈できる。 本研究は,言語に応答してトランスフォーマーに基づくNLPモデルとニューラルアクティビティをリンクする,新しい,汎用的で効果的なフレームワークを導入し,脳にインスパイアされたNLPモデルの評価や開発などの今後の研究に新たな洞察を与える可能性がある。

関連論文リスト

• Brain-like Functional Organization within Large Language Models [58.93629121400745]
  人間の脳は長い間人工知能(AI)の追求にインスピレーションを与えてきた 最近のニューロイメージング研究は、人工ニューラルネットワーク(ANN)の計算的表現と、人間の脳の刺激に対する神経反応との整合性の説得力のある証拠を提供する。 本研究では、人工ニューロンのサブグループと機能的脳ネットワーク(FBN)を直接結合することで、このギャップを埋める。 このフレームワークはANサブグループをFBNにリンクし、大きな言語モデル(LLM)内で脳に似た機能的組織を記述できる。
  論文  参考訳（メタデータ） (2024-10-25T13:15:17Z)
• Unveiling Language Competence Neurons: A Psycholinguistic Approach to Model Interpretability [2.672177830116334]
  本研究では,3つの課題にまたがる言語モデルにおけるニューロンレベルの表現について,心理言語学的パラダイムを用いて検討する。 以上の結果から,GPT-2-XLは音形課題に苦しむ一方で,音性関連と暗黙の因果性の両方において,人間のような能力を示すことが示唆された。
  論文  参考訳（メタデータ） (2024-09-24T07:40:33Z)
• Large Language Model-based FMRI Encoding of Language Functions for Subjects with Neurocognitive Disorder [53.575426835313536]
  LLMを用いたfMRIエンコーディングと脳のスコアを用いた高齢者の言語関連機能変化について検討する。 脳のスコアと認知スコアの相関関係を脳全体のROIと言語関連ROIの両方で分析した。 以上の結果から,認知能力の向上は,中側頭回に有意な相関がみられた。
  論文  参考訳（メタデータ） (2024-07-15T01:09:08Z)
• Enhancing learning in spiking neural networks through neuronal heterogeneity and neuromodulatory signaling [52.06722364186432]
  人工ニューラルネットワーク(ANN)の強化のための生物学的インフォームドフレームワークを提案する。 提案したデュアルフレームアプローチは、多様なスパイキング動作をエミュレートするためのスパイキングニューラルネットワーク(SNN)の可能性を強調している。 提案手法は脳にインスパイアされたコンパートメントモデルとタスク駆動型SNN, バイオインスピレーション, 複雑性を統合している。
  論文  参考訳（メタデータ） (2024-07-05T14:11:28Z)
• Sharing Matters: Analysing Neurons Across Languages and Tasks in LLMs [70.3132264719438]
  我々は,タスクや言語間でニューロンの活性化がどのように共有されるかを調べることで,研究ギャップを埋めることを目指している。 我々は、異なる言語にまたがる特定の入力に対する応答に基づいて、ニューロンを4つの異なるカテゴリに分類する。 分析の結果, (i) ニューロン共有のパターンはタスクや例の特徴に大きく影響され, (ii) ニューロン共有は言語類似性に完全には対応しない, (iii) 共有ニューロンは応答の生成において重要な役割を担っている。
  論文  参考訳（メタデータ） (2024-06-13T16:04:11Z)
• Constraints on the design of neuromorphic circuits set by the properties of neural population codes [61.15277741147157]
  脳内では、情報はコード化され、伝達され、行動を伝えるために使用される。 ニューロモルフィック回路は、脳内のニューロンの集団が使用するものと互換性のある方法で情報を符号化する必要がある。
  論文  参考訳（メタデータ） (2022-12-08T15:16:04Z)
• Neural Language Models are not Born Equal to Fit Brain Data, but Training Helps [75.84770193489639]
  音声ブックを聴く被験者の機能的磁気共鳴イメージングの時間軸予測に及ぼすテスト損失,トレーニングコーパス,モデルアーキテクチャの影響について検討した。 各モデルの訓練されていないバージョンは、同じ単語をまたいだ脳反応の類似性を捉えることで、脳内のかなりの量のシグナルをすでに説明していることがわかりました。 ニューラル言語モデルを用いたヒューマン・ランゲージ・システムの説明を目的とした今後の研究の実践を提案する。
  論文  参考訳（メタデータ） (2022-07-07T15:37:17Z)
• Coupling Visual Semantics of Artificial Neural Networks and Human Brain Function via Synchronized Activations [13.956089436100106]
  本稿では,ANNとBNNの視覚的表現空間と意味を結合する新しい計算フレームワーク,Sync-ACTを提案する。 このアプローチにより、人間の脳画像から生物学的に意味のある記述を導き、ANNのニューロンに意味論的に注釈を付けることができる。
  論文  参考訳（メタデータ） (2022-06-22T03:32:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。