論文の概要: Unveiling Language Competence Neurons: A Psycholinguistic Approach to Model Interpretability

• arxiv url: http://arxiv.org/abs/2409.15827v1
• Date: Tue, 24 Sep 2024 07:40:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-26 08:31:23.281771
• Title: Unveiling Language Competence Neurons: A Psycholinguistic Approach to Model Interpretability
• Title（参考訳）: 解答言語能力ニューロン : モデル解釈可能性に対する心理言語学的アプローチ
• Authors: Xufeng Duan, Xinyu Zhou, Bei Xiao, Zhenguang G. Cai,
• Abstract要約: 本研究では,3つの課題にまたがる言語モデルにおけるニューロンレベルの表現について,心理言語学的パラダイムを用いて検討する。 以上の結果から,GPT-2-XLは音形課題に苦しむ一方で,音性関連と暗黙の因果性の両方において,人間のような能力を示すことが示唆された。
• 参考スコア（独自算出の注目度）: 2.672177830116334
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As large language models (LLMs) become advance in their linguistic capacity, understanding how they capture aspects of language competence remains a significant challenge. This study therefore employs psycholinguistic paradigms, which are well-suited for probing deeper cognitive aspects of language processing, to explore neuron-level representations in language model across three tasks: sound-shape association, sound-gender association, and implicit causality. Our findings indicate that while GPT-2-XL struggles with the sound-shape task, it demonstrates human-like abilities in both sound-gender association and implicit causality. Targeted neuron ablation and activation manipulation reveal a crucial relationship: when GPT-2-XL displays a linguistic ability, specific neurons correspond to that competence; conversely, the absence of such an ability indicates a lack of specialized neurons. This study is the first to utilize psycholinguistic experiments to investigate deep language competence at the neuron level, providing a new level of granularity in model interpretability and insights into the internal mechanisms driving language ability in transformer based LLMs.
• Abstract（参考訳）: 大きな言語モデル(LLM)が言語能力に進歩するにつれて、言語能力の面をいかに捉えるかを理解することは大きな課題である。 そこで本研究では,言語処理の深い認知的側面の探索に適した心理言語学のパラダイムを用いて,音形アソシエーション,音性アソシエーション,暗黙の因果関係という3つのタスクにわたって,言語モデルにおけるニューロンレベルの表現を探索する。 以上の結果から,GPT-2-XLは音形課題に苦しむ一方で,音性関連と暗黙の因果性の両方において人間のような能力を示すことが示唆された。 GPT-2-XLが言語能力を示すとき、特定のニューロンはその能力に対応する。 本研究は、神経レベルでの深い言語能力の研究に心理言語学的実験を初めて利用し、モデル解釈可能性の新たなレベルと、トランスフォーマーに基づくLLMにおける言語能力を促進する内部メカニズムに関する洞察を提供する。

関連論文リスト

• Brain-like Functional Organization within Large Language Models [58.93629121400745]
  人間の脳は長い間人工知能(AI)の追求にインスピレーションを与えてきた 最近のニューロイメージング研究は、人工ニューラルネットワーク(ANN)の計算的表現と、人間の脳の刺激に対する神経反応との整合性の説得力のある証拠を提供する。 本研究では、人工ニューロンのサブグループと機能的脳ネットワーク(FBN)を直接結合することで、このギャップを埋める。 このフレームワークはANサブグループをFBNにリンクし、大きな言語モデル(LLM)内で脳に似た機能的組織を記述できる。
  論文  参考訳（メタデータ） (2024-10-25T13:15:17Z)
• Large Language Model-based FMRI Encoding of Language Functions for Subjects with Neurocognitive Disorder [53.575426835313536]
  LLMを用いたfMRIエンコーディングと脳のスコアを用いた高齢者の言語関連機能変化について検討する。 脳のスコアと認知スコアの相関関係を脳全体のROIと言語関連ROIの両方で分析した。 以上の結果から,認知能力の向上は,中側頭回に有意な相関がみられた。
  論文  参考訳（メタデータ） (2024-07-15T01:09:08Z)
• Sharing Matters: Analysing Neurons Across Languages and Tasks in LLMs [70.3132264719438]
  我々は,タスクや言語間でニューロンの活性化がどのように共有されるかを調べることで,研究ギャップを埋めることを目指している。 我々は、異なる言語にまたがる特定の入力に対する応答に基づいて、ニューロンを4つの異なるカテゴリに分類する。 分析の結果, (i) ニューロン共有のパターンはタスクや例の特徴に大きく影響され, (ii) ニューロン共有は言語類似性に完全には対応しない, (iii) 共有ニューロンは応答の生成において重要な役割を担っている。
  論文  参考訳（メタデータ） (2024-06-13T16:04:11Z)
• Neural Erosion: Emulating Controlled Neurodegeneration and Aging in AI Systems [5.720259826430462]
  我々は、Large Language Models (LLMs) によるIQテストを使用して、神経浸食の概念を導入する。 この意図的な浸食は、シナプスやニューロンを非難すること、または訓練中または訓練後にガウスノイズを付加することを含み、LSMの性能は制御的に低下する。 私たちの知る限りでは、コンピュータビジョン領域で動作する他の研究と比べて、神経変性をテキストデータでモデル化する最初の研究である。
  論文  参考訳（メタデータ） (2024-03-15T18:00:00Z)
• Do self-supervised speech and language models extract similar representations as human brain? [2.390915090736061]
  自己教師付き学習(SSL)によって訓練された音声と言語モデルは、音声と言語知覚の間の脳活動と強い整合性を示す。 我々は2つの代表的なSSLモデルであるWav2Vec2.0とGPT-2の脳波予測性能を評価した。
  論文  参考訳（メタデータ） (2023-10-07T01:39:56Z)
• Coupling Artificial Neurons in BERT and Biological Neurons in the Human Brain [9.916033214833407]
  本研究は,トランスフォーマーに基づくNLPモデルと言語に対する神経活動をリンクする,新しい,汎用的で効果的なフレームワークを提案する。 実験の結果,(1)ANsとBNsの活性化は有意に同期し,(2)ANsは意味のある言語/意味情報を持ち,BNシグネチャにアンカーし,(3)アンカーされたBNは神経言語学的文脈で解釈可能であることがわかった。
  論文  参考訳（メタデータ） (2023-03-27T01:41:48Z)
• Dissociating language and thought in large language models [52.39241645471213]
  大規模言語モデル(LLM)は、人間の言語を習得する上で、今までに最も近いモデルである。 我々は、この区別を人間の神経科学に根ざし、形式的、機能的な能力は異なる神経機構に依存していることを示した。 LLMは形式的能力は驚くほど優れているが、機能的能力のタスクにおける性能はいまだに不明瞭である。
  論文  参考訳（メタデータ） (2023-01-16T22:41:19Z)
• Neural Language Models are not Born Equal to Fit Brain Data, but Training Helps [75.84770193489639]
  音声ブックを聴く被験者の機能的磁気共鳴イメージングの時間軸予測に及ぼすテスト損失,トレーニングコーパス,モデルアーキテクチャの影響について検討した。 各モデルの訓練されていないバージョンは、同じ単語をまたいだ脳反応の類似性を捉えることで、脳内のかなりの量のシグナルをすでに説明していることがわかりました。 ニューラル言語モデルを用いたヒューマン・ランゲージ・システムの説明を目的とした今後の研究の実践を提案する。
  論文  参考訳（メタデータ） (2022-07-07T15:37:17Z)
• Toward a realistic model of speech processing in the brain with self-supervised learning [67.7130239674153]
  生波形で訓練された自己教師型アルゴリズムは有望な候補である。 We show that Wav2Vec 2.0 learns brain-like representations with little as 600 hours of unlabelled speech。
  論文  参考訳（メタデータ） (2022-06-03T17:01:46Z)
• Does injecting linguistic structure into language models lead to better alignment with brain recordings? [13.880819301385854]
  言語モデルと脳記録との整合性は,構文的あるいは意味論的フォーマリズムからのアノテーションに偏りがある場合と評価する。 提案手法は,脳内の意味の組成について,より標的となる仮説の評価を可能にする。
  論文  参考訳（メタデータ） (2021-01-29T14:42:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。