論文の概要: Divergences between Language Models and Human Brains

• arxiv url: http://arxiv.org/abs/2311.09308v2
• Date: Mon, 5 Feb 2024 02:21:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-07 04:05:40.191857
• Title: Divergences between Language Models and Human Brains
• Title（参考訳）: 言語モデルと人間の脳との相違
• Authors: Yuchen Zhou, Emmy Liu, Graham Neubig, Michael J. Tarr, Leila Wehbe
• Abstract要約: 最近の研究は、言語モデルの内部表現(LM)を用いて脳信号が効果的に予測できることを示唆している。 我々は、LMと人間が言語をどのように表現し、使用するかに明確な違いがあることを示します。 我々は、社会的・情緒的知性と身体的常識という、LMによってうまく捉えられていない2つの領域を識別する。
• 参考スコア（独自算出の注目度）: 63.405788999891335
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Do machines and humans process language in similar ways? Recent research has hinted in the affirmative, finding that brain signals can be effectively predicted using the internal representations of language models (LMs). Although such results are thought to reflect shared computational principles between LMs and human brains, there are also clear differences in how LMs and humans represent and use language. In this work, we systematically explore the divergences between human and machine language processing by examining the differences between LM representations and human brain responses to language as measured by Magnetoencephalography (MEG) across two datasets in which subjects read and listened to narrative stories. Using a data-driven approach, we identify two domains that are not captured well by LMs: social/emotional intelligence and physical commonsense. We then validate these domains with human behavioral experiments and show that fine-tuning LMs on these domains can improve their alignment with human brain responses.
• Abstract（参考訳）: 機械と人間は同じような方法で言語を処理するのか? 近年の研究では、言語モデルの内部表現(LM)を用いて脳信号が効果的に予測できることが確認されている。 このような結果は、lmsと人間の脳との計算原理の共有を反映していると考えられているが、lmsと人間の言語表現や使用方法にも明確な違いがある。 本研究では,脳磁図(MEG)による言語に対するLM表現と人間の脳反応の差異を,被験者が物語を読んだり聴いたりする2つのデータセットで調べることで,人間と機械語処理の相違を系統的に検討する。 データ駆動型アプローチを用いて、LMによってうまく捉えられていない2つのドメインを識別する。 次に、これらのドメインを人間の行動実験で検証し、これらのドメイン上の微調整LMが人間の脳反応との整合性を改善することを示す。

関連論文リスト

• Lost in Translation: The Algorithmic Gap Between LMs and the Brain [8.799971499357499]
  言語モデル(LM)は、様々な言語課題において印象的な性能を達成しているが、脳内の人間の言語処理との関係は未だ不明である。 本稿では、異なるレベルの分析において、LMと脳のギャップと重複について検討する。 神経科学からの洞察(空間性、モジュール性、内部状態、インタラクティブ学習など)が、より生物学的に妥当な言語モデルの開発にどのように役立つかについて議論する。
  論文  参考訳（メタデータ） (2024-07-05T17:43:16Z)
• Brain-Like Language Processing via a Shallow Untrained Multihead Attention Network [16.317199232071232]
  大規模言語モデル(LLM)は、人間の言語システムの効果的なモデルであることが示されている。 本研究では、未学習モデルの驚くほどのアライメントを駆動する重要なアーキテクチャコンポーネントについて検討する。
  論文  参考訳（メタデータ） (2024-06-21T12:54:03Z)
• Do Large Language Models Mirror Cognitive Language Processing? [43.68923267228057]
  大規模言語モデル(LLM)は、テキスト理解と論理的推論において顕著な能力を示した。 認知科学において、脳認知処理信号は典型的には人間の言語処理を研究するために使用される。 我々はRepresentational similarity Analysis (RSA) を用いて、23個の主要LDMとfMRI信号のアライメントを測定する。
  論文  参考訳（メタデータ） (2024-02-28T03:38:20Z)
• Instruction-tuning Aligns LLMs to the Human Brain [19.450164922129723]
  命令チューニングが大規模言語モデルと人間の言語処理機構の整合性に及ぼす影響について検討する。 インストラクションチューニングは一般に脳のアライメントを高めるが、行動アライメントに類似した影響はない。 LLMにおける世界知識を符号化するメカニズムは、人間の脳への表現的アライメントを改善することも示唆している。
  論文  参考訳（メタデータ） (2023-12-01T13:31:02Z)
• The Neuro-Symbolic Inverse Planning Engine (NIPE): Modeling Probabilistic Social Inferences from Linguistic Inputs [50.32802502923367]
  確率的目標推論領域における言語駆動の過程と社会的推論への影響について検討する。 本稿では,エージェントシナリオの言語入力から目標推定を行うニューロシンボリックモデルを提案する。 我々のモデルは人間の反応パターンと密に一致し、LLM単独の使用よりも人間の判断をより良く予測する。
  論文  参考訳（メタデータ） (2023-06-25T19:38:01Z)
• Information-Restricted Neural Language Models Reveal Different Brain Regions' Sensitivity to Semantics, Syntax and Context [87.31930367845125]
  テキストコーパスを用いて語彙言語モデルGloveと超語彙言語モデルGPT-2を訓練した。 そして、これらの情報制限されたモデルが、自然主義的テキストを聴く人間のfMRI信号の時間軸を予測することができるかを評価した。 分析の結果、言語に関わるほとんどの脳領域は、構文変数と意味変数の両方に敏感であるが、これらの影響の相対的な大きさは、これらの領域で大きく異なることがわかった。
  論文  参考訳（メタデータ） (2023-02-28T08:16:18Z)
• Toward a realistic model of speech processing in the brain with self-supervised learning [67.7130239674153]
  生波形で訓練された自己教師型アルゴリズムは有望な候補である。 We show that Wav2Vec 2.0 learns brain-like representations with little as 600 hours of unlabelled speech。
  論文  参考訳（メタデータ） (2022-06-03T17:01:46Z)
• Model-based analysis of brain activity reveals the hierarchy of language in 305 subjects [82.81964713263483]
  言語の神経基盤を分解する一般的なアプローチは、個人間で異なる刺激に対する脳の反応を関連付けている。 そこで本研究では,自然刺激に曝露された被験者に対して,モデルに基づくアプローチが等価な結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-12T15:30:21Z)
• Low-Dimensional Structure in the Space of Language Representations is Reflected in Brain Responses [62.197912623223964]
  言語モデルと翻訳モデルは,単語の埋め込み,構文的・意味的タスク,将来的な単語埋め込みとの間を円滑に介在する低次元構造を示す。 この表現埋め込みは、各特徴空間が、fMRIを用いて記録された自然言語刺激に対する人間の脳反応にどれだけうまく対応しているかを予測することができる。 これは、埋め込みが脳の自然言語表現構造の一部を捉えていることを示唆している。
  論文  参考訳（メタデータ） (2021-06-09T22:59:12Z)
• Presentation and Analysis of a Multimodal Dataset for Grounded Language Learning [32.28310581819443]
  接地的な言語習得は、言語に基づく相互作用が周囲の世界をどのように参照するかを学ぶことを伴う。 実際には、学習に使用されるデータは、実際の人間のインタラクションよりもクリーンで、クリアで、文法的な傾向があります。 本稿では,話し言葉と書き言葉を併用した家庭内共通物体のデータセットについて述べる。
  論文  参考訳（メタデータ） (2020-07-29T17:58:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。