論文の概要: From Language to Language-ish: How Brain-Like is an LSTM's Representation of Nonsensical Language Stimuli?

• arxiv url: http://arxiv.org/abs/2010.07435v1
• Date: Wed, 14 Oct 2020 23:26:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-07 12:34:35.710739
• Title: From Language to Language-ish: How Brain-Like is an LSTM's Representation of Nonsensical Language Stimuli?
• Title（参考訳）: 言語から言語へ:LSTMの非意味言語刺激表現はどのように脳様か?
• Authors: Maryam Hashemzadeh, Greta Kaufeld, Martha White, Andrea E. Martin, Alona Fyshe
• Abstract要約: ある種の非感覚言語であっても、脳の活動とLSTMの表現の間に統計的に有意な相関があることが示される。 これは、少なくともいくつかのケースでは、LSTMとヒトの脳が同様に非感覚的なデータを処理していることを示している。
• 参考スコア（独自算出の注目度）: 22.69147219357502
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The representations generated by many models of language (word embeddings, recurrent neural networks and transformers) correlate to brain activity recorded while people read. However, these decoding results are usually based on the brain's reaction to syntactically and semantically sound language stimuli. In this study, we asked: how does an LSTM (long short term memory) language model, trained (by and large) on semantically and syntactically intact language, represent a language sample with degraded semantic or syntactic information? Does the LSTM representation still resemble the brain's reaction? We found that, even for some kinds of nonsensical language, there is a statistically significant relationship between the brain's activity and the representations of an LSTM. This indicates that, at least in some instances, LSTMs and the human brain handle nonsensical data similarly.
• Abstract（参考訳）: 多くの言語モデル(単語埋め込み、ニューラルネットワーク、トランスフォーマー)によって生成された表現は、人々が読んでいる間に記録された脳の活動と相関する。 しかしながら、これらの復号結果は、通常、脳の構文的および意味論的に音声言語刺激に対する反応に基づいている。 本研究では,LSTM(長期記憶)言語モデルにおいて,意味的・構文的に無意味な言語を訓練し,意味的・統語的情報を劣化させた言語サンプルをどう表現するかを問う。 LSTM表現は、まだ脳の反応に似ているか? 我々は、ある種の非感覚言語であっても、脳の活動とLSTMの表現との間に統計的に有意な関係があることを発見した。 これは、少なくともいくつかのケースでは、LSTMとヒトの脳が同様に非感覚的なデータを処理していることを示している。

関連論文リスト

• Brain-Like Language Processing via a Shallow Untrained Multihead Attention Network [16.317199232071232]
  大規模言語モデル(LLM)は、人間の言語システムの効果的なモデルであることが示されている。 本研究では、未学習モデルの驚くほどのアライメントを駆動する重要なアーキテクチャコンポーネントについて検討する。
  論文  参考訳（メタデータ） (2024-06-21T12:54:03Z)
• Sharing Matters: Analysing Neurons Across Languages and Tasks in LLMs [70.3132264719438]
  我々は,タスクや言語間でニューロンの活性化がどのように共有されるかを調べることで,研究ギャップを埋めることを目指している。 我々は、異なる言語にまたがる特定の入力に対する応答に基づいて、ニューロンを4つの異なるカテゴリに分類する。 分析の結果, (i) ニューロン共有のパターンはタスクや例の特徴に大きく影響され, (ii) ニューロン共有は言語類似性に完全には対応しない, (iii) 共有ニューロンは応答の生成において重要な役割を担っている。
  論文  参考訳（メタデータ） (2024-06-13T16:04:11Z)
• What Are Large Language Models Mapping to in the Brain? A Case Against Over-Reliance on Brain Scores [1.8175282137722093]
  大規模言語モデル(LLM)の内部表現は最先端の脳スコアを達成し、人間の言語処理と計算原理を共有するという憶測に繋がる。 本稿では、LLM-to-Brainマッピングに関する衝撃的な研究で使用される3つのニューラルデータセットを分析し、参加者が短いパスを読み取るfMRIデータセットに特に焦点をあてる。 このデータセット上で訓練されたLLMの脳のスコアは、文の長さ、位置、代名詞による単語の埋め込みによって大きく説明できる。
  論文  参考訳（メタデータ） (2024-06-03T17:13:27Z)
• Do Large Language Models Mirror Cognitive Language Processing? [43.68923267228057]
  大規模言語モデル(LLM)は、テキスト理解と論理的推論において顕著な能力を示した。 認知科学において、脳認知処理信号は典型的には人間の言語処理を研究するために使用される。 我々はRepresentational similarity Analysis (RSA) を用いて、23個の主要LDMとfMRI信号のアライメントを測定する。
  論文  参考訳（メタデータ） (2024-02-28T03:38:20Z)
• Language Generation from Brain Recordings [68.97414452707103]
  本稿では,大言語モデルと意味脳デコーダの容量を利用した生成言語BCIを提案する。 提案モデルでは,視覚的・聴覚的言語刺激のセマンティック内容に整合したコヒーレントな言語系列を生成することができる。 本研究は,直接言語生成におけるBCIの活用の可能性と可能性を示すものである。
  論文  参考訳（メタデータ） (2023-11-16T13:37:21Z)
• Divergences between Language Models and Human Brains [63.405788999891335]
  最近の研究は、言語モデルの内部表現(LM)を用いて脳信号が効果的に予測できることを示唆している。 我々は、LMと人間が言語をどのように表現し、使用するかに明確な違いがあることを示します。 我々は、社会的・情緒的知性と身体的常識という、LMによってうまく捉えられていない2つの領域を識別する。
  論文  参考訳（メタデータ） (2023-11-15T19:02:40Z)
• Information-Restricted Neural Language Models Reveal Different Brain Regions' Sensitivity to Semantics, Syntax and Context [87.31930367845125]
  テキストコーパスを用いて語彙言語モデルGloveと超語彙言語モデルGPT-2を訓練した。 そして、これらの情報制限されたモデルが、自然主義的テキストを聴く人間のfMRI信号の時間軸を予測することができるかを評価した。 分析の結果、言語に関わるほとんどの脳領域は、構文変数と意味変数の両方に敏感であるが、これらの影響の相対的な大きさは、これらの領域で大きく異なることがわかった。
  論文  参考訳（メタデータ） (2023-02-28T08:16:18Z)
• Model-based analysis of brain activity reveals the hierarchy of language in 305 subjects [82.81964713263483]
  言語の神経基盤を分解する一般的なアプローチは、個人間で異なる刺激に対する脳の反応を関連付けている。 そこで本研究では,自然刺激に曝露された被験者に対して,モデルに基づくアプローチが等価な結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-12T15:30:21Z)
• Low-Dimensional Structure in the Space of Language Representations is Reflected in Brain Responses [62.197912623223964]
  言語モデルと翻訳モデルは,単語の埋め込み,構文的・意味的タスク,将来的な単語埋め込みとの間を円滑に介在する低次元構造を示す。 この表現埋め込みは、各特徴空間が、fMRIを用いて記録された自然言語刺激に対する人間の脳反応にどれだけうまく対応しているかを予測することができる。 これは、埋め込みが脳の自然言語表現構造の一部を捉えていることを示唆している。
  論文  参考訳（メタデータ） (2021-06-09T22:59:12Z)
• Compositional Neural Machine Translation by Removing the Lexicon from Syntax [2.3511835665294765]
  意味論と神経科学の理論は、完全な単語の意味は構文の表現にエンコードされていないと主張している。 LSTMエンコーダとデコーダにこの制約を強制できるニューラルユニットを提案する。
  論文  参考訳（メタデータ） (2020-02-06T18:51:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。