論文の概要: Joint processing of linguistic properties in brains and language models

• arxiv url: http://arxiv.org/abs/2212.08094v2
• Date: Wed, 8 Nov 2023 16:41:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-09 20:28:25.298878
• Title: Joint processing of linguistic properties in brains and language models
• Title（参考訳）: 脳と言語モデルにおける言語特性の協調処理
• Authors: Subba Reddy Oota, Manish Gupta, Mariya Toneva
• Abstract要約: 人間の脳と言語モデルによる言語情報の詳細な処理の対応について検討する。 特定の言語特性の除去は脳のアライメントを著しく低下させる。 これらの知見は、脳と言語モデルとの整合における特定の言語情報の役割の明確な証拠である。
• 参考スコア（独自算出の注目度）: 14.997785690790032
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models have been shown to be very effective in predicting brain recordings of subjects experiencing complex language stimuli. For a deeper understanding of this alignment, it is important to understand the correspondence between the detailed processing of linguistic information by the human brain versus language models. We investigate this correspondence via a direct approach, in which we eliminate information related to specific linguistic properties in the language model representations and observe how this intervention affects the alignment with fMRI brain recordings obtained while participants listened to a story. We investigate a range of linguistic properties (surface, syntactic, and semantic) and find that the elimination of each one results in a significant decrease in brain alignment. Specifically, we find that syntactic properties (i.e. Top Constituents and Tree Depth) have the largest effect on the trend of brain alignment across model layers. These findings provide clear evidence for the role of specific linguistic information in the alignment between brain and language models, and open new avenues for mapping the joint information processing in both systems. We make the code publicly available [https://github.com/subbareddy248/linguistic-properties-brain-alignment].
• Abstract（参考訳）: 言語モデルは、複雑な言語刺激を受ける被験者の脳記録を予測するのに非常に効果的であることが示されている。 このアライメントをより深く理解するには、人間の脳による言語情報の詳細な処理と言語モデルとの対応を理解することが重要である。 本研究では,言語モデル表現における特定の言語特性に関する情報を排除し,参加者が物語を聴きながら得られたfMRI脳波記録とのアライメントにどのように影響するかを観察する。 言語特性(表層,統語論,意味論)について検討し,各言語特性の除去によって脳のアライメントが著しく低下することを確認した。 具体的には,モデル層間における脳アライメントの傾向において,構文的特性(トップ成分とツリー深さ)が最も大きいことが判明した。 これらの知見は、脳と言語モデルのアライメントにおける特定の言語情報の役割を明確に示し、両方のシステムにおける統合情報処理をマッピングするための新しい道を開く。 コードを公開しています [https://github.com/subbareddy248/linguistic-properties-brain-alignment]。

関連論文リスト

• Brain-Like Language Processing via a Shallow Untrained Multihead Attention Network [16.317199232071232]
  大規模言語モデル(LLM)は、人間の言語システムの効果的なモデルであることが示されている。 本研究では、未学習モデルの驚くほどのアライメントを駆動する重要なアーキテクチャコンポーネントについて検討する。
  論文  参考訳（メタデータ） (2024-06-21T12:54:03Z)
• Causal Graph in Language Model Rediscovers Cortical Hierarchy in Human Narrative Processing [0.0]
  これまでの研究では、言語モデルの特徴がfMRI脳活動にマッピングできることが示されている。 これは、言語モデルにおける情報処理と人間の脳の間に共通点があるのだろうか? 言語モデルにおける情報フローパターンを推定するために,異なる層間の因果関係について検討した。
  論文  参考訳（メタデータ） (2023-11-17T10:09:12Z)
• Language Generation from Brain Recordings [68.97414452707103]
  本稿では,大言語モデルと意味脳デコーダの容量を利用した生成言語BCIを提案する。 提案モデルでは,視覚的・聴覚的言語刺激のセマンティック内容に整合したコヒーレントな言語系列を生成することができる。 本研究は,直接言語生成におけるBCIの活用の可能性と可能性を示すものである。
  論文  参考訳（メタデータ） (2023-11-16T13:37:21Z)
• Information-Restricted Neural Language Models Reveal Different Brain Regions' Sensitivity to Semantics, Syntax and Context [87.31930367845125]
  テキストコーパスを用いて語彙言語モデルGloveと超語彙言語モデルGPT-2を訓練した。 そして、これらの情報制限されたモデルが、自然主義的テキストを聴く人間のfMRI信号の時間軸を予測することができるかを評価した。 分析の結果、言語に関わるほとんどの脳領域は、構文変数と意味変数の両方に敏感であるが、これらの影響の相対的な大きさは、これらの領域で大きく異なることがわかった。
  論文  参考訳（メタデータ） (2023-02-28T08:16:18Z)
• Training language models for deeper understanding improves brain alignment [5.678337324555035]
  言語を深く理解するシステムの構築は、自然言語処理(NLP)の中心的な目標の1つである。 より深い物語理解のための学習言語モデルにより、より豊かな表現が可能となり、人間の脳活動との整合性が向上したことを示す。
  論文  参考訳（メタデータ） (2022-12-21T10:15:19Z)
• Model-based analysis of brain activity reveals the hierarchy of language in 305 subjects [82.81964713263483]
  言語の神経基盤を分解する一般的なアプローチは、個人間で異なる刺激に対する脳の反応を関連付けている。 そこで本研究では,自然刺激に曝露された被験者に対して,モデルに基づくアプローチが等価な結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-12T15:30:21Z)
• A Massively Multilingual Analysis of Cross-linguality in Shared Embedding Space [61.18554842370824]
  言語間モデルでは、多くの異なる言語に対する表現は同じ空間に存在している。 我々は,bitext検索性能の形式で,言語間アライメントのタスクベース尺度を計算した。 我々はこれらのアライメント指標の潜在的な予測因子として言語的、準言語的、および訓練関連の特徴について検討する。
  論文  参考訳（メタデータ） (2021-09-13T21:05:37Z)
• Low-Dimensional Structure in the Space of Language Representations is Reflected in Brain Responses [62.197912623223964]
  言語モデルと翻訳モデルは,単語の埋め込み,構文的・意味的タスク,将来的な単語埋め込みとの間を円滑に介在する低次元構造を示す。 この表現埋め込みは、各特徴空間が、fMRIを用いて記録された自然言語刺激に対する人間の脳反応にどれだけうまく対応しているかを予測することができる。 これは、埋め込みが脳の自然言語表現構造の一部を捉えていることを示唆している。
  論文  参考訳（メタデータ） (2021-06-09T22:59:12Z)
• Does injecting linguistic structure into language models lead to better alignment with brain recordings? [13.880819301385854]
  言語モデルと脳記録との整合性は,構文的あるいは意味論的フォーマリズムからのアノテーションに偏りがある場合と評価する。 提案手法は,脳内の意味の組成について,より標的となる仮説の評価を可能にする。
  論文  参考訳（メタデータ） (2021-01-29T14:42:02Z)
• Bridging Linguistic Typology and Multilingual Machine Translation with Multi-View Language Representations [83.27475281544868]
  特異ベクトル標準相関解析を用いて、各情報源からどのような情報が誘導されるかを調べる。 我々の表現は類型学を組み込み、言語関係と相関関係を強化する。 次に、多言語機械翻訳のための多視点言語ベクトル空間を利用して、競合する全体的な翻訳精度を実現する。
  論文  参考訳（メタデータ） (2020-04-30T16:25:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。