論文の概要: Large Language Models as Neurolinguistic Subjects: Discrepancy in Performance and Competence for Form and Meaning

• arxiv url: http://arxiv.org/abs/2411.07533v2
• Date: Tue, 25 Feb 2025 20:08:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-27 15:24:46.095919
• Title: Large Language Models as Neurolinguistic Subjects: Discrepancy in Performance and Competence for Form and Meaning
• Title（参考訳）: ニューロ言語科目としての大規模言語モデル:形式と意味における性能と能力の相違
• Authors: Linyang He, Ercong Nie, Helmut Schmid, Hinrich Schütze, Nima Mesgarani, Jonathan Brennan,
• Abstract要約: 本研究では,大言語モデル(LLM)の記号化(形式)および記号化(意味)に関する言語的理解について検討する。 ミニマルペアと診断プローブを組み合わせてモデル層間のアクティベーションパターンを解析する新しい手法を用いて,ニューロ言語学的アプローチを提案する。 その結果,(1)心理言語学的・神経言語学的手法では,言語能力と能力が異なっていること,(2)直接確率測定では言語能力が正確に評価されないこと,(3)指導のチューニングでは能力が大きく変化しないが,性能は向上しないことがわかった。
• 参考スコア（独自算出の注目度）: 49.60849499134362
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This study investigates the linguistic understanding of Large Language Models (LLMs) regarding signifier (form) and signified (meaning) by distinguishing two LLM assessment paradigms: psycholinguistic and neurolinguistic. Traditional psycholinguistic evaluations often reflect statistical rules that may not accurately represent LLMs' true linguistic competence. We introduce a neurolinguistic approach, utilizing a novel method that combines minimal pair and diagnostic probing to analyze activation patterns across model layers. This method allows for a detailed examination of how LLMs represent form and meaning, and whether these representations are consistent across languages. We found: (1) Psycholinguistic and neurolinguistic methods reveal that language performance and competence are distinct; (2) Direct probability measurement may not accurately assess linguistic competence; (3) Instruction tuning won't change much competence but improve performance; (4) LLMs exhibit higher competence and performance in form compared to meaning. Additionally, we introduce new conceptual minimal pair datasets for Chinese (COMPS-ZH) and German (COMPS-DE), complementing existing English datasets.
• Abstract（参考訳）: 本研究では,2つのLLM評価パラダイム(心理言語学と神経言語学)を区別することにより,言語モデル(LLM)の記号(形式)と意味(意味)に関する言語理解について検討する。 伝統的な精神言語学的評価は、LLMの真の言語能力を正確に表現しない統計的な規則を反映することが多い。 ミニマルペアと診断プローブを組み合わせてモデル層間のアクティベーションパターンを解析する新しい手法を用いて,ニューロ言語学的アプローチを提案する。 この方法では、LLMが形式と意味をどのように表現するか、そしてこれらの表現が言語間で一貫性があるかどうかを詳細に調べることができる。 その結果,(1)心理言語学的・神経言語学的手法では,言語能力と能力が異なっていること,(2)直接確率測定では言語能力が正確に評価されないこと,(3)指導のチューニングでは能力があまり変化せず,性能が向上すること,(4)LLMは意味よりも高い能力と能力を示すこと,などが判明した。 さらに、既存の英語データセットを補完する中国語(COMPS-ZH)とドイツ語(COMPS-DE)の新しい概念最小ペアデータセットを導入する。

関連論文リスト

• Sparse Auto-Encoder Interprets Linguistic Features in Large Language Models [40.12943080113246]
  スパースオートエンコーダ(SAE)を用いた系統的・包括的因果調査を提案する。 6次元から幅広い言語的特徴を抽出する。 本稿では,FRC(Feature Representation Confidence)とFIC(Feature Intervention Confidence)の2つの指標を紹介する。
  論文  参考訳（メタデータ） (2025-02-27T18:16:47Z)
• XCOMPS: A Multilingual Benchmark of Conceptual Minimal Pairs [43.45666129711046]
  XCOMPSは17言語をカバーする多言語の概念的最小ペアデータセットである。 我々は,LLMの多言語概念理解をメタ言語的プロンプト,直接確率測定,神経言語学的探索を通じて評価した。
  論文  参考訳（メタデータ） (2025-02-27T04:02:13Z)
• A Methodology for Explainable Large Language Models with Integrated Gradients and Linguistic Analysis in Text Classification [2.556395214262035]
  アルツハイマー病(AD)のような発声に影響を及ぼす神経疾患は、患者と介護者の生活に大きな影響を及ぼす。 近年のLarge Language Model (LLM) アーキテクチャの進歩は、自然発声による神経疾患の代表的特徴を識別する多くのツールを開発した。 本稿では,ADに代表される語彙成分を識別できるSLIME法を提案する。
  論文  参考訳（メタデータ） (2024-09-30T21:45:02Z)
• Linguistic Minimal Pairs Elicit Linguistic Similarity in Large Language Models [15.857451401890092]
  我々はLarge Language Models(LLMs)が捉えた言語知識の定量化と洞察を得る。 3つの言語で100以上のLLMと150k以上の最小ペアにまたがる大規模な実験では、4つの重要な側面から言語的類似性の特性を明らかにした。
  論文  参考訳（メタデータ） (2024-09-19T03:29:40Z)
• Evaluating Contextualized Representations of (Spanish) Ambiguous Words: A New Lexical Resource and Empirical Analysis [2.2530496464901106]
  スペイン語の単言語モデルと多言語BERTモデルを用いて、文脈におけるスペイン語のあいまいな名詞の意味表現を評価する。 様々な BERT ベースの LM の文脈的意味表現は、人間の判断に多少の違いがあるが、ヒトのベンチマークには及ばない。
  論文  参考訳（メタデータ） (2024-06-20T18:58:11Z)
• Holmes: A Benchmark to Assess the Linguistic Competence of Language Models [59.627729608055006]
  言語モデル(LM)の言語能力を評価するための新しいベンチマークであるHolmesを紹介する。 我々は、計算に基づく探索を用いて、異なる言語現象に関するLMの内部表現を調べる。 その結果,近年,他の認知能力からLMの言語能力を引き離す声が上がっている。
  論文  参考訳（メタデータ） (2024-04-29T17:58:36Z)
• FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [56.76951887823882]
  大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。 FAC$2$E, FAC$2$Eについて述べる。
  論文  参考訳（メタデータ） (2024-02-29T21:05:37Z)
• Can Large Language Models Understand Context? [17.196362853457412]
  本稿では,生成モデルの評価に適合する既存のデータセットを適応させることにより,文脈理解ベンチマークを提案する。 実験結果から, 事前学習された高密度モデルでは, 最先端の微調整モデルと比較して, よりニュアンスな文脈特徴の理解に苦慮していることが明らかとなった。 LLM圧縮は研究と実世界のアプリケーションの両方において重要度が高くなっているため、文脈学習環境下での量子化モデルの文脈理解を評価する。
  論文  参考訳（メタデータ） (2024-02-01T18:55:29Z)
• Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
  事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。 ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。 本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T20:41:18Z)
• Large Linguistic Models: Analyzing theoretical linguistic abilities of LLMs [7.4815059492034335]
  大規模言語モデルでは,言語データの一貫性のある形式解析が可能であることを示す。 形式言語学の3つのサブフィールド(構文、音韻学、意味論)に焦点を当てる。 この調査の行は、モデル表現が明示的なプロンプトによってアクセスされる深層学習の行動解釈可能性を示している。
  論文  参考訳（メタデータ） (2023-05-01T17:09:33Z)
• Large Language Models Are Latent Variable Models: Explaining and Finding Good Demonstrations for In-Context Learning [104.58874584354787]
  近年,事前学習型大規模言語モデル (LLM) は,インコンテキスト学習(in-context learning)として知られる推論時少数ショット学習能力を実現する上で,顕著な効率性を示している。 本研究では,現実のLLMを潜在変数モデルとみなし,ベイズレンズによる文脈内学習現象を考察することを目的とする。
  論文  参考訳（メタデータ） (2023-01-27T18:59:01Z)
• Dissociating language and thought in large language models [52.39241645471213]
  大規模言語モデル(LLM)は、人間の言語を習得する上で、今までに最も近いモデルである。 我々は、この区別を人間の神経科学に根ざし、形式的、機能的な能力は異なる神経機構に依存していることを示した。 LLMは形式的能力は驚くほど優れているが、機能的能力のタスクにおける性能はいまだに不明瞭である。
  論文  参考訳（メタデータ） (2023-01-16T22:41:19Z)
• A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
  固有プローブ構築のための新しい潜在変数定式化を提案する。 我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
  論文  参考訳（メタデータ） (2022-01-20T15:01:12Z)
• AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages with Adversarial Examples [51.048234591165155]
  本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。 言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。 その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
  論文  参考訳（メタデータ） (2021-04-17T20:23:45Z)
• Syntax Role for Neural Semantic Role Labeling [77.5166510071142]
  意味的役割ラベリング(SRL)は、文の意味的述語・代名詞構造を認識することを目的としている。 従来のモデルでは、構文情報はSRLのパフォーマンスに顕著な貢献をする可能性がある。 最近の神経SRL研究は、構文情報は神経意味的役割のラベル付けにおいてはるかに重要でないことを示している。
  論文  参考訳（メタデータ） (2020-09-12T07:01:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。