論文の概要: Different types of syntactic agreement recruit the same units within large language models

• arxiv url: http://arxiv.org/abs/2512.03676v1
• Date: Wed, 03 Dec 2025 11:07:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-04 20:02:55.260045
• Title: Different types of syntactic agreement recruit the same units within large language models
• Title（参考訳）: 異なるタイプの構文合意は、大きな言語モデル内で同じ単位を募集する
• Authors: Daria Kryvosheieva, Andrea de Varda, Evelina Fedorenko, Greta Tuckute,
• Abstract要約: 大規模言語モデルにおいて、異なる構文現象が共有または異なるコンポーネントを採用できるかどうかを検討する。 認知神経科学にインスパイアされた機能的局所化アプローチを用いて、67の英構文現象に最も反応するLLM単位を同定した。
• 参考スコア（独自算出の注目度）: 6.459078990392929
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large language models (LLMs) can reliably distinguish grammatical from ungrammatical sentences, but how grammatical knowledge is represented within the models remains an open question. We investigate whether different syntactic phenomena recruit shared or distinct components in LLMs. Using a functional localization approach inspired by cognitive neuroscience, we identify the LLM units most responsive to 67 English syntactic phenomena in seven open-weight models. These units are consistently recruited across sentences containing the phenomena and causally support the models' syntactic performance. Critically, different types of syntactic agreement (e.g., subject-verb, anaphor, determiner-noun) recruit overlapping sets of units, suggesting that agreement constitutes a meaningful functional category for LLMs. This pattern holds in English, Russian, and Chinese; and further, in a cross-lingual analysis of 57 diverse languages, structurally more similar languages share more units for subject-verb agreement. Taken together, these findings reveal that syntactic agreement-a critical marker of syntactic dependencies-constitutes a meaningful category within LLMs' representational spaces.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、文法的な文と非文法的な文とを確実に区別することができるが、モデル内の文法的知識がどのように表現されているかは未解決の問題である。 本研究は,LLMの相違点と相違点の相違点について検討する。 認知神経科学にインスパイアされた機能的局在化アプローチを用いて、7つのオープンウェイトモデルにおいて67の英構文現象に最も反応するLLM単位を同定した。 これらのユニットは、現象を含む文間で一貫して採用され、モデルの構文的パフォーマンスを因果的に支援する。 批判的に、異なるタイプの統語的合意(例えば、主語-動詞、アナパル、決定子-名詞)は、重なり合う単位の集合を採用し、この合意がLLMにとって有意義な機能圏を構成することを示唆している。 このパターンは英語、ロシア語、中国語で成り立ち、さらに57の多言語を言語横断で分析すると、構造的に類似した言語が主語と動詞の合意のためにより多くの単位を共有している。 これらの結果は,LLMの表現空間における意味のあるカテゴリを構成する構文的コンセンサス(syntactic agreement)が,構文的依存の重要なマーカーであることを示している。

関連論文リスト

• IMPACT: Inflectional Morphology Probes Across Complex Typologies [0.0]
  IMPACTは、屈折形態学に焦点を当てた、合成的に生成された評価フレームワークである。 アラビア語、ロシア語、フィンランド語、トルコ語、ヘブライ語という5つの形態学的に豊かな言語のパフォーマンスを評価するように設計されている。 英語のパフォーマンスが強いにもかかわらず、他の言語と競合する8つの多言語LLMと、一般的でない形態素パターンを評価した。
  論文  参考訳（メタデータ） (2025-06-30T14:58:23Z)
• The Emergence of Abstract Thought in Large Language Models Beyond Any Language [95.50197866832772]
  大規模言語モデル(LLM)は様々な言語で効果的に機能する。 予備的研究では、LLMの隠れた活性化は、英語以外のプロンプトに反応してもしばしば英語に類似している。 近年の結果は多言語のパフォーマンスが強く、他の言語での特定のタスクにおける英語のパフォーマンスを超えている。
  論文  参考訳（メタデータ） (2025-06-11T16:00:54Z)
• High-Dimensional Interlingual Representations of Large Language Models [65.77317753001954]
  大規模言語モデル(LLM)は、多言語データセットに基づいて訓練され、言語間構造の形成を示唆する。 資源レベル, 類型, 地理的地域によって異なる31の多様な言語を探索する。 多言語 LLM は非一貫性な言語間アライメントを示す。
  論文  参考訳（メタデータ） (2025-03-14T10:39:27Z)
• Tomato, Tomahto, Tomate: Measuring the Role of Shared Semantics among Subwords in Multilingual Language Models [88.07940818022468]
  エンコーダのみの多言語言語モデル(mLM)におけるサブワード間の共有セマンティクスの役割を測る第一歩を踏み出した。 意味的に類似したサブワードとその埋め込みをマージして「意味トークン」を形成する。 グループ化されたサブワードの検査では 様々な意味的類似性を示します
  論文  参考訳（メタデータ） (2024-11-07T08:38:32Z)
• Exploring syntactic information in sentence embeddings through multilingual subject-verb agreement [1.4335183427838039]
  我々は,特定の特性を持つ大規模でキュレートされた合成データを開発するためのアプローチを採っている。 我々は、ブラックバード言語行列(Blackbird Language Matrices)と呼ばれる新しい複数選択タスクとデータセットを使用して、特定の文法構造現象に焦点を当てる。 多言語テキストを一貫した方法で訓練したにもかかわらず、多言語事前学習言語モデルには言語固有の違いがあることが示される。
  論文  参考訳（メタデータ） (2024-09-10T14:58:55Z)
• Evaluating Contextualized Representations of (Spanish) Ambiguous Words: A New Lexical Resource and Empirical Analysis [2.2530496464901106]
  スペイン語の単言語モデルと多言語BERTモデルを用いて、文脈におけるスペイン語のあいまいな名詞の意味表現を評価する。 様々な BERT ベースの LM の文脈的意味表現は、人間の判断に多少の違いがあるが、ヒトのベンチマークには及ばない。
  論文  参考訳（メタデータ） (2024-06-20T18:58:11Z)
• Probing LLMs for Joint Encoding of Linguistic Categories [10.988109020181563]
  大規模言語モデル(LLM)における言語カテゴリーの合同符号化をテストするためのフレームワークを提案する。 関連音声(POS)クラスと異なる(POSクラスと関連する構文依存関係)言語階層の双方で共同符号化の証拠を見いだした。
  論文  参考訳（メタデータ） (2023-10-28T12:46:40Z)
• Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
  我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。 我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。 モデルはこれらの評価セットに対して中程度から低い性能を示す。
  論文  参考訳（メタデータ） (2023-05-24T06:41:09Z)
• The Better Your Syntax, the Better Your Semantics? Probing Pretrained Language Models for the English Comparative Correlative [7.03497683558609]
  Construction Grammar (CxG) は、文法と意味論の関連性を強調する認知言語学のパラダイムである。 我々は、最もよく研究されている構成のうちの1つ、英語比較相関(CC)を分類し、理解する能力について調査する。 以上の結果から,PLMは3つともCCの構造を認識することができるが,その意味は用いていないことが明らかとなった。
  論文  参考訳（メタデータ） (2022-10-24T13:01:24Z)
• Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
  多言語事前学習モデルから言語表現を生成し、言語分析を行う。 すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。 言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
  論文  参考訳（メタデータ） (2021-09-01T09:32:06Z)
• Evaluating Transformer-Based Multilingual Text Classification [55.53547556060537]
  我々は,NLPツールが構文的・形態学的に異なる言語で不平等に機能すると主張している。 実験研究を支援するために,単語順と形態的類似度指標を算出した。
  論文  参考訳（メタデータ） (2020-04-29T03:34:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。