論文の概要: Different types of syntactic agreement recruit the same units within large language models

• arxiv url: http://arxiv.org/abs/2512.03676v1
• Date: Wed, 03 Dec 2025 11:07:50 GMT
• ステータス: 情報取得中
• システム内更新日: 2025-12-04 12:01:47.956807
• Title: Different types of syntactic agreement recruit the same units within large language models
• Title（参考訳）: 異なるタイプの構文合意は、大きな言語モデル内で同じ単位を募集する
• Authors: Daria Kryvosheieva, Andrea de Varda, Evelina Fedorenko, Greta Tuckute,
• Abstract要約: 大規模言語モデルにおいて、異なる構文現象が共有または異なるコンポーネントを採用できるかどうかを検討する。 認知神経科学にインスパイアされた機能的局所化アプローチを用いて、67の英構文現象に最も反応するLLM単位を同定した。
• 参考スコア（独自算出の注目度）: 6.459078990392929
• License:
• Abstract: Large language models (LLMs) can reliably distinguish grammatical from ungrammatical sentences, but how grammatical knowledge is represented within the models remains an open question. We investigate whether different syntactic phenomena recruit shared or distinct components in LLMs. Using a functional localization approach inspired by cognitive neuroscience, we identify the LLM units most responsive to 67 English syntactic phenomena in seven open-weight models. These units are consistently recruited across sentences containing the phenomena and causally support the models' syntactic performance. Critically, different types of syntactic agreement (e.g., subject-verb, anaphor, determiner-noun) recruit overlapping sets of units, suggesting that agreement constitutes a meaningful functional category for LLMs. This pattern holds in English, Russian, and Chinese; and further, in a cross-lingual analysis of 57 diverse languages, structurally more similar languages share more units for subject-verb agreement. Taken together, these findings reveal that syntactic agreement-a critical marker of syntactic dependencies-constitutes a meaningful category within LLMs' representational spaces.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、文法的な文と非文法的な文とを確実に区別することができるが、モデル内の文法的知識がどのように表現されているかは未解決の問題である。 本研究は,LLMの相違点と相違点の相違点について検討する。 認知神経科学にインスパイアされた機能的局在化アプローチを用いて、7つのオープンウェイトモデルにおいて67の英構文現象に最も反応するLLM単位を同定した。 これらのユニットは、現象を含む文間で一貫して採用され、モデルの構文的パフォーマンスを因果的に支援する。 批判的に、異なるタイプの統語的合意(例えば、主語-動詞、アナパル、決定子-名詞)は、重なり合う単位の集合を採用し、この合意がLLMにとって有意義な機能圏を構成することを示唆している。 このパターンは英語、ロシア語、中国語で成り立ち、さらに57の多言語を言語横断で分析すると、構造的に類似した言語が主語と動詞の合意のためにより多くの単位を共有している。 これらの結果は,LLMの表現空間における意味のあるカテゴリを構成する構文的コンセンサス(syntactic agreement)が,構文的依存の重要なマーカーであることを示している。

関連論文リスト

• IMPACT: Inflectional Morphology Probes Across Complex Typologies [0.0]
  IMPACTは、屈折形態学に焦点を当てた、合成的に生成された評価フレームワークである。 アラビア語、ロシア語、フィンランド語、トルコ語、ヘブライ語という5つの形態学的に豊かな言語のパフォーマンスを評価するように設計されている。 英語のパフォーマンスが強いにもかかわらず、他の言語と競合する8つの多言語LLMと、一般的でない形態素パターンを評価した。
  論文  参考訳（メタデータ） (2025-06-30T14:58:23Z)
• High-Dimensional Interlingual Representations of Large Language Models [65.77317753001954]
  大規模言語モデル(LLM)は、多言語データセットに基づいて訓練され、言語間構造の形成を示唆する。 資源レベル, 類型, 地理的地域によって異なる31の多様な言語を探索する。 多言語 LLM は非一貫性な言語間アライメントを示す。
  論文  参考訳（メタデータ） (2025-03-14T10:39:27Z)
• Tomato, Tomahto, Tomate: Measuring the Role of Shared Semantics among Subwords in Multilingual Language Models [88.07940818022468]
  エンコーダのみの多言語言語モデル(mLM)におけるサブワード間の共有セマンティクスの役割を測る第一歩を踏み出した。 意味的に類似したサブワードとその埋め込みをマージして「意味トークン」を形成する。 グループ化されたサブワードの検査では 様々な意味的類似性を示します
  論文  参考訳（メタデータ） (2024-11-07T08:38:32Z)
• Evaluating Contextualized Representations of (Spanish) Ambiguous Words: A New Lexical Resource and Empirical Analysis [2.2530496464901106]
  スペイン語の単言語モデルと多言語BERTモデルを用いて、文脈におけるスペイン語のあいまいな名詞の意味表現を評価する。 様々な BERT ベースの LM の文脈的意味表現は、人間の判断に多少の違いがあるが、ヒトのベンチマークには及ばない。
  論文  参考訳（メタデータ） (2024-06-20T18:58:11Z)
• Probing LLMs for Joint Encoding of Linguistic Categories [10.988109020181563]
  大規模言語モデル(LLM)における言語カテゴリーの合同符号化をテストするためのフレームワークを提案する。 関連音声(POS)クラスと異なる(POSクラスと関連する構文依存関係)言語階層の双方で共同符号化の証拠を見いだした。
  論文  参考訳（メタデータ） (2023-10-28T12:46:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。