論文の概要: CxMP: A Linguistic Minimal-Pair Benchmark for Evaluating Constructional Understanding in Language Models

• arxiv url: http://arxiv.org/abs/2602.21978v1
• Date: Wed, 25 Feb 2026 14:57:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-26 18:19:16.874099
• Title: CxMP: A Linguistic Minimal-Pair Benchmark for Evaluating Constructional Understanding in Language Models
• Title（参考訳）: CxMP: 言語モデルの構成的理解を評価するための言語学的最小ペアベンチマーク
• Authors: Miyu Oba, Saku Sugawara,
• Abstract要約: 言語モデル(CxMP)の構成的理解を評価するための言語最小ペアベンチマーク(Linguistic Minimal-Pair Benchmark)を導入する。 CxMPは形式的なペアリングや構成を基本的な言語単位として扱う。 この結果から,構文的能力は早期に出現するが,構造的理解は徐々に発展し,大規模言語モデルにおいても限定的のままであることがわかった。
• 参考スコア（独自算出の注目度）: 12.52690104986201
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work has examined language models from a linguistic perspective to better understand how they acquire language. Most existing benchmarks focus on judging grammatical acceptability, whereas the ability to interpret meanings conveyed by grammatical forms has received much less attention. We introduce the Linguistic Minimal-Pair Benchmark for Evaluating Constructional Understanding in Language Models (CxMP), a benchmark grounded in Construction Grammar that treats form-meaning pairings, or constructions, as fundamental linguistic units. CxMP evaluates whether models can interpret the semantic relations implied by constructions, using a controlled minimal-pair design across nine construction types, including the let-alone, caused motion, and ditransitive constructions. Our results show that while syntactic competence emerges early, constructional understanding develops more gradually and remains limited even in large language models (LLMs). CxMP thus reveals persistent gaps in how language models integrate form and meaning, providing a framework for studying constructional understanding and learning trajectories in language models.
• Abstract（参考訳）: 最近の研究は、言語モデルがどのように言語を習得するかをよりよく理解するために、言語の観点から言語モデルを調べてきた。 既存のベンチマークのほとんどは文法的受容性の評価に重点を置いているが、文法的形式によって伝達される意味を解釈する能力はそれほど注目されていない。 言語モデルにおける構成的理解を評価するための言語学的最小ペアベンチマーク(CxMP)を導入する。 CxMPは、le-alone, caused motion, ditransitive constructionsを含む9種類の構成タイプにまたがる制御された最小ペア設計を用いて、構築によって示唆される意味関係をモデルで解釈できるかどうかを評価する。 その結果,構文的能力は早期に出現するが,構造的理解は徐々に発展し,大規模言語モデル(LLM)においても限定的のままであることがわかった。 CxMPは、言語モデルが形式と意味をどのように統合するかにおいて、永続的なギャップを明らかにし、言語モデルにおける構造的理解と学習の軌跡を研究するためのフレームワークを提供する。

関連論文リスト

• LingBench++: A Linguistically-Informed Benchmark and Reasoning Framework for Multi-Step and Cross-Cultural Inference with LLMs [0.631976908971572]
  LingBench++は、大規模言語モデル(LLM)を評価するためのベンチマークおよび推論フレームワークである。 構造化された推論トレース、ステップワイズ評価プロトコル、90以上の言語にまたがるリッチな型付けメタデータを提供する。 本稿では,外部知識源と反復推論を用いたモデルが,精度と解釈性の両方において単一パスアプローチより優れていることを示す。
  論文  参考訳（メタデータ） (2025-07-22T17:57:44Z)
• Finding Structure in Language Models [3.882018118763685]
  この論文は、言語モデルが人間のものと似た文法構造を深く理解しているかどうかに関するものである。 我々は,大規模言語モデルの複雑な性質の理解を深める新しい解釈可能性技術を開発する。
  論文  参考訳（メタデータ） (2024-11-25T14:37:24Z)
• How Proficient Are Large Language Models in Formal Languages? An In-Depth Insight for Knowledge Base Question Answering [52.86931192259096]
  知識ベース質問回答(KBQA)は,知識ベースにおける事実に基づいた自然言語質問への回答を目的としている。 最近の研究は、論理形式生成のための大規模言語モデル(LLM)の機能を活用して性能を向上させる。
  論文  参考訳（メタデータ） (2024-01-11T09:27:50Z)
• Benchmarking Language Models for Code Syntax Understanding [79.11525961219591]
  事前学習された言語モデルは、自然言語処理とプログラム理解の両方において素晴らしい性能を示している。 本研究では,プログラムの構文構造を特定するための,最先端の事前訓練モデルの最初の徹底的なベンチマークを行う。 この結果から,既存のプログラミング言語の事前学習手法の限界が指摘され,構文構造をモデル化することの重要性が示唆された。
  論文  参考訳（メタデータ） (2022-10-26T04:47:18Z)
• The Better Your Syntax, the Better Your Semantics? Probing Pretrained Language Models for the English Comparative Correlative [7.03497683558609]
  Construction Grammar (CxG) は、文法と意味論の関連性を強調する認知言語学のパラダイムである。 我々は、最もよく研究されている構成のうちの1つ、英語比較相関(CC)を分類し、理解する能力について調査する。 以上の結果から,PLMは3つともCCの構造を認識することができるが,その意味は用いていないことが明らかとなった。
  論文  参考訳（メタデータ） (2022-10-24T13:01:24Z)
• BenchCLAMP: A Benchmark for Evaluating Language Models on Syntactic and Semantic Parsing [55.058258437125524]
  本稿では,制約付きLanguage Model Parsingを評価するベンチマークであるBenchCLAMPを紹介する。 APIを通じてのみ利用可能な2つのGPT-3変種を含む8つの言語モデルをベンチマークする。 実験により,エンコーダ-デコーダ事前学習言語モデルでは,モデル出力が有効であると制約された場合に,構文解析や意味解析の最先端手法を超えることができることがわかった。
  論文  参考訳（メタデータ） (2022-06-21T18:34:11Z)
• Language Models are Few-shot Multilingual Learners [66.11011385895195]
  我々は、非英語言語における多言語分類を行う際に、GPTモデルとT5モデルの多言語的スキルを評価する。 文脈としての英語の例を見ると、事前学習された言語モデルは、英語のテストサンプルだけでなく、英語以外のサンプルも予測できることが示されている。
  論文  参考訳（メタデータ） (2021-09-16T03:08:22Z)
• Constrained Language Models Yield Few-Shot Semantic Parsers [73.50960967598654]
  我々は,事前学習された大規模言語モデルの利用を,少ない意味論として検討する。 意味構文解析の目標は、自然言語入力によって構造化された意味表現を生成することである。 言語モデルを用いて、入力を英語に似た制御されたサブ言語にパラフレーズし、対象の意味表現に自動的にマッピングする。
  論文  参考訳（メタデータ） (2021-04-18T08:13:06Z)
• SLM: Learning a Discourse Language Representation with Sentence Unshuffling [53.42814722621715]
  談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。 本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2020-10-30T13:33:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。