論文の概要: Do Large Language Models Grasp The Grammar? Evidence from Grammar-Book-Guided Probing in Luxembourgish

• arxiv url: http://arxiv.org/abs/2510.24856v1
• Date: Tue, 28 Oct 2025 18:02:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-30 15:50:44.686916
• Title: Do Large Language Models Grasp The Grammar? Evidence from Grammar-Book-Guided Probing in Luxembourgish
• Title（参考訳）: 大型言語モデルでは文法はグラフ化されるか? ルクセンブルク語における文法ブックガイドによる証明から
• Authors: Lujun Li, Yewei Song, Lama Sleem, Yiqun Wang, Yangjie Xu, Cedric Lothritz, Niccolo Gentile, Radu State, Tegawende F. Bissyande, Jacques Klein,
• Abstract要約: 文法(Grammar)とは、言語単位の構造的構造と意味的関係を管理する規則の体系を指す。 自然言語処理では、文法に焦点を絞った評価プロトコルが不足している。 本稿では,文法評価のための体系的で一般化可能なフレームワークを提供するための文法ブックガイド評価パイプラインを提案する。
• 参考スコア（独自算出の注目度）: 17.24445071401393
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Grammar refers to the system of rules that governs the structural organization and the semantic relations among linguistic units such as sentences, phrases, and words within a given language. In natural language processing, there remains a notable scarcity of grammar focused evaluation protocols, a gap that is even more pronounced for low-resource languages. Moreover, the extent to which large language models genuinely comprehend grammatical structure, especially the mapping between syntactic structures and meanings, remains under debate. To investigate this issue, we propose a Grammar Book Guided evaluation pipeline intended to provide a systematic and generalizable framework for grammar evaluation consisting of four key stages, and in this work we take Luxembourgish as a case study. The results show a weak positive correlation between translation performance and grammatical understanding, indicating that strong translations do not necessarily imply deep grammatical competence. Larger models perform well overall due to their semantic strength but remain weak in morphology and syntax, struggling particularly with Minimal Pair tasks, while strong reasoning ability offers a promising way to enhance their grammatical understanding.
• Abstract（参考訳）: 文法(Grammar)とは、ある言語における文、句、単語などの言語単位の構造的構造と意味的関係を管理する規則の体系を指す。 自然言語処理では、低リソース言語ではさらに顕著なギャップである文法に焦点を絞った評価プロトコルが不足している。 さらに、大きな言語モデルが文法構造、特に構文構造と意味のマッピングを真に理解している範囲についても議論が続いている。 本研究では,4つの主要な段階からなる文法評価のための体系的で一般化可能なフレームワークを提供するグラマーブックガイド評価パイプラインを提案する。 その結果, 翻訳性能と文法的理解との間には弱い正の相関関係がみられ, 強い翻訳が必ずしも深い文法的能力を示すとは限らないことが示唆された。 より大規模なモデルは、その意味的な強さのため、全体的なパフォーマンスは良好であるが、形態学と構文学の弱いままであり、特にミニマルペアタスクに苦しむ一方で、強い推論能力は文法的理解を高めるための有望な方法を提供する。

関連論文リスト

• Principles of semantic and functional efficiency in grammatical patterning [1.6267479602370545]
  文法的組織は知覚的属性から確実に受け継がれることを示す。 多様な言語サンプルの測定から,文法が機能目標を優先していることが分かる。
  論文  参考訳（メタデータ） (2024-10-21T10:49:54Z)
• Sparse Logistic Regression with High-order Features for Automatic Grammar Rule Extraction from Treebanks [6.390468088226495]
  本研究では,木バンクから重要な粒度の文法パターンを抽出し,探索する手法を提案する。 我々は,異なる言語にまたがる記述や規則を抽出し,合意と語順の2つの言語現象について考察する。 我々の手法は、スペイン語、フランス語、ウーロフにおける有名な文法規則とあまり知られていない重要な文法規則の両方を捉えている。
  論文  参考訳（メタデータ） (2024-03-26T09:39:53Z)
• CLSE: Corpus of Linguistically Significant Entities [58.29901964387952]
  専門家が注釈を付けた言語学的に重要なエンティティ(CLSE)のコーパスをリリースする。 CLSEは74種類のセマンティックタイプをカバーし、航空券売機からビデオゲームまで様々なアプリケーションをサポートする。 言語的に代表されるNLG評価ベンチマークを,フランス語,マラティー語,ロシア語の3言語で作成する。
  論文  参考訳（メタデータ） (2022-11-04T12:56:12Z)
• Testing the Ability of Language Models to Interpret Figurative Language [69.59943454934799]
  比喩的・比喩的な言語は言論において一般的である。 現代の言語モデルが非リテラルなフレーズをどの程度解釈できるかについては、未解決の疑問が残る。 ウィノグラードスタイルの非文字言語理解タスクであるFig-QAを紹介する。
  論文  参考訳（メタデータ） (2022-04-26T23:42:22Z)
• Controlled Evaluation of Grammatical Knowledge in Mandarin Chinese Language Models [22.57309958548928]
  構造的監督が言語モデルの文法的依存の学習能力を向上させるかどうかを検討する。 LSTM、リカレントニューラルネットワーク文法、トランスフォーマー言語モデル、および異なるサイズのデータセットに対する生成解析モデルをトレーニングする。 構造的監督がコンテンツ間のシナティクス状態の表現に役立ち、低データ設定における性能向上に役立つという示唆的な証拠が得られます。
  論文  参考訳（メタデータ） (2021-09-22T22:11:30Z)
• Dependency Induction Through the Lens of Visual Perception [81.91502968815746]
  本稿では,単語の具体性を利用した教師なし文法帰納モデルと,構成的視覚に基づく構成的文法を共同学習する手法を提案する。 実験により,提案した拡張は,文法的サイズが小さい場合でも,現在最先端の視覚的接地モデルよりも優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-09-20T18:40:37Z)
• VLGrammar: Grounded Grammar Induction of Vision and Language [86.88273769411428]
  共同学習枠組みにおける視覚と言語の基底文法誘導について検討する。 本稿では,複合確率文脈自由文法(pcfgs)を用いて言語文法と画像文法を同時に誘導する手法であるvlgrammarを提案する。
  論文  参考訳（メタデータ） (2021-03-24T04:05:08Z)
• ERICA: Improving Entity and Relation Understanding for Pre-trained Language Models via Contrastive Learning [97.10875695679499]
  そこで本研究では, ERICA という新たなコントラスト学習フレームワークを提案し, エンティティとその関係をテキストでより深く理解する。 実験の結果,提案する erica フレームワークは文書レベルの言語理解タスクにおいて一貫した改善を実現することがわかった。
  論文  参考訳（メタデータ） (2020-12-30T03:35:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。