論文の概要: Current LLMs still cannot 'talk much' about grammar modules: Evidence from syntax

• arxiv url: http://arxiv.org/abs/2603.20114v1
• Date: Fri, 20 Mar 2026 16:37:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 19:48:39.240892
• Title: Current LLMs still cannot 'talk much' about grammar modules: Evidence from syntax
• Title（参考訳）: 現在のLLMは文法モジュールについて「多くを語る」ことはできない:構文からの証拠
• Authors: Mohammed Q. Shormani,
• Abstract要約: 我々は、本や雑誌記事など、以前の生成構文から44の用語を収集し、この分野の経験から収集した。 両翻訳を解析・比較し,分析に分析的および比較的アプローチを用いた。 大規模な言語モデルは、研究中の用語に埋め込まれた中核的な構文特性について「多くを語る」ことはできない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We aim to examine the extent to which Large Language Models (LLMs) can 'talk much' about grammar modules, providing evidence from syntax core properties translated by ChatGPT into Arabic. We collected 44 terms from generative syntax previous works, including books and journal articles, as well as from our experience in the field. These terms were translated by humans, and then by ChatGPT-5. We then analyzed and compared both translations. We used an analytical and comparative approach in our analysis. Findings unveil that LLMs still cannot 'talk much' about the core syntax properties embedded in the terms under study involving several syntactic and semantic challenges: only 25% of ChatGPT translations were accurate, while 38.6% were inaccurate, and 36.4.% were partially correct, which we consider appropriate. Based on these findings, a set of actionable strategies were proposed, the most notable of which is a close collaboration between AI specialists and linguists to better LLMs' working mechanism for accurate or at least appropriate translation.
• Abstract（参考訳）: 本研究の目的は,ChatGPT が翻訳した文法コア特性からアラビア語に翻訳したエビデンスを提供するため,Large Language Models (LLMs) が文法モジュールについて「多くを語れる」程度について検討することである。 我々は、本や雑誌記事など、以前の生成構文から44の用語を収集し、この分野の経験から収集した。 これらの用語は人間によって翻訳され、次にChatGPT-5によって翻訳された。 そして、両方の翻訳を分析し比較した。 我々は分析に分析的および比較的なアプローチを用いた。 LLMは、いくつかの構文的および意味的課題を含む研究において、中核的な構文特性について「多くを語れない」ことが判明した:ChatGPT翻訳の25%は正確であり、38.6%は不正確であり、36.4.%は部分的に正しいと考えられており、適切である。 これらの知見に基づいて、行動可能な戦略のセットが提案され、最も顕著なのは、AI専門家と言語学者の緊密な協力により、LLMの作業メカニズムをより正確に、少なくとも適切な翻訳に活用することである。

関連論文リスト

• LingGym: How Far Are LLMs from Thinking Like Field Linguists? [20.482844306874743]
  本稿ではLingGymについて紹介する。LingGymはメタ言語推論のためのLLMの能力を評価する新しいベンチマークである。 制御された評価タスク:Word-Gloss Inferenceでは、モデルが文脈から欠落した単語と光沢を推測しなければならない。 その結果,構造化言語的手がかりを取り入れることで,全てのモデルにおける推論性能が一貫した改善が得られた。
  論文  参考訳（メタデータ） (2025-11-01T00:59:13Z)
• Can LLMs Really Learn to Translate a Low-Resource Language from One Grammar Book? [6.905647501099997]
  この翻訳能力の源泉について検討し,本書の並列例からほぼすべての改良点が得られた。 ネパール語とグアラニ語でも同様の結果が得られ、低リソース言語が見られた。 我々は,XLR言語におけるタスク適合データの重要性を強調した。
  論文  参考訳（メタデータ） (2024-09-27T21:27:32Z)
• Whose LLM is it Anyway? Linguistic Comparison and LLM Attribution for GPT-3.5, GPT-4 and Bard [5.500249707065662]
  LLM(Large Language Model)は、人間の品質に類似したテキストを生成する能力を持つ。 我々は,最もポピュラーな3つのLLMから生成されるテキストの語彙,部分音声(POS)分布,依存性分布,感情を多様な入力と比較した。 その結果、言語学的に有意な変化を示し、88%の精度で所与のテキストをLLM起源とみなすことができた。
  論文  参考訳（メタデータ） (2024-02-22T13:25:17Z)
• Adapting Large Language Models for Document-Level Machine Translation [46.370862171452444]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクを大幅に進歩させた。 近年の研究では、中程度のLLMはタスク固有の微調整後、より大きなLLMよりも優れていることが示されている。 本研究では,特定の言語対に対する文書レベルの機械翻訳(DocMT)にLLMを適用することに焦点を当てた。
  論文  参考訳（メタデータ） (2024-01-12T09:29:13Z)
• Assessing the potential of LLM-assisted annotation for corpus-based pragmatics and discourse analysis: The case of apology [9.941695905504282]
  本研究では,大規模言語モデル (LLM) を用いてプラグマ・ディスカッシブ・コーパスのアノテーションを自動生成する可能性について検討する。 GPT-4はGPT-3.5より優れており,精度は人間のコーダに近づいた。
  論文  参考訳（メタデータ） (2023-05-15T04:10:13Z)
• Multilingual Machine Translation with Large Language Models: Empirical Results and Analysis [103.89753784762445]
  大規模言語モデル(LLM)は多言語機械翻訳(MMT)の処理において顕著な可能性を示した。 本稿では, MMT における LLM の利点と課題を体系的に検討する。 また,ChatGPTとGPT-4を含む8つのLLMを徹底的に評価した。
  論文  参考訳（メタデータ） (2023-04-10T15:51:30Z)
• Document-Level Machine Translation with Large Language Models [91.03359121149595]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクに対して、一貫性、凝集性、関連性、流動性のある回答を生成することができる。 本稿では,LLMの談話モデルにおける能力について詳細に評価する。
  論文  参考訳（メタデータ） (2023-04-05T03:49:06Z)
• Error Analysis Prompting Enables Human-Like Translation Evaluation in Large Language Models [57.80514758695275]
  機械翻訳(MT)の品質を評価するために,大規模言語モデル(LLM)を用いることで,システムレベルでの最先端のパフォーマンスを実現する。 我々はtextbftexttError Analysis Prompting (EAPrompt) と呼ばれる新しいプロンプト手法を提案する。 本手法は,多次元品質指標 (MQM) とtextitproduces を用いて,システムレベルとセグメントレベルの両方で説明可能かつ信頼性の高いMT評価を行う。
  論文  参考訳（メタデータ） (2023-03-24T05:05:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。