論文の概要: How Ready Are Generative Pre-trained Large Language Models for Explaining Bengali Grammatical Errors?

• arxiv url: http://arxiv.org/abs/2406.00039v1
• Date: Mon, 27 May 2024 15:56:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-09 15:59:42.263691
• Title: How Ready Are Generative Pre-trained Large Language Models for Explaining Bengali Grammatical Errors?
• Title（参考訳）: ベンガル文法の誤りを説明するための事前学習型大規模言語モデルについて
• Authors: Subhankar Maity, Aniket Deroy, Sudeshna Sarkar,
• Abstract要約: 高度な生成人工知能(AI)を利用した文法的誤り訂正(GEC)ツール。 しかし、それらはしばしば、本質的な自然言語の説明の提供に不足する。 このような言語では、文法的誤り説明(GEE)システムは正しい文だけでなく、誤りの説明も提供すべきである。
• 参考スコア（独自算出の注目度）: 0.4857223913212445
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Grammatical error correction (GEC) tools, powered by advanced generative artificial intelligence (AI), competently correct linguistic inaccuracies in user input. However, they often fall short in providing essential natural language explanations, which are crucial for learning languages and gaining a deeper understanding of the grammatical rules. There is limited exploration of these tools in low-resource languages such as Bengali. In such languages, grammatical error explanation (GEE) systems should not only correct sentences but also provide explanations for errors. This comprehensive approach can help language learners in their quest for proficiency. Our work introduces a real-world, multi-domain dataset sourced from Bengali speakers of varying proficiency levels and linguistic complexities. This dataset serves as an evaluation benchmark for GEE systems, allowing them to use context information to generate meaningful explanations and high-quality corrections. Various generative pre-trained large language models (LLMs), including GPT-4 Turbo, GPT-3.5 Turbo, Text-davinci-003, Text-babbage-001, Text-curie-001, Text-ada-001, Llama-2-7b, Llama-2-13b, and Llama-2-70b, are assessed against human experts for performance comparison. Our research underscores the limitations in the automatic deployment of current state-of-the-art generative pre-trained LLMs for Bengali GEE. Advocating for human intervention, our findings propose incorporating manual checks to address grammatical errors and improve feedback quality. This approach presents a more suitable strategy to refine the GEC tools in Bengali, emphasizing the educational aspect of language learning.
• Abstract（参考訳）: 高度な生成人工知能(AI)を利用した文法的誤り訂正(GEC)ツール。 しかし、それらはしばしば、学習言語に不可欠な自然言語の説明を提供し、文法規則のより深い理解を得ることに不足する。 Bengaliのような低リソース言語では、これらのツールの探索は限られている。 このような言語では、文法的誤り説明(GEE)システムは正しい文だけでなく、誤りの説明も提供すべきである。 この包括的なアプローチは、言語学習者が熟練度を求めるのに役立つ。 我々の研究は、ベンガル語話者の様々な習熟度と言語的複雑さから得られた実世界のマルチドメインデータセットを紹介した。 このデータセットは、GEEシステムの評価ベンチマークとして機能し、コンテキスト情報を使用して意味のある説明と高品質な修正を生成することができる。 GPT-4 Turbo, GPT-3.5 Turbo, Text-davinci-003, Text-babbage-001, Text-curie-001, Text-ada-001, Llama-2-7b, Llama-2-13b, Llama-2-70b など,多種多様な事前学習型大言語モデル (LLMs) の評価を行った。 本研究は,ベンガルGEEにおける現在最先端生産型LLMの自動展開の限界を明らかにするものである。 本研究は,人間の介入を回避し,文法的誤りに対処し,フィードバックの質を向上させるために手動チェックを導入することを提案する。 このアプローチは、ベンガルのGECツールを洗練するためのより適切な戦略を示し、言語学習の教育的側面を強調している。

関連論文リスト

• Plug and Play with Prompts: A Prompt Tuning Approach for Controlling Text Generation [16.49758711633611]
  大規模言語モデル(LLM)は、テキストベースのプロンプトに応答して、例外的な言語生成能力を示す。 本研究では,制御言語生成におけるPrompt Tuningの利用について検討する。 本稿では, 言語モデルによる有害, 有害, 偏見のあるテキストを緩和する手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-04-08T01:54:28Z)
• GEE! Grammar Error Explanation with Large Language Models [64.16199533560017]
  本稿では,文法的誤りを1対の誤り文と訂正文に1文で説明する必要がある文法的誤り説明の課題を提案する。 文法的誤り説明における GPT-4 の能力を解析し, ワンショットプロンプトを用いた60.2% の誤り説明しか生成しないことを確認した。 我々は、構造化されたアトミックトークンの編集を行うために、微調整された大規模言語モデルを活用する2段階のパイプラインを開発した。
  論文  参考訳（メタデータ） (2023-11-16T02:45:47Z)
• On the application of Large Language Models for language teaching and assessment technology [18.735612275207853]
  我々は,AIによる言語教育とアセスメントシステムに大規模言語モデルを導入する可能性を検討する。 より大きな言語モデルは、テキスト生成における以前のモデルよりも改善されていることがわかった。 自動階調と文法的誤り訂正において、よく知られたベンチマークで進捗が確認されたタスクについては、初期の調査では、彼ら自身の大きな言語モデルが最先端の結果を改善していないことが示されている。
  論文  参考訳（メタデータ） (2023-07-17T11:12:56Z)
• Democratizing LLMs for Low-Resource Languages by Leveraging their English Dominant Abilities with Linguistically-Diverse Prompts [75.33019401706188]
  大規模言語モデル(LLM)は、少数の例を単純に観察することで、効果的にタスクを実行することが知られている。 我々は,LLMが任意の言語から英語に翻訳するよう促すために,多種多様な高ソース言語から合成例を組み立てることを提案する。 我々の教師なしプロンプト法は、英語と13のIndic言語と21のアフリカ低リソース言語間の翻訳において、異なる大きさのLLMにおける教師付き少ショット学習と同等に機能する。
  論文  参考訳（メタデータ） (2023-06-20T08:27:47Z)
• Pre-Trained Language-Meaning Models for Multilingual Parsing and Generation [14.309869321407522]
  談話表現構造(DRS)に基づく多言語事前学習言語意味モデルを導入する。 DRSは言語中立であるため、非英語タスクの性能向上のために言語間移動学習が採用されている。 自動評価の結果,本手法は多言語DSS解析とDSS-to-text生成の両タスクにおいて,最高の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-05-31T19:00:33Z)
• CLSE: Corpus of Linguistically Significant Entities [58.29901964387952]
  専門家が注釈を付けた言語学的に重要なエンティティ(CLSE)のコーパスをリリースする。 CLSEは74種類のセマンティックタイプをカバーし、航空券売機からビデオゲームまで様々なアプリケーションをサポートする。 言語的に代表されるNLG評価ベンチマークを,フランス語,マラティー語,ロシア語の3言語で作成する。
  論文  参考訳（メタデータ） (2022-11-04T12:56:12Z)
• Bridging the Gap Between Training and Inference of Bayesian Controllable Language Models [58.990214815032495]
  大規模事前学習型言語モデルは、自然言語生成タスクにおいて大きな成功を収めている。 BCLMは制御可能な言語生成において効率的であることが示されている。 本稿では,ミスマッチ問題を少ない計算コストで軽減する制御可能な言語生成のための"Gemini Discriminator"を提案する。
  論文  参考訳（メタデータ） (2022-06-11T12:52:32Z)
• Autoencoding Language Model Based Ensemble Learning for Commonsense Validation and Explanation [1.503974529275767]
  本稿では,コモンセンス検証と説明のための自動符号化言語モデルに基づくアンサンブル学習手法を提案する。 提案手法は,コモンセンスに反する自然言語文(検証サブタスク)を識別し,コモンセンスに反する理由(説明選択サブタスク)を正しく識別する。 SemEval-2020 Task 4のベンチマークデータセットによる実験結果から,本手法が最先端モデルより優れていることが示された。
  論文  参考訳（メタデータ） (2022-04-07T09:43:51Z)
• Towards Language Modelling in the Speech Domain Using Sub-word Linguistic Units [56.52704348773307]
  音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。 限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。 補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
  論文  参考訳（メタデータ） (2021-10-31T22:48:30Z)
• Towards Zero-shot Language Modeling [90.80124496312274]
  人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。 類型的に多様な訓練言語のサンプルからこの分布を推測する。 我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
  論文  参考訳（メタデータ） (2021-08-06T23:49:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。