論文の概要: Evaluating Prompting Strategies for Grammatical Error Correction Based
on Language Proficiency
- arxiv url: http://arxiv.org/abs/2402.15930v1
- Date: Sat, 24 Feb 2024 23:17:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-27 16:22:29.783655
- Title: Evaluating Prompting Strategies for Grammatical Error Correction Based
on Language Proficiency
- Title(参考訳): 言語習熟度に基づく文法的誤り訂正手法の評価
- Authors: Min Zeng and Jiexin Kuang and Mengyang Qiu and Jayoung Song and
Jungyeul Park
- Abstract要約: オーバーコレクションは,習熟度A(初心者レベル)と習熟度B(中間レベル)ではなく,先進言語学習者の書記(習熟度C)で主に発生する。
微調整のLLMや、英語学習者の例を書いている数発のショットでさえ、実際にはリコール対策の低下を示す傾向にある。
- 参考スコア(独自算出の注目度): 3.848964608707635
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The writing examples of English language learners may be different from those
of native speakers. Given that there is a significant differences in second
language (L2) learners' error types by their proficiency levels, this paper
attempts to reduce overcorrection by examining the interaction between LLM's
performance and L2 language proficiency. Our method focuses on zero-shot and
few-shot prompting and fine-tuning models for GEC for learners of English as a
foreign language based on the different proficiency. We investigate GEC results
and find that overcorrection happens primarily in advanced language learners'
writing (proficiency C) rather than proficiency A (a beginner level) and
proficiency B (an intermediate level). Fine-tuned LLMs, and even few-shot
prompting with writing examples of English learners, actually tend to exhibit
decreased recall measures. To make our claim concrete, we conduct a
comprehensive examination of GEC outcomes and their evaluation results based on
language proficiency.
- Abstract(参考訳): 英語学習者の記述例は、母語話者のものとは異なる可能性がある。
本稿では,LLMの性能とL2言語の習熟度との相互作用を調べた結果,学習者の習熟度によって2言語(L2)の誤りタイプに有意な差があることを考える。
本手法は,外国語の学習者を対象に,異なる習熟度に基づく英語学習者のための,ゼロショットとマイショットプロンプトと微調整モデルに着目した。
我々は, GECの結果を調査し, 熟達度A(初心者レベル)と習熟度B(中間レベル)よりも, 先進言語学習者の文章(習熟度C)に過度な補正が生じていることを見出した。
微調整のLLMや、英語学習者の例を書いている数発のショットでさえ、実際にはリコール対策が減少する傾向にある。
請求書を具体化するために,言語習熟度に基づくGEC結果とその評価結果を総合的に検討する。
関連論文リスト
- Analyzing and Adapting Large Language Models for Few-Shot Multilingual
NLU: Are We There Yet? [82.02076369811402]
教師付きファインチューニング(SFT)、教師付きインストラクションチューニング(SIT)、インコンテキストラーニング(ICL)は、3つの代替であり、事実上の標準的アプローチである。
提案手法は,6つの高・低リソース言語,3つの異なるNLUタスク,多種多様な言語とドメインのセットアップを用いて,3つのアプローチを網羅的かつ体系的に比較する。
そこで本研究では,教師あり指導のチューニングが,性能とリソース要件の最良のトレードオフであることを示す。
論文 参考訳(メタデータ) (2024-03-04T10:48:13Z) - Decomposed Prompting: Unveiling Multilingual Linguistic Structure
Knowledge in English-Centric Large Language Models [12.700783525558721]
GPT-3やLLaMAのような英語中心のLarge Language Models (LLM)は、多言語タスクを実行する素晴らしい能力を示している。
本稿では,シーケンスラベリングタスクにおいて,これらのLLMの言語構造理解を探索するための分解的プロンプト手法を提案する。
論文 参考訳(メタデータ) (2024-02-28T15:15:39Z) - Prompting open-source and commercial language models for grammatical
error correction of English learner text [19.192210777082053]
大規模言語モデル(LLM)は、流動的で文法的なテキストを生成するよう促すことができる。
確立したベンチマークデータセット上で, 文法的誤り訂正(GEC)におけるLLMの性能評価を行った。
いくつかのオープンソースモデルは、最小限の編集ベンチマークで商用モデルよりも優れており、いくつかの設定ではゼロショットプロンプトは、少数ショットプロンプトと同じくらい競争力がある。
論文 参考訳(メタデータ) (2024-01-15T14:19:47Z) - Exploring the Dialogue Comprehension Ability of Large Language Models [55.528419872243994]
評価は対話要約タスクの助けを借りて行われる。
生成した要約から事実質問を導き、より柔軟な対話理解尺度として利用する。
提案手法はDIAC-FactQAで10.9%の誤差率向上を実現した。
論文 参考訳(メタデータ) (2023-11-13T09:32:12Z) - Towards End-to-End Spoken Grammatical Error Correction [35.003703749280454]
Spoken grammatical error correct (GEC) は,L2学習者に対して,発話時の文法使用に対するフィードバックの提供を目的としている。
本稿では,音声認識基盤モデルであるWhisperを利用して,音声GECに対する「エンドツーエンド」アプローチを提案する。
論文 参考訳(メタデータ) (2023-11-09T17:49:02Z) - Cross-Lingual Consistency of Factual Knowledge in Multilingual Language
Models [2.6626950367610402]
本研究では,多言語PLMにおける事実知識の言語間整合性(CLC)について検討する。
本稿では,言語間の知識一貫性を精度から独立して評価するために,ランク付けに基づく一貫性尺度(RankC)を提案する。
論文 参考訳(メタデータ) (2023-10-16T13:19:17Z) - Unlikelihood Tuning on Negative Samples Amazingly Improves Zero-Shot
Translation [79.96416609433724]
Zero-shot Translation (ZST)は、トレーニングデータにおいて、目に見えない言語ペア間の翻訳を目的としている。
推論中にゼロショット言語マッピングをガイドする一般的な方法は、ソースとターゲット言語IDを意図的に挿入することである。
近年の研究では、言語IDが時折ZSTタスクのナビゲートに失敗し、ターゲット外問題に悩まされることが示されている。
論文 参考訳(メタデータ) (2023-09-28T17:02:36Z) - Bridging the Gap Between Training and Inference of Bayesian Controllable
Language Models [58.990214815032495]
大規模事前学習型言語モデルは、自然言語生成タスクにおいて大きな成功を収めている。
BCLMは制御可能な言語生成において効率的であることが示されている。
本稿では,ミスマッチ問題を少ない計算コストで軽減する制御可能な言語生成のための"Gemini Discriminator"を提案する。
論文 参考訳(メタデータ) (2022-06-11T12:52:32Z) - A Unified Strategy for Multilingual Grammatical Error Correction with
Pre-trained Cross-Lingual Language Model [100.67378875773495]
本稿では,多言語文法的誤り訂正のための汎用的かつ言語に依存しない戦略を提案する。
我々の手法は言語固有の操作を使わずに多様な並列GECデータを生成する。
NLPCC 2018 Task 2のデータセット(中国語)で最先端の結果を達成し、Falko-Merlin(ドイツ語)とRULEC-GEC(ロシア語)の競合性能を得る。
論文 参考訳(メタデータ) (2022-01-26T02:10:32Z) - On the Language-specificity of Multilingual BERT and the Impact of
Fine-tuning [7.493779672689531]
multilingual BERT (mBERT) が獲得した知識は、言語固有のものと言語ニュートラルな2つのコンポーネントを持っている。
本稿では,2つのタスクの微調整の文脈において,それらの関係を解析する。
論文 参考訳(メタデータ) (2021-09-14T19:28:31Z) - On the Robustness of Language Encoders against Grammatical Errors [66.05648604987479]
我々は、非ネイティブ話者から実際の文法的誤りを収集し、これらの誤りをクリーンテキストデータ上でシミュレートするために敵攻撃を行う。
結果,全ての試験モデルの性能は影響するが,影響の程度は異なることがわかった。
論文 参考訳(メタデータ) (2020-05-12T11:01:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。