論文の概要: Ungrammatical-syntax-based In-context Example Selection for Grammatical Error Correction
- arxiv url: http://arxiv.org/abs/2403.19283v1
- Date: Thu, 28 Mar 2024 10:05:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-29 16:43:33.386668
- Title: Ungrammatical-syntax-based In-context Example Selection for Grammatical Error Correction
- Title(参考訳): 文法的誤り訂正のための非文法的シンタクスに基づくインコンテキスト例選択
- Authors: Chenming Tang, Fanyi Qu, Yunfang Wu,
- Abstract要約: 本稿では,文法的誤り訂正のための非文法的シンタクスに基づく文内例選択手法を提案する。
具体的には,多種多様なアルゴリズムを用いた構文構造に基づいて文の類似度を測定し,テスト入力に最もよく似た不規則な構文を共有する最適なICL例を同定する。
- 参考スコア(独自算出の注目度): 8.655807096424732
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the era of large language models (LLMs), in-context learning (ICL) stands out as an effective prompting strategy that explores LLMs' potency across various tasks. However, applying LLMs to grammatical error correction (GEC) is still a challenging task. In this paper, we propose a novel ungrammatical-syntax-based in-context example selection strategy for GEC. Specifically, we measure similarity of sentences based on their syntactic structures with diverse algorithms, and identify optimal ICL examples sharing the most similar ill-formed syntax to the test input. Additionally, we carry out a two-stage process to further improve the quality of selection results. On benchmark English GEC datasets, empirical results show that our proposed ungrammatical-syntax-based strategies outperform commonly-used word-matching or semantics-based methods with multiple LLMs. This indicates that for a syntax-oriented task like GEC, paying more attention to syntactic information can effectively boost LLMs' performance. Our code will be publicly available after the publication of this paper.
- Abstract(参考訳): 大規模言語モデル (LLM) の時代において、インコンテキスト学習 (ICL) は様々なタスクにおけるLLMの有効性を探究する効果的な促進戦略として際立っている。
しかし,LLMを文法的誤り訂正(GEC)に適用することは依然として難しい課題である。
本稿では,GECのための非文法的シンタクスに基づく文内サンプル選択手法を提案する。
具体的には,多種多様なアルゴリズムを用いた構文構造に基づいて文の類似度を測定し,テスト入力に最もよく似た不規則な構文を共有する最適なICL例を同定する。
さらに,選択結果の質をさらに向上する2段階のプロセスも実施する。
英語のGECデータセットのベンチマークでは,提案した非文法的構文に基づく戦略が,複数のLLMを用いた単語マッチングやセマンティクスに基づく手法よりも優れていることが示された。
これは、GECのような構文指向のタスクでは、構文情報にもっと注意を払うことで、LLMのパフォーマンスを効果的に向上させることができることを示している。
この論文の公表後、私たちのコードは公開されます。
関連論文リスト
- ParaICL: Towards Robust Parallel In-Context Learning [74.38022919598443]
大規模言語モデル(LLM)が自然言語処理の標準となっている。
インコンテキスト・ラーニング(ICL)は、いくつかの実演例の選択に依存している。
パラレルインコンテキスト学習(ParaICL)という新しい手法を提案する。
論文 参考訳(メタデータ) (2024-03-31T05:56:15Z) - Going Beyond Word Matching: Syntax Improves In-context Example Selection for Machine Translation [13.87098305304058]
In-context Learning (ICL) は、大規模言語モデル(LLM)の時代におけるトレンドの促進戦略である。
機械翻訳(MT)のテキスト内サンプル選択は、表面的な単語レベルの特徴に重点を置いている。
本稿では,依存木間の構文的類似性を計算し,構文に基づくMTの例選択手法を提案する。
論文 参考訳(メタデータ) (2024-03-28T10:13:34Z) - Prompting open-source and commercial language models for grammatical
error correction of English learner text [19.192210777082053]
大規模言語モデル(LLM)は、流動的で文法的なテキストを生成するよう促すことができる。
確立したベンチマークデータセット上で, 文法的誤り訂正(GEC)におけるLLMの性能評価を行った。
いくつかのオープンソースモデルは、最小限の編集ベンチマークで商用モデルよりも優れており、いくつかの設定ではゼロショットプロンプトは、少数ショットプロンプトと同じくらい競争力がある。
論文 参考訳(メタデータ) (2024-01-15T14:19:47Z) - Which Syntactic Capabilities Are Statistically Learned by Masked
Language Models for Code? [51.29970742152668]
精度に基づく測定に依存することで、モデルの能力が過大評価される可能性があることを強調する。
これらの問題に対処するために,SyntaxEval in Syntactic Capabilitiesというテクニックを導入する。
論文 参考訳(メタデータ) (2024-01-03T02:44:02Z) - kNN-ICL: Compositional Task-Oriented Parsing Generalization with Nearest
Neighbor In-Context Learning [50.40636157214161]
Task-Oriented Parsing (TOP)により、会話アシスタントは自然言語で表現されたユーザーコマンドを解釈できる。
LLMは、自然言語のプロンプトに基づいて、コンピュータプログラムにおいて印象的な性能を達成した。
本稿では,LLMのセマンティック解析機能を活用することに焦点を当てる。
論文 参考訳(メタデータ) (2023-12-17T17:26:50Z) - Generative Context-aware Fine-tuning of Self-supervised Speech Models [54.389711404209415]
生成型大規模言語モデル(LLM)生成コンテキスト情報の利用について検討する。
自己教師型音声モデルの微調整中に生成した情報を抽出する手法を提案する。
本稿では,SLUE と Libri-light のベンチマークを用いて,自動音声認識,名前付きエンティティ認識,感情分析を行う手法を提案する。
論文 参考訳(メタデータ) (2023-12-15T15:46:02Z) - ICL Markup: Structuring In-Context Learning using Soft-Token Tags [8.211752085441923]
大規模事前訓練言語モデル(LLM)は、テキストからテキストへのアプローチによって、幅広いタスクに迅速に適応することができる。
HTMLのようなマークアップ言語にインスパイアされた我々は、プロンプトテンプレートを構成するためにソフトトークンタグを使用する方法に貢献する。
本手法はICLのためのメタラーニングの一種であり,パラメータ効率の良い微調整ウォームアッププロセスにおいて,事前にこれらのタグを学習する。
論文 参考訳(メタデータ) (2023-12-12T16:25:05Z) - Speak Like a Native: Prompting Large Language Models in a Native Style [53.84738665918496]
In-context Learning (ICL) with large language model (LLMs) は、多くの自然言語処理タスクにおいて近代的なツールとなっている。
本稿では, LLMの推論能力を向上させるために, textbfAlignedCoT という新しい効果的手法を提案する。
数学的質問答え、常識的推論、テキスト理解に関するいくつかのベンチマークにおいて、広範囲かつ包括的な実験を行う。
論文 参考訳(メタデータ) (2023-11-22T17:24:21Z) - Automatic Smart Contract Comment Generation via Large Language Models
and In-Context Learning [11.52122354673779]
本研究では,大規模言語モデル(LLM)と文脈内学習に基づくSCCLLMのアプローチを提案する。
具体的には、デモ選択フェーズにおいて、SCCLLMは歴史的コーパスからトップkコードスニペットを検索する。
コンテキスト内学習フェーズでは、SCCLLMは検索したコードスニペットをデモとして利用する。
論文 参考訳(メタデータ) (2023-11-17T08:31:09Z) - Grammar Prompting for Domain-Specific Language Generation with Large
Language Models [40.831045850285776]
大規模言語モデル(LLM)は、コンテキスト内サンプルのごく一部から、幅広い自然言語タスクを実行することを学べる。
本稿では,LLMが外部知識やドメイン固有の制約を利用できるための簡単な手法であるEmphgrammar promptingを提案する。
論文 参考訳(メタデータ) (2023-05-30T17:26:01Z) - A Unified Strategy for Multilingual Grammatical Error Correction with
Pre-trained Cross-Lingual Language Model [100.67378875773495]
本稿では,多言語文法的誤り訂正のための汎用的かつ言語に依存しない戦略を提案する。
我々の手法は言語固有の操作を使わずに多様な並列GECデータを生成する。
NLPCC 2018 Task 2のデータセット(中国語)で最先端の結果を達成し、Falko-Merlin(ドイツ語)とRULEC-GEC(ロシア語)の競合性能を得る。
論文 参考訳(メタデータ) (2022-01-26T02:10:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。