論文の概要: EXCGEC: A Benchmark of Edit-wise Explainable Chinese Grammatical Error Correction

• arxiv url: http://arxiv.org/abs/2407.00924v1
• Date: Mon, 1 Jul 2024 03:06:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 00:55:54.642138
• Title: EXCGEC: A Benchmark of Edit-wise Explainable Chinese Grammatical Error Correction
• Title（参考訳）: ExCGEC:中国語の文法的誤り訂正を編集するベンチマーク
• Authors: Jingheng Ye, Shang Qin, Yinghui Li, Xuxin Cheng, Libo Qin, Hai-Tao Zheng, Peng Xing, Zishan Xu, Guo Cheng, Zhao Wei,
• Abstract要約: 本稿では,修正作業と説明作業の一体的な役割に着目したExplainable GEC(EXGEC)の課題を紹介する。 提案するEXCGECは,8,216個の説明増補サンプルからなる中国語EXGECの適合ベンチマークである。
• 参考スコア（独自算出の注目度）: 21.869368698234247
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing studies explore the explainability of Grammatical Error Correction (GEC) in a limited scenario, where they ignore the interaction between corrections and explanations. To bridge the gap, this paper introduces the task of EXplainable GEC (EXGEC), which focuses on the integral role of both correction and explanation tasks. To facilitate the task, we propose EXCGEC, a tailored benchmark for Chinese EXGEC consisting of 8,216 explanation-augmented samples featuring the design of hybrid edit-wise explanations. We benchmark several series of LLMs in multiple settings, covering post-explaining and pre-explaining. To promote the development of the task, we introduce a comprehensive suite of automatic metrics and conduct human evaluation experiments to demonstrate the human consistency of the automatic metrics for free-text explanations. All the codes and data will be released after the review.
• Abstract（参考訳）: 既存の研究では、文法的誤り訂正(GEC)の限られたシナリオにおける説明可能性について検討しており、修正と説明の間の相互作用を無視している。 本稿では,このギャップを埋めるために,修正タスクと説明タスクの両立に焦点をあてたEXGEC(Explainable GEC)の課題を紹介する。 そこで本研究では,8,216個の説明拡張サンプルからなる中国語EXGECの最適化されたベンチマークであるEXCGECを提案する。 複数の LLM を複数の設定でベンチマークし、説明後および説明前を網羅する。 タスクの開発を促進するために,自動メトリクスの包括的スイートを導入し,人間の評価実験を行い,自由文説明のための自動メトリクスの人間の一貫性を実証する。 すべてのコードとデータは、レビュー後にリリースされる。

関連論文リスト

• Controlled Generation with Prompt Insertion for Natural Language Explanations in Grammatical Error Correction [50.66922361766939]
  ユーザの修正理由の理解を確保することが不可欠である。 既存の研究では、修正の根拠となるトークン、例、ヒントが提示されているが、修正の理由を直接説明していない。 GEC修正のための説明を生成するには、入力トークンと出力トークンの整列、修正ポイントの識別、およびそれに対応する説明を一貫して提示することが含まれる。 本研究では,LLMが自然言語の修正の理由を説明するために,Prompt Insertion (PI) を用いた制御生成法を提案する。
  論文  参考訳（メタデータ） (2023-09-20T16:14:10Z)
• XATU: A Fine-grained Instruction-based Benchmark for Explainable Text Updates [7.660511135287692]
  本稿では,微粒な命令ベースの説明可能なテキスト編集用に設計された最初のベンチマークであるXATUを紹介する。 XATUは、語彙、構文、意味論、知識集約的な編集といった難易度の細かいテキスト編集タスクについて検討している。 各種編集タスクにおける命令チューニングの有効性と基礎となるアーキテクチャの影響を実証する。
  論文  参考訳（メタデータ） (2023-09-20T04:58:59Z)
• Instruction Position Matters in Sequence Generation with Large Language Models [67.87516654892343]
  大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。 入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-08-23T12:36:57Z)
• CLEME: Debiasing Multi-reference Evaluation for Grammatical Error Correction [32.44051877804761]
  チャンクレベル多重参照評価(CLEME)は,多参照評価設定において文法誤り訂正(GEC)システムを評価するように設計されている。 我々は、CoNLL-2014共有タスクに基づく6つの英語参照セットの実験を行う。
  論文  参考訳（メタデータ） (2023-05-18T08:57:17Z)
• Explanation Selection Using Unlabeled Data for Chain-of-Thought Prompting [80.9896041501715]
  非専門家によって書かれたオフ・ザ・シェルフの説明のように、タスクのために"チューニング"されていない説明は、中途半端なパフォーマンスをもたらす可能性がある。 本稿では,ブラックボックス方式で説明拡散プロンプトを最適化する方法の課題に対処する。
  論文  参考訳（メタデータ） (2023-02-09T18:02:34Z)
• FCGEC: Fine-Grained Corpus for Chinese Grammatical Error Correction [6.116341682577877]
  近年,文法的誤り訂正 (GEC) が自動修正・校正システムに広く応用されている。 文法的誤りを検出し,特定し,修正するための微粒なコーパスである FCGEC を提案する。
  論文  参考訳（メタデータ） (2022-10-22T06:29:05Z)
• Improving Chinese Spelling Check by Character Pronunciation Prediction: The Effects of Adaptivity and Granularity [76.20568599642799]
  中国語のスペルチェック(英語: Chinese spelling check, CSC)は、中国語のテキスト中のスペルエラーを検出し修正する基本的なNLPタスクである。 本稿では,CSCを改善するために中国語発音予測(CPP)の補助的タスクを導入することを検討する。 本稿では,共有エンコーダの2つの並列デコーダ上に構築したSCOPEを提案する。
  論文  参考訳（メタデータ） (2022-10-20T03:42:35Z)
• Improving Pre-trained Language Models with Syntactic Dependency Prediction Task for Chinese Semantic Error Recognition [52.55136323341319]
  既存の中国語のテキスト誤り検出は主にスペルと単純な文法的誤りに焦点を当てている。 中国の意味的誤りは、人間が容易に認識できないほど過小評価され、複雑である。
  論文  参考訳（メタデータ） (2022-04-15T13:55:32Z)
• Generating Fluent Fact Checking Explanations with Unsupervised Post-Editing [22.5444107755288]
  本稿では,句レベルの編集のみを用いて,支配コメントの教師なし後編集を行う反復編集アルゴリズムを提案する。 本モデルでは, 流動性, 可読性, 非冗長性, 事実チェックのための重要な情報をカバーする説明文を生成する。
  論文  参考訳（メタデータ） (2021-12-13T15:31:07Z)
• Towards Minimal Supervision BERT-based Grammar Error Correction [81.90356787324481]
  我々は、事前訓練された言語モデルからコンテキスト情報を取り入れて、アノテーションを活用し、多言語シナリオの恩恵を得ようとしている。 その結果、文法的誤り訂正タスクにおいて、変換器(BERT)からの双方向表現の強い可能性を示す。
  論文  参考訳（メタデータ） (2020-01-10T15:45:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。