論文の概要: Gender Bias and Universal Substitution Adversarial Attacks on
Grammatical Error Correction Systems for Automated Assessment
- arxiv url: http://arxiv.org/abs/2208.09466v1
- Date: Fri, 19 Aug 2022 17:44:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-22 16:56:06.569258
- Title: Gender Bias and Universal Substitution Adversarial Attacks on
Grammatical Error Correction Systems for Automated Assessment
- Title（参考訳）: 自動評価のための文法誤り訂正システムにおけるジェンダーバイアスとユニバーサル置換回避攻撃
- Authors: Vyas Raina and Mark Gales
- Abstract要約: GECシステムはしばしば、評価とフィードバックの形式として、英語学習者の音声の書き起こしに使用される。
候補の入力文からGECシステムの文法的に訂正された出力文への編集回数は、候補の言語能力を示す。
本研究は、英語の非母語話者が現実的に、評価に使用されるECCシステムを騙すために使用できる、単純な普遍的置換対逆攻撃について検討する。
- 参考スコア（独自算出の注目度）: 1.4213973379473654
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Grammatical Error Correction (GEC) systems perform a sequence-to-sequence
task, where an input word sequence containing grammatical errors, is corrected
for these errors by the GEC system to output a grammatically correct word
sequence. With the advent of deep learning methods, automated GEC systems have
become increasingly popular. For example, GEC systems are often used on speech
transcriptions of English learners as a form of assessment and feedback - these
powerful GEC systems can be used to automatically measure an aspect of a
candidate's fluency. The count of \textit{edits} from a candidate's input
sentence (or essay) to a GEC system's grammatically corrected output sentence
is indicative of a candidate's language ability, where fewer edits suggest
better fluency. The count of edits can thus be viewed as a \textit{fluency
score} with zero implying perfect fluency. However, although deep learning
based GEC systems are extremely powerful and accurate, they are susceptible to
adversarial attacks: an adversary can introduce a small, specific change at the
input of a system that causes a large, undesired change at the output. When
considering the application of GEC systems to automated language assessment,
the aim of an adversary could be to cheat by making a small change to a
grammatically incorrect input sentence that conceals the errors from a GEC
system, such that no edits are found and the candidate is unjustly awarded a
perfect fluency score. This work examines a simple universal substitution
adversarial attack that non-native speakers of English could realistically
employ to deceive GEC systems used for assessment.
- Abstract（参考訳）: 文法的誤り訂正(gec:grammatical error correction)システムは、文法的誤りを含む入力語列をgecシステムによって補正して文法的に正しい単語列を出力する、シーケンス-シーケンス間タスクを実行する。
ディープラーニング手法の出現により、自動化されたECCシステムはますます人気が高まっている。
例えば、GECシステムは英語学習者の音声の書き起こしにアセスメントとフィードバックの形でよく使われます。
候補の入力文(またはエッセイ)から GEC システムの文法的に訂正された出力文までの \textit{edits} のカウントは、より少ない編集がより流布を示唆する候補の言語能力を示すものである。
したがって、編集回数は完全な流束を含まない \textit{fluency score} と見なすことができる。
しかし、ディープラーニングに基づくGECシステムは極めて強力で正確であるが、敵の攻撃の影響を受けやすい:敵対者は、出力に大きな望ましくない変更を引き起こすシステムの入力時に、小さな特定の変更を導入することができる。
自動言語評価へのgecシステムの適用を考えると、逆者の目的は、gecシステムから誤りを隠蔽する文法的不正確な入力文に小さな変更を加えることで、編集が無く、候補が不当に完全なフルエンシースコアを与えられるようにすることである。
本研究は、英語の母語話者以外の話者が現実的に、評価に使用されるECCシステムを欺くための単純な普遍的置換対逆攻撃について検討する。
関連論文リスト
- LM-Combiner: A Contextual Rewriting Model for Chinese Grammatical Error Correction [49.0746090186582]
過剰補正は中国の文法的誤り訂正(CGEC)タスクにおいて重要な問題である。
モデルアンサンブル法による最近の研究は、過剰補正を効果的に軽減し、ECCシステムの精度を向上させることができる。
本稿では,GECシステム出力の過度補正をモデルアンサンブルなしで直接修正できる書き換えモデルLM-Combinerを提案する。
論文 参考訳（メタデータ） (2024-03-26T06:12:21Z) - Revisiting Meta-evaluation for Grammatical Error Correction [14.822205658480813]
SEEDAはGECメタ評価のための新しいデータセットである。
人間の評価を2つの異なる粒度で補正する。
その結果,既存の研究では編集基準が過小評価されていた可能性が示唆された。
論文 参考訳（メタデータ） (2024-03-05T05:53:09Z) - RobustGEC: Robust Grammatical Error Correction Against Subtle Context
Perturbation [64.2568239429946]
本稿では,GECシステムのコンテキストロバスト性を評価するためのベンチマークであるRobustGECを紹介する。
現状のGECシステムには, 文脈摂動に対する十分な堅牢性がないことが明らかとなった。
論文 参考訳（メタデータ） (2023-10-11T08:33:23Z) - Enhancing Grammatical Error Correction Systems with Explanations [45.69642286275681]
文法的誤り訂正システムは、言語誤りを検出し、修正することで、文字によるコミュニケーションを改善する。
本稿では,エビデンスワードと文法的誤り型を付加したデータセットEXPECTを紹介する。
人間の評価により,GECシステムの説明は,訂正提案を受理するか否かを判断する第2言語学習者を支援することができる。
論文 参考訳（メタデータ） (2023-05-25T03:00:49Z) - FCGEC: Fine-Grained Corpus for Chinese Grammatical Error Correction [6.116341682577877]
近年,文法的誤り訂正 (GEC) が自動修正・校正システムに広く応用されている。
文法的誤りを検出し,特定し,修正するための微粒なコーパスである FCGEC を提案する。
論文 参考訳（メタデータ） (2022-10-22T06:29:05Z) - A Syntax-Guided Grammatical Error Correction Model with Dependency Tree
Correction [83.14159143179269]
文法的誤り訂正(英: Grammatical Error Correction, GEC)は、文中の文法的誤りを検出し、訂正するタスクである。
本稿では,依存木の構文知識を利用するためのグラフアテンション機構を採用した構文誘導型GECモデル(SG-GEC)を提案する。
我々は、GECタスクの公開ベンチマークでモデルを評価し、競争結果を得る。
論文 参考訳（メタデータ） (2021-11-05T07:07:48Z) - LM-Critic: Language Models for Unsupervised Grammatical Error Correction [128.9174409251852]
文を文法的に判断する LM-Critic の定義において,事前訓練された言語モデル (LM) の活用法を示す。
このLM-Critic と BIFI と、ラベルなし文の集合を併用して、現実的な非文法的/文法的ペアをブートストラップし、修正子を訓練する。
論文 参考訳（メタデータ） (2021-09-14T17:06:43Z) - Improving the Efficiency of Grammatical Error Correction with Erroneous
Span Detection and Correction [106.63733511672721]
ESD(Eroneous Span Detection)とESC(Eroneous Span Correction)の2つのサブタスクに分割することで、文法的誤り訂正(GEC)の効率を改善するための言語に依存しない新しいアプローチを提案する。
ESDは、効率的なシーケンスタグ付けモデルを用いて文法的に誤りテキストスパンを識別する。ESCは、Seq2seqモデルを利用して、注釈付き誤字スパンの文を入力として取り、これらのスパンの修正テキストのみを出力する。
実験の結果,提案手法は英語と中国語のGECベンチマークにおいて従来のセク2seq手法と同等に動作し,推論に要するコストは50%以下であった。
論文 参考訳（メタデータ） (2020-10-07T08:29:11Z) - Adversarial Grammatical Error Correction [2.132096006921048]
本稿では,ジェネレータ・ディスクリミネータ・フレームワークを用いた文法誤り訂正(GEC)に対する逆学習手法を提案する。
我々は、識別器とジェネレータの両方を並列テキストで事前訓練し、さらにポリシー勾配法を用いて微調整する。
FCE, CoNLL-14, BEA-19データセットによる実験結果から, Adversarial-GEC は NMT ベースのベースラインに比べて競争力のある GEC 品質を達成できることが示された。
論文 参考訳（メタデータ） (2020-10-06T00:31:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。