論文の概要: Cheating Automatic Short Answer Grading: On the Adversarial Usage of Adjectives and Adverbs

• arxiv url: http://arxiv.org/abs/2201.08318v1
• Date: Thu, 20 Jan 2022 17:34:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-21 13:53:17.052553
• Title: Cheating Automatic Short Answer Grading: On the Adversarial Usage of Adjectives and Adverbs
• Title（参考訳）: 自動短解像の加熱:形容詞と副詞の逆利用について
• Authors: Anna Filighera, Sebastian Ochs, Tim Steuer, Thomas Tregel
• Abstract要約: 我々は,学習用短解格付けシナリオに合わせたブラックボックス逆行攻撃を考案し,評価モデルの堅牢性について検討した。 最先端モデルBERTとT5を用いて,10～22ポイントの予測精度の低下を観測した。 本実験では,自動階調システムをより安全に活用するための推奨事項について述べる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Automatic grading models are valued for the time and effort saved during the instruction of large student bodies. Especially with the increasing digitization of education and interest in large-scale standardized testing, the popularity of automatic grading has risen to the point where commercial solutions are widely available and used. However, for short answer formats, automatic grading is challenging due to natural language ambiguity and versatility. While automatic short answer grading models are beginning to compare to human performance on some datasets, their robustness, especially to adversarially manipulated data, is questionable. Exploitable vulnerabilities in grading models can have far-reaching consequences ranging from cheating students receiving undeserved credit to undermining automatic grading altogether - even when most predictions are valid. In this paper, we devise a black-box adversarial attack tailored to the educational short answer grading scenario to investigate the grading models' robustness. In our attack, we insert adjectives and adverbs into natural places of incorrect student answers, fooling the model into predicting them as correct. We observed a loss of prediction accuracy between 10 and 22 percentage points using the state-of-the-art models BERT and T5. While our attack made answers appear less natural to humans in our experiments, it did not significantly increase the graders' suspicions of cheating. Based on our experiments, we provide recommendations for utilizing automatic grading systems more safely in practice.
• Abstract（参考訳）: 自動グレーティングモデルは、大きな学生の体を指導するときに節約される時間と労力のために評価される。 特に、教育のデジタル化が進み、大規模な標準化テストへの関心が高まったことにより、自動グレーティングの人気が高まり、商用ソリューションが広く利用されるようになった。 しかし、短い回答形式では、自然言語の曖昧さと汎用性のために自動階調が難しい。 自動短解グレーディングモデルは、一部のデータセットでの人間のパフォーマンスと比較し始めていますが、その堅牢性、特に逆向きに操作されたデータには疑問があります。 グレーティングモデルの爆発的な脆弱性は、保存されていないクレジットを受け取った学生の不正行為から、自動グレーディングを完全に損なうまで、はるかに大きな結果をもたらす可能性がある。 本稿では,学習用短解グレーディングシナリオに合わせたブラックボックス対向攻撃を考案し,評価モデルの堅牢性について検討する。 私たちの攻撃では、形容詞と副詞を不正確な生徒の答えの自然な場所に挿入し、モデルを騙して正しいと予測します。 最先端モデルBERTとT5を用いて,10～22ポイントの予測精度の低下を観測した。 我々の攻撃は、実験で人間にとって自然に見えなかったが、学年の不正行為に対する疑念を著しく増すことはなかった。 本実験に基づき,より安全に自動採点システムを利用するための推奨事項を提供する。

関連論文リスト

• Auditing an Automatic Grading Model with deep Reinforcement Learning [0.0]
  自動短解格付け(ASAG)モデルに対する深層強化学習の活用について検討する。 人間の評価に対する高いレベルの合意は、ASAGモデルが誤りであることを示す十分な証拠を与えていないことを示す。
  論文  参考訳（メタデータ） (2024-05-11T20:07:09Z)
• Beyond human subjectivity and error: a novel AI grading system [67.410870290301]
  オープンエンドの質問の格付けは、教育における高い努力と高いインパクトの課題である。 AI技術の最近のブレークスルーは、このような自動化を促進するかもしれないが、大規模に実証されていない。 本稿では,新しい自動短解階調システム(ASAG)を提案する。
  論文  参考訳（メタデータ） (2024-05-07T13:49:59Z)
• Automatic Short Math Answer Grading via In-context Meta-learning [2.0263791972068628]
  本研究では,数学質問に対する児童生徒の回答に対する自動短解格付けの問題について検討する。 我々は、数学的な内容に適応した人気のある言語モデルBERTの変種である MathBERT をベースモデルとして使用しています。 第二に、言語モデルへの入力としてスコアリングサンプルを提供する、コンテキスト内学習アプローチを用いる。
  論文  参考訳（メタデータ） (2022-05-30T16:26:02Z)
• Towards Trustworthy AutoGrading of Short, Multi-lingual, Multi-type Answers [2.2000998828262652]
  本研究では、複数の言語から約1000万の質問応答対からなる大規模なデータセットを使用する。 本研究は, 自動的に評価された回答の精度を向上し, 指導助手の精度と同等の精度を実現する方法を示す。
  論文  参考訳（メタデータ） (2022-01-02T12:17:24Z)
• Few-shot Instruction Prompts for Pretrained Language Models to Detect Social Biases [55.45617404586874]
  我々は、事前訓練された言語モデル(LM)を誘導する数ショットの命令ベース手法を提案する。 大規模なLMは、微調整モデルとよく似た精度で、異なる種類の細粒度バイアスを検出できることを示す。
  論文  参考訳（メタデータ） (2021-12-15T04:19:52Z)
• AES Systems Are Both Overstable And Oversensitive: Explaining Why And Proposing Defenses [66.49753193098356]
  スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。 のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。 高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-24T03:49:38Z)
• My Teacher Thinks The World Is Flat! Interpreting Automatic Essay Scoring Mechanism [71.34160809068996]
  最近の研究では、自動スコアリングシステムが常識的な敵対的サンプルになりやすいことが示されています。 近年の解釈能力の進歩を活かし,コヒーレンスやコンテント,関連性といった特徴がスコアリングの自動化にどの程度重要であるかを見出す。 また、モデルが意味的に世界知識や常識に基づかないことから、世界のような虚偽の事実を追加することは、それを減らすよりもむしろスコアを増加させる。
  論文  参考訳（メタデータ） (2020-12-27T06:19:20Z)
• Improving Robustness by Augmenting Training Sentences with Predicate-Argument Structures [62.562760228942054]
  データセットバイアスに対するロバスト性を改善する既存のアプローチは、主にトレーニング目標の変更に焦点を当てている。 本稿では,学習データ中の入力文に対応する述語句構造を付加することを提案する。 特定のバイアスを対象とせずに、文の増大は、複数のバイアスに対してトランスフォーマーモデルの堅牢性を向上することを示す。
  論文  参考訳（メタデータ） (2020-10-23T16:22:05Z)
• Evaluation Toolkit For Robustness Testing Of Automatic Essay Scoring Systems [64.4896118325552]
  モデル逆算評価スキームと関連するメトリクスを用いて、現状のAESモデルを評価する。 AESモデルは非常に過大評価されていることがわかった。質問の話題に関係のない内容の重い修正(25%まで)でさえ、モデルが生み出すスコアを低下させることはない。
  論文  参考訳（メタデータ） (2020-07-14T03:49:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。