論文の概要: Transformer-based Joint Modelling for Automatic Essay Scoring and Off-Topic Detection

• arxiv url: http://arxiv.org/abs/2404.08655v1
• Date: Sun, 24 Mar 2024 21:44:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-21 20:04:31.266880
• Title: Transformer-based Joint Modelling for Automatic Essay Scoring and Off-Topic Detection
• Title（参考訳）: 変圧器を用いた自動評価・オフトピック検出のためのジョイントモデリング
• Authors: Sourya Dipta Das, Yash Vadi, Kuldeep Yadav,
• Abstract要約: 我々は、エッセイを共同でスコア付けし、非トピックエッセイを検出する、教師なしのテクニックを提案している。 提案手法は,2つのエッセイ・スコリング・データセットに対して,作成したベースラインと従来手法よりも優れた性能を示す。
• 参考スコア（独自算出の注目度）: 3.609048819576875
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automated Essay Scoring (AES) systems are widely popular in the market as they constitute a cost-effective and time-effective option for grading systems. Nevertheless, many studies have demonstrated that the AES system fails to assign lower grades to irrelevant responses. Thus, detecting the off-topic response in automated essay scoring is crucial in practical tasks where candidates write unrelated text responses to the given task in the question. In this paper, we are proposing an unsupervised technique that jointly scores essays and detects off-topic essays. The proposed Automated Open Essay Scoring (AOES) model uses a novel topic regularization module (TRM), which can be attached on top of a transformer model, and is trained using a proposed hybrid loss function. After training, the AOES model is further used to calculate the Mahalanobis distance score for off-topic essay detection. Our proposed method outperforms the baseline we created and earlier conventional methods on two essay-scoring datasets in off-topic detection as well as on-topic scoring. Experimental evaluation results on different adversarial strategies also show how the suggested method is robust for detecting possible human-level perturbations.
• Abstract（参考訳）: AES(Automated Essay Scoring)システムは、グレーティングシステムにおいて費用対効果と時間対効果のオプションを構成するため、市場で広く普及している。 しかしながら、多くの研究は、AES系が非関連応答に下位グレードを割り当てることに失敗したことを証明している。 そこで, 自動エッセイ評価における話題外応答の検出は, 候補者が与えられた課題に無関係なテキスト応答を書ける実践的タスクにおいて重要である。 本稿では,エッセイを共同で採点し,非教師なしエッセイを検出する技術を提案する。 提案するAutomated Open Essay Scoring (AOES)モデルでは,トランスフォーマモデル上に付加可能な新しいトピック正規化モジュール(TRM)を用いて,ハイブリッド損失関数を用いてトレーニングを行う。 トレーニング後、AOESモデルは、オフトピーエッセイ検出のためのマハラノビス距離スコアを計算するためにさらに使用される。 提案手法は,2つのエッセイ・スコリング・データセットのベースラインおよび従来手法よりも,オフトピー検出やオントピースコアにおいて優れていた。 また, 異なる対向戦略に対する実験結果から, 提案手法が人体レベルの摂動を検知する上で頑健であることを示す。

関連論文リスト

• Phrase-Level Adversarial Training for Mitigating Bias in Neural Network-based Automatic Essay Scoring [0.0]
  本稿では,AESモデルのバイアスとロバスト性に対処する逆エッセイセットを生成するための,モデルに依存しないフレーズレベル手法を提案する。 実験の結果, 提案手法は, 逆例やシナリオの存在下で, AESモデルの性能を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2024-09-07T11:22:35Z)
• Automated Evaluation of Retrieval-Augmented Language Models with Task-Specific Exam Generation [9.390902237835457]
  検索型大規模言語モデル(RAG)のタスク固有精度を計測する新しい手法を提案する。 複数の選択質問からなる自動生成合成試験において、RAGをスコアリングして評価を行う。
  論文  参考訳（メタデータ） (2024-05-22T13:14:11Z)
• Hidding the Ghostwriters: An Adversarial Evaluation of AI-Generated Student Essay Detection [29.433764586753956]
  大規模言語モデル(LLM)は、テキスト生成タスクにおいて顕著な機能を示した。 これらのモデルの利用には、盗作行為、偽ニュースの普及、教育演習における問題など、固有のリスクが伴う。 本稿では,AI生成した学生エッセイデータセットであるAIG-ASAPを構築し,このギャップを埋めることを目的とする。
  論文  参考訳（メタデータ） (2024-02-01T08:11:56Z)
• On the Universal Adversarial Perturbations for Efficient Data-free Adversarial Detection [55.73320979733527]
  本稿では,UAPに対して正常サンプルと逆サンプルの異なる応答を誘導する,データに依存しない逆検出フレームワークを提案する。 実験結果から,本手法は様々なテキスト分類タスクにおいて,競合検出性能を実現することが示された。
  論文  参考訳（メタデータ） (2023-06-27T02:54:07Z)
• ReAct: Temporal Action Detection with Relational Queries [84.76646044604055]
  本研究は,アクションクエリを備えたエンコーダ・デコーダフレームワークを用いて,時間的行動検出(TAD)の進展を図ることを目的とする。 まず,デコーダ内の関係注意機構を提案し,その関係に基づいてクエリ間の関心を誘導する。 最後に、高品質なクエリを区別するために、推論時に各アクションクエリのローカライズ品質を予測することを提案する。
  論文  参考訳（メタデータ） (2022-07-14T17:46:37Z)
• Plug-and-Play Few-shot Object Detection with Meta Strategy and Explicit Localization Inference [78.41932738265345]
  本稿では, 微調整を行なわずに新しいカテゴリーの物体を正確に検出できるプラグ検出器を提案する。 局所化プロセスに2つの明示的な推論を導入し、アノテーション付きデータへの依存を減らす。 これは、様々な評価プロトコルの下で、効率、精度、リコールの両方において大きなリードを示している。
  論文  参考訳（メタデータ） (2021-10-26T03:09:57Z)
• AES Systems Are Both Overstable And Oversensitive: Explaining Why And Proposing Defenses [66.49753193098356]
  スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。 のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。 高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-24T03:49:38Z)
• Towards Automatic Evaluation of Dialog Systems: A Model-Free Off-Policy Evaluation Approach [84.02388020258141]
  強化学習におけるオフポリシ評価に基づく人間評価スコア推定のための新しいフレームワークであるENIGMAを提案する。 ENIGMAはいくつかの事前収集された経験データしか必要としないため、評価中にターゲットポリシーとのヒューマンインタラクションは不要である。 実験の結果,ENIGMAは人間の評価スコアと相関して既存手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2021-02-20T03:29:20Z)
• Evaluation Toolkit For Robustness Testing Of Automatic Essay Scoring Systems [64.4896118325552]
  モデル逆算評価スキームと関連するメトリクスを用いて、現状のAESモデルを評価する。 AESモデルは非常に過大評価されていることがわかった。質問の話題に関係のない内容の重い修正(25%まで)でさえ、モデルが生み出すスコアを低下させることはない。
  論文  参考訳（メタデータ） (2020-07-14T03:49:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。