Fugu-MT 論文翻訳(概要): Automatic Detection of Inauthentic Templated Responses in English Language Assessments

論文の概要: Automatic Detection of Inauthentic Templated Responses in English Language Assessments

arxiv url: http://arxiv.org/abs/2509.08355v1
Date: Wed, 10 Sep 2025 07:45:02 GMT
ステータス: 翻訳完了
システム内更新日: 2025-09-11 15:16:52.344903
Title: Automatic Detection of Inauthentic Templated Responses in English Language Assessments
Title（参考訳）: 英語評価における不正確なテンプレート応答の自動検出
Authors: Yashad Samant, Lee Becker, Scott Hellman, Bradley Behan, Sarah Hughes, Joshua Southerland,
Abstract要約: ハイテイクイングリッシュ・アセスメント(英語版)では、低スキルなテストテイクは「テンプレート」と呼ばれる記憶された素材をゲームに対するエッセイ質問に使用したり、自動スコアリングシステムを騙したりすることができる。本研究では,不正確なテンプレート応答(AuDITR)タスクの自動検出について紹介する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In high-stakes English Language Assessments, low-skill test takers may employ memorized materials called ``templates'' on essay questions to ``game'' or fool the automated scoring system. In this study, we introduce the automated detection of inauthentic, templated responses (AuDITR) task, describe a machine learning-based approach to this task and illustrate the importance of regularly updating these models in production.
Abstract（参考訳）: ハイテイクイングリッシュ・アセスメント(英語版)では、低スキルの試験受験者は「ゲーム」に対するエッセイ質問や自動スコアリングシステムを騙すために「テプテス」と呼ばれる暗記された材料を使用できる。本研究では,非正当性,テンプレート応答(AuDITR)タスクの自動検出について紹介し,このタスクに対する機械学習に基づくアプローチについて述べるとともに,これらのモデルを本番環境で定期的に更新することが重要であることを示す。

関連論文リスト

Automatic Generation of Behavioral Test Cases For Natural Language Processing Using Clustering and Prompting [6.938766764201549]
本稿では,大規模言語モデルと統計的手法の力を活用したテストケースの自動開発手法を提案する。 4つの異なる分類アルゴリズムを用いて行動テストプロファイルを分析し、それらのモデルの限界と強みについて議論する。
論文参考訳（メタデータ） (2024-07-31T21:12:21Z)
Exploring Large Language Models for Relevance Judgments in Tetun [0.03683202928838613]
本稿では,大規模言語モデル(LLM)による妥当性評価の自動化の可能性について検討する。 LLMは、Tetunで一連のクエリドキュメントペアを入力テキストとして提供することにより、関連判断タスクを自動化するために使用される。本研究は,高ソース言語研究において報告された結果と密接に一致した結果を明らかにする。
論文参考訳（メタデータ） (2024-06-11T14:28:24Z)
AutoSurvey: Large Language Models Can Automatically Write Surveys [77.0458309675818]
本稿では,総合的な文献調査を自動作成する手法であるAutoSurveyを紹介する。従来の調査論文は、膨大な量の情報と複雑さのために、課題に直面している。我々の貢献には、調査問題に対する総合的な解決策、信頼性評価方法、AutoSurveyの有効性を実証する実験的な検証が含まれる。
論文参考訳（メタデータ） (2024-06-10T12:56:06Z)
Empirical Study of Large Language Models as Automated Essay Scoring Tools in English Composition__Taking TOEFL Independent Writing Task for Example [25.220438332156114]
本研究では,大規模言語モデルの顕著な代表者であるChatGPTの機能と制約を評価することを目的とする。本研究はChatGPTを用いて,小さなサンプルサイズであっても,英語エッセイの自動評価を行う。
論文参考訳（メタデータ） (2024-01-07T07:13:50Z)
The Devil is in the Errors: Leveraging Large Language Models for Fine-grained Machine Translation Evaluation [93.01964988474755]
AutoMQMは,大規模な言語モデルに対して,翻訳におけるエラーの識別と分類を求めるプロンプト技術である。テキスト内学習と微調整によるラベル付きデータの影響について検討する。次に, PaLM-2モデルを用いてAutoMQMを評価し, スコアのプロンプトよりも性能が向上することがわかった。
論文参考訳（メタデータ） (2023-08-14T17:17:21Z)
Modelling Assessment Rubrics through Bayesian Networks: a Pragmatic Approach [40.06500618820166]
本稿では,学習者モデルを直接評価ルーリックから導出する手法を提案する。本稿では,コンピュータ思考のスキルをテストするために開発された活動の人的評価を自動化するために,この手法を適用する方法について述べる。
論文参考訳（メタデータ） (2022-09-07T10:09:12Z)
AutoPrompt: Eliciting Knowledge from Language Models with Automatically Generated Prompts [46.03503882865222]
AutoPromptは、勾配誘導検索に基づいて、さまざまなタスクセットのプロンプトを作成する自動メソッドである。マスク付き言語モデル(MLM)は,感情分析や自然言語推論を,追加パラメータや微調整を伴わずに行う能力を持つことを示す。
論文参考訳（メタデータ） (2020-10-29T22:54:00Z)
Curious Case of Language Generation Evaluation Metrics: A Cautionary Tale [52.663117551150954]
イメージキャプションや機械翻訳などのタスクを評価するデファクトメトリクスとして、いくつかの一般的な指標が残っている。これは、使いやすさが原因でもあり、また、研究者がそれらを見て解釈する方法を知りたがっているためでもある。本稿では,モデルの自動評価方法について,コミュニティにより慎重に検討するよう促す。
論文参考訳（メタデータ） (2020-10-26T13:57:20Z)
Knowledge Distillation for Improved Accuracy in Spoken Question Answering [63.72278693825945]
我々は,音声文書や書面文書から知識蒸留を行うための訓練戦略を考案した。我々の研究は、言語モデルから知識の抽出を監督信号として進めている。実験により,本手法はSpken-SQuADデータセット上で,最先端の言語モデルよりも優れていることが示された。
論文参考訳（メタデータ） (2020-10-21T15:18:01Z)
Induction and Exploitation of Subgoal Automata for Reinforcement Learning [75.55324974788475]
本稿では,Regressed Learning (RL)タスクにおけるサブゴールの学習と活用のためのISAを提案する。 ISAは、タスクのサブゴールによってエッジがラベル付けされたオートマトンであるサブゴールオートマトンを誘導することで強化学習をインターリーブする。サブゴールオートマトンはまた、タスクの完了を示す状態と、タスクが成功せずに完了したことを示す状態の2つの特別な状態で構成されている。
論文参考訳（メタデータ） (2020-09-08T16:42:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。