論文の概要: Error-Supervised Synthetic Learner Writing for Automated Essay Scoring

• arxiv url: http://arxiv.org/abs/2609.23573v1
• Date: Sun, 20 Sep 2026 11:46:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:00.861003
• Title: Error-Supervised Synthetic Learner Writing for Automated Essay Scoring
• Title（参考訳）: 自動評価のための誤り教師付き合成学習者筆記法
• Abstract要約: 合成エッセイ生成にエラー管理を導入するための簡単なアプローチを提案する。 具体的には、文法的誤り検出(GED)で一般的に使用される種類の誤り注釈付きテキストにLLMジェネレータを微調整する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Synthetic essays can help reduce dependence on human-written data in Automated Essay Scoring (AES). However, they often lack realistic errors, limiting their ability to represent authentic human writing, particularly when the target texts are intended to resemble those produced by language learners. In this study, we present a simple approach that introduces error supervision into synthetic essay generation. Specifically, we fine-tune an LLM generator on error-annotated texts of the kind commonly used in Grammatical Error Detection (GED). To assess the utility of the proposed approach, we fine-tune and evaluate AES scorers under three data conditions: authentic essays, synthetic essays generated conventionally, and synthetic essays generated using our proposed approach. The results show that in the larger-data settings, the proposed approach outperforms the conventional synthetic baseline in 11 out of 12 dataset-metric comparisons, with performance in some cases approaching that of models trained on authentic essays. Despite these gains, performance under extremely low-resource settings remains mixed, with advantages over the conventional baseline only becoming more apparent at 200 training essays, although not consistently across datasets. Qualitative and quantitative analyses further show that the proposed approach produces learner-like errors whose distributions broadly resemble those observed in authentic essays.
• Abstract（参考訳）: 合成エッセイは、AES(Automated Essay Scoring)における人書きデータへの依存を減らすのに役立つ。 しかし、それらはしばしば現実的な誤りを欠き、特に対象のテキストが言語学習者が生成したものと似ている場合に、真の人間の文章を表現する能力を制限する。 本研究では,合成エッセイ生成に誤り管理を導入するための簡単なアプローチを提案する。 具体的には,文法的誤り検出(GED)で一般的に使用される種類の誤り注釈付きテキストに対して,LLMジェネレータを微調整する。 提案手法の有用性を評価するため,AESスコアラーを3つのデータ条件下で微調整し,評価する。 以上の結果から,提案手法は,12項目のデータセット比較において,従来の合成ベースラインよりも優れた性能を示し,真正エッセイに基づいて訓練されたモデルに近い性能を示した。 これらの向上にもかかわらず、非常に低リソース環境でのパフォーマンスは依然として混合されており、従来のベースラインよりも優位性は200のトレーニングエッセイでのみ明らかになるが、データセット間では一貫しては行われない。 定性的かつ定量的な分析により,提案手法が学習者様の誤りを生じさせることを示す。

関連論文リスト

• Detection and Interpretability Analysis of Quotation Errors by Large Language Models [3.806421007129287]
  本稿では「引用誤りの自動検出」の課題を提案する。 大言語モデル(LLM)の微調整手法は、引用誤りの自動検出のタスクに適用される。 モデルの出力結果に基づいて 解釈可能性分析を行う。
  論文  参考訳（メタデータ） (2026-06-07T12:01:48Z)
• Calibrating Generative AI to Produce Realistic Essays for Data Augmentation [0.0]
  データ拡張は、構築された応答項目のための機械学習自動スコアリングエンジンにおける限られたトレーニングデータを緩和することができる。 本研究では,大規模言語モデルに対する3つのアプローチが,本来のエッセイの質を保ったエッセイを作成し,トレーニングデータセットを増強するための現実的なテキストを生成するのに有効かを検討する。
  論文  参考訳（メタデータ） (2026-02-06T15:27:57Z)
• Large Language Models for Full-Text Methods Assessment: A Case Study on Mediation Analysis [15.98124151893659]
  大規模言語モデル(LLM)は方法論的評価の自動化の可能性を秘めている。 我々は180のフルテキストの科学論文に対して、最先端のLLMを専門家の人間レビュアーに対してベンチマークした。
  論文  参考訳（メタデータ） (2025-10-12T19:04:22Z)
• Resource for Error Analysis in Text Simplification: New Taxonomy and Test Collection [0.5939858158928474]
  本稿では,簡易テキストにおける誤りの検出と分類のためのテストコレクションを提案する。 まず,情報歪みに着目した誤り分類を提案する。 次に、自動単純化された科学的テキストの並列データセットを提案する。
  論文  参考訳（メタデータ） (2025-05-22T08:45:14Z)
• Boosting Semi-Supervised Scene Text Recognition via Viewing and Summarizing [71.29488677105127]
  既存のシーンテキスト認識(STR)手法は、特に芸術的で歪んだ文字に対して、挑戦的なテキストを認識するのに苦労している。 人的コストを伴わずに、合成データと実際のラベルなしデータを活用して、対照的な学習ベースのSTRフレームワークを提案する。 本手法は,共通ベンチマークとUnion14M-Benchmarkで平均精度94.7%,70.9%のSOTA性能を実現する。
  論文  参考訳（メタデータ） (2024-11-23T15:24:47Z)
• How Hard is this Test Set? NLI Characterization by Exploiting Training Dynamics [49.9329723199239]
  本稿では, 実例と非実例を手作業で構築することなく, 挑戦的なテストセットを自動生成する手法を提案する。 一般的なNLIデータセットのテストセットを,トレーニングダイナミクスを利用した3つの難易度に分類する。 我々の評価法がトレーニングセットに適用された場合、トレーニング対象データのごく一部でトレーニングされたモデルは、フルデータセットでトレーニングされたモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-10-04T13:39:21Z)
• Unveiling the Flaws: Exploring Imperfections in Synthetic Data and Mitigation Strategies for Large Language Models [89.88010750772413]
  大規模言語モデル(LLM)の学習における高品質なデータ不足問題に対する解決法として,合成データを提案する。 我々の研究は、Q-A(Q-A)ペア、一般的な合成データに関連するこれらの特定の欠陥を掘り下げ、これらの欠陥を軽減するための未学習技術に基づく方法を提案する。 我々の研究は、より堅牢で効率的なLLMトレーニングを促進することを目的として、合成データの効果的な利用に関する重要な洞察を得た。
  論文  参考訳（メタデータ） (2024-06-18T08:38:59Z)
• Large Language Models are Few-Shot Training Example Generators: A Case Study in Fallacy Recognition [49.38757847011105]
  計算誤認識は、さまざまなジャンル、ドメイン、データセットに見られる誤認識のタイプによって、課題に直面します。 我々は、追加の文脈を取り入れ、大規模な言語モデルを活用して合成データを生成することによって、誤認識のための既存のモデルを強化することを目指している。 評価結果は、誤検出タイプ、データセット、ジェネレータ間で一貫した改善を示す。
  論文  参考訳（メタデータ） (2023-11-16T04:17:47Z)
• On the Blind Spots of Model-Based Evaluation Metrics for Text Generation [79.01422521024834]
  テキスト生成評価指標のロバスト性分析に有用であるが,しばしば無視される手法を探索する。 我々は、幅広い潜在的な誤差を設計、合成し、それらが測定値の余計な低下をもたらすかどうかを確認する。 私たちの実験では、既存のメトリクスの興味深い不感、バイアス、あるいは抜け穴が明らかになりました。
  論文  参考訳（メタデータ） (2022-12-20T06:24:25Z)
• CONFIT: Toward Faithful Dialogue Summarization with Linguistically-Informed Contrastive Fine-tuning [5.389540975316299]
  生成された要約における現実的な矛盾は、抽象的な対話要約の実践的応用を著しく制限する。 本稿では,エラーのタイプを強調し,事実性に対する二項的理解から遠ざかるために,アノテーションデータを用いた事実的エラーのタイプ分析を行う。 本稿では,ConFiTと呼ばれる新しいコントラスト微調整手法により,要約の事実整合性と全体的な品質を改善するためのトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2021-12-16T09:08:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。