論文の概要: Enhancing Arabic Automated Essay Scoring with Synthetic Data and Error Injection

• arxiv url: http://arxiv.org/abs/2503.17739v1
• Date: Sat, 22 Mar 2025 11:54:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 14:31:31.592640
• Title: Enhancing Arabic Automated Essay Scoring with Synthetic Data and Error Injection
• Title（参考訳）: 合成データと誤り注入によるアラビア自動評価の強化
• Authors: Chatrine Qwaider, Bashar Alhafni, Kirill Chirkunov, Nizar Habash, Ted Briscoe,
• Abstract要約: AES(Automated Essay Scoring)は,言語学習者の文章の質評価,作業負荷の低減,リアルタイムフィードバックなどにおいて重要な役割を担っている。 本稿では,Large Language Models (LLMs) と Transformer を利用して,AES のための合成アラビア語エッセイデータセットを生成する新しいフレームワークを提案する。 提案手法は,3,040個の注釈付きエッセイのデータセットを提供する,リアルな人間のようなエッセイを生成する。
• 参考スコア（独自算出の注目度）: 10.198081881605226
• License:
• Abstract: Automated Essay Scoring (AES) plays a crucial role in assessing language learners' writing quality, reducing grading workload, and providing real-time feedback. Arabic AES systems are particularly challenged by the lack of annotated essay datasets. This paper presents a novel framework leveraging Large Language Models (LLMs) and Transformers to generate synthetic Arabic essay datasets for AES. We prompt an LLM to generate essays across CEFR proficiency levels and introduce controlled error injection using a fine-tuned Standard Arabic BERT model for error type prediction. Our approach produces realistic human-like essays, contributing a dataset of 3,040 annotated essays. Additionally, we develop a BERT-based auto-marking system for accurate and scalable Arabic essay evaluation. Experimental results demonstrate the effectiveness of our framework in improving Arabic AES performance.
• Abstract（参考訳）: AES(Automated Essay Scoring)は,言語学習者の文章の質評価,作業負荷の低減,リアルタイムフィードバックなどにおいて重要な役割を担っている。 アラビア語のAESシステムは、注釈付きエッセイデータセットの欠如によって特に困難である。 本稿では,Large Language Models (LLMs) と Transformer を利用して,AES のための合成アラビア語エッセイデータセットを生成する新しいフレームワークを提案する。 我々はLLMにCEFRの習熟度でエッセイを生成するよう促し、細調整された標準アラビアBERTモデルを用いて制御されたエラー注入を導入し、エラー型予測を行う。 提案手法は,3,040個の注釈付きエッセイのデータセットを提供する,リアルな人間のようなエッセイを生成する。 さらに、正確でスケーラブルなアラビア語エッセイ評価のためのBERTベースの自動マーキングシステムを開発した。 実験の結果,アラビアAESの性能向上のための枠組みの有効性が示された。

関連論文リスト

• How well can LLMs Grade Essays in Arabic? [3.101490720236325]
  本研究では,AR-AESデータセットを用いたアラビア語自動エッセイスコアリング(AES)タスクにおける大規模言語モデル(LLM)の有効性を評価する。 ゼロショット、少数ショットのインコンテキスト学習、微調整など、さまざまな評価手法を探求する。 英語のプロンプトとアラビア語のコンテンツを統合する混合言語プロンプト戦略は、モデル理解とパフォーマンスを改善するために実装された。
  論文  参考訳（メタデータ） (2025-01-27T21:30:02Z)
• Gazelle: An Instruction Dataset for Arabic Writing Assistance [12.798604366250261]
  アラビア文字支援のための包括的なデータセットであるGazelleを提示する。 また、アラビア文字支援ツールの強化を目的とした評価フレームワークも提供する。 私たちの調査結果は、継続的モデルトレーニングとデータセットの強化の必要性を浮き彫りにしています。
  論文  参考訳（メタデータ） (2024-10-23T17:51:58Z)
• CATT: Character-based Arabic Tashkeel Transformer [0.0]
  タシュケル(Tashkeel)は、アラビア語のテキストの理解を大幅に強化する。 本稿では,ATDモデルのトレーニングに新たなアプローチを提案する。 11の商用およびオープンソースモデルとともに、当社のモデルを評価します。
  論文  参考訳（メタデータ） (2024-07-03T16:05:20Z)
• CELA: Cost-Efficient Language Model Alignment for CTR Prediction [70.65910069412944]
  CTR(Click-Through Rate)予測は、レコメンダシステムにおいて最重要位置を占める。 最近の取り組みは、プレトレーニング言語モデル(PLM)を統合することでこれらの課題を緩和しようとしている。 CTR予測のためのtextbfCost-textbfEfficient textbfLanguage Model textbfAlignment (textbfCELA)を提案する。
  論文  参考訳（メタデータ） (2024-05-17T07:43:25Z)
• AceGPT, Localizing Large Language Models in Arabic [73.39989503874634]
  本稿では,アラビア語のテキストによる事前学習,ネイティブなアラビア語命令を利用したSFT(Supervised Fine-Tuning),アラビア語のGPT-4応答を含む総合的なソリューションを提案する。 目標は、文化的に認知され、価値に整合したアラビア語のLLMを、多様で応用特有のアラビア語コミュニティのニーズに適応させることである。
  論文  参考訳（メタデータ） (2023-09-21T13:20:13Z)
• The Devil is in the Errors: Leveraging Large Language Models for Fine-grained Machine Translation Evaluation [93.01964988474755]
  AutoMQMは,大規模な言語モデルに対して,翻訳におけるエラーの識別と分類を求めるプロンプト技術である。 テキスト内学習と微調整によるラベル付きデータの影響について検討する。 次に, PaLM-2モデルを用いてAutoMQMを評価し, スコアのプロンプトよりも性能が向上することがわかった。
  論文  参考訳（メタデータ） (2023-08-14T17:17:21Z)
• An Empirical Study of Automatic Post-Editing [56.86393786396992]
  APEは、機械翻訳出力のエラーを自動的に修正することで、手作業による後処理の労力を削減することを目的としている。 真のトレーニングデータの不足を軽減するため、現在のAPEシステムの多くは、大規模な人工コーパスを生成するためにデータ拡張手法を採用している。 本研究では,既存のAPEシステムにおける問題点を解析するために,難解なAPEデータセット上での最先端のAPEモデルの出力について検討する。
  論文  参考訳（メタデータ） (2022-09-16T07:38:27Z)
• Revisiting Pre-trained Language Models and their Evaluation for Arabic Natural Language Understanding [44.048072667378115]
  既存のアラビアのPLMは十分に探索されておらず、その事前訓練は大幅に改善できる。 文献にはこれらのモデルの体系的かつ再現可能な評価が欠如している。 我々のモデルは既存のアラビア PLM を著しく上回り、差別的で生成的なアラビア NLU および NLG タスクにおける新たな最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-05-21T22:38:19Z)
• AES Systems Are Both Overstable And Oversensitive: Explaining Why And Proposing Defenses [66.49753193098356]
  スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。 のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。 高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-24T03:49:38Z)
• Evaluation Toolkit For Robustness Testing Of Automatic Essay Scoring Systems [64.4896118325552]
  モデル逆算評価スキームと関連するメトリクスを用いて、現状のAESモデルを評価する。 AESモデルは非常に過大評価されていることがわかった。質問の話題に関係のない内容の重い修正(25%まで)でさえ、モデルが生み出すスコアを低下させることはない。
  論文  参考訳（メタデータ） (2020-07-14T03:49:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。