論文の概要: IELTS Writing Revision Platform with Automated Essay Scoring and Adaptive Feedback
- arxiv url: http://arxiv.org/abs/2512.24460v1
- Date: Tue, 30 Dec 2025 20:49:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-01 23:27:28.488426
- Title: IELTS Writing Revision Platform with Automated Essay Scoring and Adaptive Feedback
- Title（参考訳）: 自動評価と適応フィードバックを備えたIELTSリビジョンプラットフォーム
- Authors: Titas Ramancauskas, Kotryna Ramancauske,
- Abstract要約: 本稿では,IELTS書記試験の受験者を支援する改訂プラットフォームの設計,開発,評価について述べる。
欠点に対処するため、プラットフォームは魅力的なユーザインターフェース(UI)、自動評価スコアシステム(AES)、候補に適したターゲットフィードバック、および書き込みルーリックを備えている。
自動フィードバック機能は人間の指示を補うのに最も適しており、保守的な表面レベルでの修正は攻撃的な構造的介入よりも信頼性が高いことを示唆している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents the design, development, and evaluation of a proposed revision platform assisting candidates for the International English Language Testing System (IELTS) writing exam. Traditional IELTS preparation methods lack personalised feedback, catered to the IELTS writing rubric. To address these shortcomings, the platform features an attractive user interface (UI), an Automated Essay Scoring system (AES), and targeted feedback tailored to candidates and the IELTS writing rubric. The platform architecture separates conversational guidance from a dedicated writing interface to reduce cognitive load and simulate exam conditions. Through iterative, Design-Based Research (DBR) cycles, the study progressed from rule-based to transformer-based with a regression head scoring, mounted with adaptive feedback. Early cycles (2-3) revealed fundamental limitations of rule-based approaches: mid-band compression, low accuracy, and negative $R^2$ values. DBR Cycle 4 implemented a DistilBERT transformer model with a regression head, yielding substantial improvements with MAE of 0.66 and positive $R^2$. This enabled Cycle 5's adaptive feedback implementation, which demonstrated statistically significant score improvements (mean +0.060 bands, p = 0.011, Cohen's d = 0.504), though effectiveness varied by revision strategy. Findings suggest automated feedback functions are most suited as a supplement to human instruction, with conservative surface-level corrections proving more reliable than aggressive structural interventions for IELTS preparation contexts. Challenges remain in assessing higher-band essays, and future work should incorporate longitudinal studies with real IELTS candidates and validation from official examiners.
- Abstract（参考訳）: 本稿では,国際英語試験システム(IELTS)の受験者を支援する改訂プラットフォームの設計,開発,評価について述べる。
従来のIELTS準備方法は個人化されたフィードバックを欠いていた。
これらの欠点に対処するため、プラットフォームは魅力的なユーザインターフェース(UI)、自動評価スコアシステム(AES)、候補に適したターゲットフィードバック、IELTS書き込みルーリックを備えている。
プラットフォームアーキテクチャは、認知負荷を減らし、試験条件をシミュレートする専用の記述インターフェースから会話指導を分離する。
反復的、デザインベースリサーチ(DBR)サイクルを通じて、適応的なフィードバックを備えた回帰ヘッドスコアによるルールベースからトランスフォーマーベースへと、研究が進んだ。
初期サイクル(2-3)は、中間帯域圧縮、低精度、負の$R^2$値といったルールベースのアプローチの基本的な制限を明らかにした。
DBR Cycle 4 は回帰ヘッドを持つ DistilBERT 変圧器モデルを実装し、MAE 0.66 と正の $R^2$ で大幅に改善した。
これによりCycle 5の適応的なフィードバック実装が可能となり、統計学的に重要なスコア改善(平均+0.060バンド、p =0.011、コーエンのd =0.504)が示された。
自動フィードバック機能は、IELTSの準備状況に対する攻撃的な構造的介入よりも信頼性の高い、保守的な表面レベルでの修正を伴って、人間の指示を補うのに最も適していることを示唆している。
ハイバンドエッセイの評価には依然として課題が残っており、将来の研究は、実際のIELTS候補との縦断的研究と、公式検査官による検証を取り入れるべきである。
関連論文リスト
- Automatic Essay Scoring and Feedback Generation in Basque Language Learning [4.218073067465283]
本稿では,CEFR C1の習熟度を目標とした,AES(Automatic Essay Scoring)とフィードバック生成のための最初の公開データセットを紹介する。
データセットは、HABEから3,200のエッセイで構成され、それぞれ専門家評価者によって注釈付けされ、正確さ、豊かさ、一貫性、凝集度、タスクアライメントを詳細にフィードバックとエラーの例で表現する。
RoBERTa-EusCrawlやLatxa 8B/70Bといったオープンソースモデルを、スコアリングと説明生成の両方のために微調整します。
論文 参考訳（メタデータ） (2025-12-09T15:28:35Z) - Automated Refinement of Essay Scoring Rubrics for Language Models via Reflect-and-Revise [41.16092952642748]
本研究では,Large Language Models (LLMs) で使用されているれんがを精製することにより,AES(Automated Scoring)を向上する可能性について検討する。
GPT-4.1、Gemini-2.5-Pro、Qwen-3-Next-80B-A3B-Instructによるデータセットの実験では、最大0.19と0.47の改善が得られた。
論文 参考訳（メタデータ） (2025-10-10T06:05:38Z) - End-to-End Spoken Grammatical Error Correction [33.116296120680296]
文法的誤り訂正(GEC)とフィードバックは、第二言語(L2)学習者、教育者、検査者を支援する上で重要な役割を果たす。
GECは十分に確立されているが、音声GEC(SGEC)は、相違、転写エラー、構造化された入力の欠如などにより、さらなる課題を提起する。
本研究は,SGECとフィードバック生成のためのEnd-to-End(E2E)フレームワークについて検討し,課題と実現可能なソリューションを明らかにする。
論文 参考訳（メタデータ） (2025-06-23T11:40:04Z) - Self-Evolving Critique Abilities in Large Language Models [59.861013614500024]
本稿では,Large Language Models (LLM) の批判能力の向上について検討する。
SCRITは、LCMを自己生成データで訓練し、批判能力を進化させるフレームワークである。
分析の結果,SCRITの性能はデータやモデルサイズと正の相関関係にあることが明らかとなった。
論文 参考訳（メタデータ） (2025-01-10T05:51:52Z) - Improving the Validity of Automatically Generated Feedback via Reinforcement Learning [46.667783153759636]
強化学習(RL)を用いた正当性と整合性の両方を最適化するフィードバック生成フレームワークを提案する。
具体的には、直接選好最適化(DPO)によるトレーニングのための拡張データセットにおいて、GPT-4のアノテーションを使用してフィードバックペアよりも好みを生成する。
論文 参考訳（メタデータ） (2024-03-02T20:25:50Z) - Neural Automated Writing Evaluation with Corrective Feedback [4.0230668961961085]
本稿では,修正フィードバックを用いた自動筆記評価システムを提案する。
このシステムにより、言語学習者はエッセイの執筆テストをシミュレートできる。
また、無数のエッセイを手作業で修正することの負担を軽減する。
論文 参考訳（メタデータ） (2024-02-27T15:42:33Z) - Improving Machine Translation with Human Feedback: An Exploration of Quality Estimation as a Reward Model [75.66013048128302]
本研究では,QEモデルを報酬モデルとして活用し,フィードバックトレーニングにおける人間の嗜好を予測する可能性について検討する。
まず,QEに基づくフィードバックトレーニングにおいて,翻訳品質が低下する中で,報酬の増大として現れる過度な最適化問題を同定した。
問題に対処するために,ルールを用いて誤った翻訳を検知し,報酬のスコアにペナルティ項を割り当てる,シンプルで効果的な手法を採用する。
論文 参考訳（メタデータ） (2024-01-23T16:07:43Z) - CritiqueLLM: Towards an Informative Critique Generation Model for Evaluation of Large Language Model Generation [87.44350003888646]
Eval-Instructは、疑似参照でポイントワイズした批評を取得し、マルチパスプロンプトを通じてこれらの批評を修正できる。
CritiqueLLMは、ChatGPTとすべてのオープンソースベースラインを上回るように実証的に示されています。
論文 参考訳（メタデータ） (2023-11-30T16:52:42Z) - Evaluation Toolkit For Robustness Testing Of Automatic Essay Scoring
Systems [64.4896118325552]
モデル逆算評価スキームと関連するメトリクスを用いて、現状のAESモデルを評価する。
AESモデルは非常に過大評価されていることがわかった。質問の話題に関係のない内容の重い修正(25%まで)でさえ、モデルが生み出すスコアを低下させることはない。
論文 参考訳（メタデータ） (2020-07-14T03:49:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。