論文の概要: ICLE++: Modeling Fine-Grained Traits for Holistic Essay Scoring

• arxiv url: http://arxiv.org/abs/2607.27671v1
• Date: Thu, 30 Jul 2026 04:35:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-31 21:37:00.396533
• Title: ICLE++: Modeling Fine-Grained Traits for Holistic Essay Scoring
• Title（参考訳）: ICLE++: ホロスティックなエッセイスコーリングのための微粒なトレースのモデリング
• Authors: Shengjie Li, Vincent Ng,
• Abstract要約: 提案するICLE++は,包括的スコアと特徴特異的スコアの両方を付加した,説得力のある学生エッセイのコーパスである。 ICLE++はASAPでトレーニングされたAESモデルの一般化性をテストするのに使えるだけでなく、新しいAES問題のために開発されたモデルの評価を容易にすることもできる。
• 参考スコア（独自算出の注目度）: 16.481654889824448
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The majority of the recently-developed models for automated essay scoring (AES) are evaluated solely on the ASAP corpus. However, ASAP is not without its limitations. For instance, it is not clear whether models trained on ASAP can generalize well when evaluated on other corpora. In light of these limitations, we introduce ICLE++, a corpus of persuasive student essays annotated with both holistic scores and trait-specific scores. Not only can ICLE++ be used to test the generalizability of AES models trained on ASAP, but it can also facilitate the evaluation of models developed for newer AES problems such as multi-trait scoring and cross-prompt scoring. We believe that ICLE++, which represents a culmination of our long-term effort in annotating the essays in the ICLE corpus, contributes to the set of much-needed annotated corpora for AES research.
• Abstract（参考訳）: 最近開発された自動エッセイ評価(AES)モデルはASAPコーパスのみで評価されている。 しかし、ASAPには制限がない。 例えば、ASAPでトレーニングされたモデルが他のコーパスで評価された場合、うまく一般化できるかどうかは不明である。 これらの制約を考慮して,本論文では,包括的スコアと特徴特異的スコアの両方を付加した,説得力のある学生エッセイのコーパスであるICLE++を紹介する。 ICLE++はASAPでトレーニングされたAESモデルの一般化性をテストするのに利用できるだけでなく、マルチトレイスコアやクロスプロンプトスコアといった新しいAES問題のために開発されたモデルの評価を容易にすることもできる。 我々は、ICLEコーパスにエッセイを注釈付けするための長期的努力の成果を表すICLE++が、AES研究に欠かせない注釈付きコーパスのセットに貢献していると信じている。

関連論文リスト

• Evaluating AI Grading on Real-World Handwritten College Mathematics: A Large-Scale Study Toward a Benchmark [9.922581736690159]
  カリフォルニア大学アーバイン校(UC Irvine)の実際の手書き電卓におけるAIのグルーピングに関する大規模な実証的研究について述べる。 OCR条件付き大規模言語モデルを用いて, 何千もの応答型クイズ入力に対して, スコアと形式的フィードバックを生成する。 本研究は,1つの基礎的ラベルを持たない環境下で,公的な指導助成学級,学生調査,独立人レビューに対する評価を行った。
  論文  参考訳（メタデータ） (2026-03-01T03:32:51Z)
• Is GPT-4 Alone Sufficient for Automated Essay Scoring?: A Comparative Judgment Approach Based on Rater Cognition [0.09208007322096534]
  大規模言語モデル (LLM) は自動エッセイスコーリング (AES) において有望であることを示す。 LLMはAESで有望だが、そのゼロショットと少数ショットのパフォーマンスは、最先端のモデルや人間のレーダに比べて低い。 本研究では,2つのエッセイを選択するためにゼロショットプロンプトを用いて,ALMと比較判断(CJ)を組み合わせた新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-07-08T08:37:00Z)
• Can GPT-4 do L2 analytic assessment? [34.445391091278786]
  第二言語(L2)の習熟度を評価するための自動エッセイスコア(AES)は、何十年にもわたって教育の文脈で使われている、しっかりと確立された技術である。 本稿では,GPT-4をゼロショット方式で,総合的なスコアを付加したデータセット上で,一連の実験を行う。 自動予測された分析スコアと,個々の習熟度成分に関連する複数の特徴との間に有意な相関関係が認められた。
  論文  参考訳（メタデータ） (2024-04-29T10:00:00Z)
• Generative Judge for Evaluating Alignment [84.09815387884753]
  本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。 我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。 実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
  論文  参考訳（メタデータ） (2023-10-09T07:27:15Z)
• Short Answer Grading Using One-shot Prompting and Text Similarity Scoring Model [2.14986347364539]
  分析スコアと全体スコアの両方を提供する自動短解階調モデルを開発した。 このモデルの精度と2次重み付きカッパは、ASAGデータセットのサブセットである0.67と0.71であった。
  論文  参考訳（メタデータ） (2023-05-29T22:05:29Z)
• Active Learning for Abstractive Text Summarization [50.79416783266641]
  本稿では,抽象テキスト要約におけるアクティブラーニングのための最初の効果的なクエリ戦略を提案する。 ALアノテーションにおける私たちの戦略は、ROUGEと一貫性スコアの点からモデル性能を向上させるのに役立ちます。
  論文  参考訳（メタデータ） (2023-01-09T10:33:14Z)
• AES Systems Are Both Overstable And Oversensitive: Explaining Why And Proposing Defenses [66.49753193098356]
  スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。 のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。 高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-24T03:49:38Z)
• Evaluation Toolkit For Robustness Testing Of Automatic Essay Scoring Systems [64.4896118325552]
  モデル逆算評価スキームと関連するメトリクスを用いて、現状のAESモデルを評価する。 AESモデルは非常に過大評価されていることがわかった。質問の話題に関係のない内容の重い修正(25%まで)でさえ、モデルが生み出すスコアを低下させることはない。
  論文  参考訳（メタデータ） (2020-07-14T03:49:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。