論文の概要: Prompt- and Trait Relation-aware Cross-prompt Essay Trait Scoring
- arxiv url: http://arxiv.org/abs/2305.16826v1
- Date: Fri, 26 May 2023 11:11:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-29 15:33:35.483188
- Title: Prompt- and Trait Relation-aware Cross-prompt Essay Trait Scoring
- Title（参考訳）: Prompt- and Trait Relation-Aware Cross-prompt Essay Trait Scoring
- Authors: Heejin Do, Yunsu Kim, Gary Geunbae Lee
- Abstract要約: 自動エッセイスコアリング(AES)は、与えられたプロンプトのために書かれたエッセイをスコアリングすることを目的とする。
既存のAESシステムの多くは、トレーニングで使用されるのと同じプロンプトのエッセイを格付けし、総合的なスコアのみを割り当てている。
本稿では,プロンプトとトレーサの関係を意識したエッセイ・エッセイ・トレーサ・スコアラというロバストなモデルを提案する。
- 参考スコア（独自算出の注目度）: 3.6825890616838066
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Automated essay scoring (AES) aims to score essays written for a given
prompt, which defines the writing topic. Most existing AES systems assume to
grade essays of the same prompt as used in training and assign only a holistic
score. However, such settings conflict with real-education situations;
pre-graded essays for a particular prompt are lacking, and detailed trait
scores of sub-rubrics are required. Thus, predicting various trait scores of
unseen-prompt essays (called cross-prompt essay trait scoring) is a remaining
challenge of AES. In this paper, we propose a robust model: prompt- and trait
relation-aware cross-prompt essay trait scorer. We encode prompt-aware essay
representation by essay-prompt attention and utilizing the topic-coherence
feature extracted by the topic-modeling mechanism without access to labeled
data; therefore, our model considers the prompt adherence of an essay, even in
a cross-prompt setting. To facilitate multi-trait scoring, we design
trait-similarity loss that encapsulates the correlations of traits. Experiments
prove the efficacy of our model, showing state-of-the-art results for all
prompts and traits. Significant improvements in low-resource-prompt and
inferior traits further indicate our model's strength.
- Abstract（参考訳）: 自動エッセイスコアリング(AES)は、与えられたプロンプトのために書かれたエッセイをスコアリングすることを目的とする。
既存のAESシステムの多くは、トレーニングで使用されるのと同じプロンプトのエッセイを格付けし、総合的なスコアのみを割り当てている。
しかし、こうした設定は実際の教育状況と矛盾し、特定のプロンプトの事前評価エッセイが欠落しており、サブ・ルーブリックの詳細な特徴スコアが必要である。
このように、目に見えないエッセイの様々な特性スコア(クロスプロンプトエッセイトラストスコアと呼ばれる)を予測することは、AESの残る課題である。
本稿では,プロンプトおよびトレイト関係を認識可能なクロスプロプト・エッセイ・トレイト・スコアラという,ロバストなモデルを提案する。
我々は,エッセイ・プロンプトの注意によるエッセイ表現をエンコードし,ラベル付きデータにアクセスすることなくトピック・モデリング機構によって抽出されたトピック・コヒーレンス機能を利用する。
複数形質のスコアリングを容易にするために,特徴の相関をカプセル化した特徴類似性損失をデザインする。
実験は我々のモデルの有効性を証明し、すべてのプロンプトと特徴に対して最先端の結果を示す。
低リソースプロンプトと下位特性の大幅な改善は,モデルの強みをさらに示している。
関連論文リスト
- Hey AI Can You Grade My Essay?: Automatic Essay Grading [1.03590082373586]
自動エッセイグレーディング(AEG)分野における最先端モデルよりも優れた新しいモデルを提案する。
我々は,エッセイの文の文法的特徴と構造的特徴のチェックにひとつのネットワークが責任を持ち,エッセイに含まれる全体概念のスコアリングに他のネットワークが責任を持つという,協調的・伝達的学習という概念を用いてきた。
提案手法の精度は85.50%である。
論文 参考訳（メタデータ） (2024-10-12T01:17:55Z) - Graded Relevance Scoring of Written Essays with Dense Retrieval [4.021352247826289]
本稿では,高密度検索エンコーダを用いたエッセイの妥当性評価手法を提案する。
コントラスト学習で事前学習されたContrieverを活用し,教師付き高密度検索モデルに匹敵する性能を示した。
本手法はタスク固有のシナリオにおいて新しい最先端性能を確立し,クロスタスクシナリオに対する拡張は,そのシナリオに対する最先端モデルに匹敵する性能を示した。
論文 参考訳（メタデータ） (2024-05-08T16:37:58Z) - MetricPrompt: Prompting Model as a Relevance Metric for Few-shot Text
Classification [65.51149771074944]
MetricPromptは、数発のテキスト分類タスクをテキストペア関連性推定タスクに書き換えることで、言語設計の難易度を緩和する。
広範に使われている3つのテキスト分類データセットを4つのショット・セッティングで実験する。
結果から,MetricPromptは,手動弁証法や自動弁証法よりも優れた性能を示した。
論文 参考訳（メタデータ） (2023-06-15T06:51:35Z) - AI, write an essay for me: A large-scale comparison of human-written
versus ChatGPT-generated essays [66.36541161082856]
ChatGPTや同様の生成AIモデルは、何億人ものユーザーを惹きつけている。
本研究は,ChatGPTが生成した議論的学生エッセイと比較した。
論文 参考訳（メタデータ） (2023-04-24T12:58:28Z) - Fairness-guided Few-shot Prompting for Large Language Models [93.05624064699965]
インコンテキスト学習は、トレーニング例、例えば順、プロンプトフォーマットのバリエーションによって、高い不安定性に悩まされる可能性がある。
ラベルや属性に対する固定的なプロンプトの予測バイアスを評価するための指標を導入する。
そこで本研究では,テキスト内学習の性能向上のための最寄りのプロンプトを特定するための,欲求探索に基づく新しい探索手法を提案する。
論文 参考訳（メタデータ） (2023-03-23T12:28:25Z) - AES Systems Are Both Overstable And Oversensitive: Explaining Why And
Proposing Defenses [66.49753193098356]
スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。
のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。
高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
論文 参考訳（メタデータ） (2021-09-24T03:49:38Z) - Many Hands Make Light Work: Using Essay Traits to Automatically Score
Essays [41.851075178681015]
マルチタスク学習(MTL)アプローチを用いて,エッセイを総合的に評価する方法を述べる。
LSTMとBiLSTMの両方を用いて,STL(Single-task Learning)アプローチとの比較を行った。
MTLをベースとしたBiLSTMシステムは,エッセイ特性の評価だけでなく,エッセイ特性の評価にも有効であることがわかった。
論文 参考訳（メタデータ） (2021-02-01T11:31:09Z) - Automated Topical Component Extraction Using Neural Network Attention
Scores from Source-based Essay Scoring [15.234595490118542]
本稿では,自動エッセイ評価(AES)と自動筆記評価(AWE)をリンクする手法を提案する。
トピックコンポーネント(TC)を必要とする特徴ベースのAESを用いて性能を評価する。
その結果,1)エッセイを古風な特徴として表現し,2)エッセイを段階的に評価する。
論文 参考訳（メタデータ） (2020-08-04T20:13:51Z) - Prompt Agnostic Essay Scorer: A Domain Generalization Approach to
Cross-prompt Automated Essay Scoring [61.21967763569547]
クロスプロンプト自動エッセイスコア(英語: Cross-prompt automated essay score, AES)は、非ターゲットプロンプトエッセイを使用して目標プロンプトエッセイにスコアを付与するシステムである。
本稿では, クロスプロンプトAESのためのPAES(Prompt Agnostic Essay Scorer)を提案する。
本手法は,学習中にラベル付きあるいは未ラベルのターゲット・プロンプトデータにアクセスする必要がなく,単一段階のアプローチである。
論文 参考訳（メタデータ） (2020-08-04T10:17:38Z) - Evaluation Toolkit For Robustness Testing Of Automatic Essay Scoring
Systems [64.4896118325552]
モデル逆算評価スキームと関連するメトリクスを用いて、現状のAESモデルを評価する。
AESモデルは非常に過大評価されていることがわかった。質問の話題に関係のない内容の重い修正(25%まで)でさえ、モデルが生み出すスコアを低下させることはない。
論文 参考訳（メタデータ） (2020-07-14T03:49:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。