論文の概要: Prompt Agnostic Essay Scorer: A Domain Generalization Approach to
Cross-prompt Automated Essay Scoring
- arxiv url: http://arxiv.org/abs/2008.01441v1
- Date: Tue, 4 Aug 2020 10:17:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-02 23:11:37.043633
- Title: Prompt Agnostic Essay Scorer: A Domain Generalization Approach to
Cross-prompt Automated Essay Scoring
- Title（参考訳）: Prompt Agnostic Essay Scorer: クロスプロンプト自動評価のためのドメイン一般化アプローチ
- Authors: Robert Ridley, Liang He, Xinyu Dai, Shujian Huang, Jiajun Chen
- Abstract要約: クロスプロンプト自動エッセイスコア(英語: Cross-prompt automated essay score, AES)は、非ターゲットプロンプトエッセイを使用して目標プロンプトエッセイにスコアを付与するシステムである。
本稿では, クロスプロンプトAESのためのPAES(Prompt Agnostic Essay Scorer)を提案する。
本手法は,学習中にラベル付きあるいは未ラベルのターゲット・プロンプトデータにアクセスする必要がなく,単一段階のアプローチである。
- 参考スコア（独自算出の注目度）: 61.21967763569547
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Cross-prompt automated essay scoring (AES) requires the system to use non
target-prompt essays to award scores to a target-prompt essay. Since obtaining
a large quantity of pre-graded essays to a particular prompt is often difficult
and unrealistic, the task of cross-prompt AES is vital for the development of
real-world AES systems, yet it remains an under-explored area of research.
Models designed for prompt-specific AES rely heavily on prompt-specific
knowledge and perform poorly in the cross-prompt setting, whereas current
approaches to cross-prompt AES either require a certain quantity of labelled
target-prompt essays or require a large quantity of unlabelled target-prompt
essays to perform transfer learning in a multi-step manner. To address these
issues, we introduce Prompt Agnostic Essay Scorer (PAES) for cross-prompt AES.
Our method requires no access to labelled or unlabelled target-prompt data
during training and is a single-stage approach. PAES is easy to apply in
practice and achieves state-of-the-art performance on the Automated Student
Assessment Prize (ASAP) dataset.
- Abstract（参考訳）: クロスプロンプト自動エッセイスコア(英語: Cross-prompt automated essay score, AES)は、非標的エッセイを使用して目標エッセイにスコアを付与するシステムである。
特定のプロンプトに大量の事前学習エッセイを得ることは、しばしば困難で非現実的であるため、クロスプロンプトAESの課題は現実世界のAESシステムの開発に不可欠であるが、まだ未調査の分野である。
プロンプト固有のaes向けに設計されたモデルは、プロンプト固有の知識に重きを置き、クロスプロンプト設定では性能が劣るが、クロスプロンプトaesに対する現在のアプローチは、一定の量のラベル付きターゲットプロンプトエッセイを必要とするか、あるいは多段階学習を行うために大量のラベル付きターゲットプロンプトエッセイを必要とする。
これらの問題に対処するために,クロスプロンプト AES のための Prompt Agnostic Essay Scorer (PAES) を導入する。
本手法では,学習中にラベル付きあるいは未ラベルのターゲットプロンプトデータにアクセスする必要がなく,単一段階のアプローチである。
PAESは実践的に簡単に適用でき、自動学生評価賞(ASAP)データセット上で最先端のパフォーマンスを達成する。
関連論文リスト
- What You Say = What You Want? Teaching Humans to Articulate Requirements for LLMs [26.398086645901742]
本稿では,要求指向型プロンプトエンジニアリング(ROPE)について紹介する。
30名の初級者を対象にした研究では,要求重視の訓練が初級者の性能を2倍に向上させ,従来のプロンプトエンジニアリングトレーニングと即時最適化を著しく上回った。
我々の研究は、人間とLLMの協調的なプロンプトにおいて、より効果的なタスクデリゲーションの道を開く。
論文 参考訳（メタデータ） (2024-09-13T12:34:14Z) - LAPT: Label-driven Automated Prompt Tuning for OOD Detection with Vision-Language Models [17.15755066370757]
Label-driven Automated Prompt Tuning (LAPT)は、手動プロンプトエンジニアリングの必要性を減らすOOD検出の新しいアプローチである。
In-distriion (ID) クラス名と負ラベルを自動的にマイニングする分布認識プロンプトを開発した。
LAPTは手作業によるプロンプトよりも一貫して優れており、OOD検出の新しい標準となっている。
論文 参考訳（メタデータ） (2024-07-12T03:30:53Z) - PECTP: Parameter-Efficient Cross-Task Prompts for Incremental Vision Transformer [76.39111896665585]
インクリメンタルラーニング(IL)は、シーケンシャルタスクの深いモデルを継続的に学習することを目的としている。
近年の大規模事前訓練モデル (PTM) は, 従来の試料を含まない実用ILにおいて, 即時的手法により優れた性能を発揮している。
論文 参考訳（メタデータ） (2024-07-04T10:37:58Z) - TemPrompt: Multi-Task Prompt Learning for Temporal Relation Extraction in RAG-based Crowdsourcing Systems [21.312052922118585]
時間的関係抽出(TRE)は、出来事や行動の進化を把握し、関連するタスクのワークフローを形成することを目的としている。
本稿では,TRE(TemPrompt)のためのマルチタスク・プロンプト学習フレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-21T01:52:37Z) - Unveiling the Tapestry of Automated Essay Scoring: A Comprehensive
Investigation of Accuracy, Fairness, and Generalizability [5.426458555881673]
本研究では, AESモデルの精度, 公平性, 一般化可能性の複雑な関係を明らかにすることを目的とする。
我々は,9つのAES手法を評価し,その性能をオープンソースデータセット上で7つの指標を用いて評価した。
論文 参考訳（メタデータ） (2024-01-11T04:28:02Z) - Prompt- and Trait Relation-aware Cross-prompt Essay Trait Scoring [3.6825890616838066]
自動エッセイスコアリング(AES)は、与えられたプロンプトのために書かれたエッセイをスコアリングすることを目的とする。
既存のAESシステムの多くは、トレーニングで使用されるのと同じプロンプトのエッセイを格付けし、総合的なスコアのみを割り当てている。
本稿では,プロンプトとトレーサの関係を意識したエッセイ・エッセイ・トレーサ・スコアラというロバストなモデルを提案する。
論文 参考訳（メタデータ） (2023-05-26T11:11:19Z) - TEMPERA: Test-Time Prompting via Reinforcement Learning [57.48657629588436]
強化学習(TEMPERA)を用いたテスト時間プロンプト編集を提案する。
従来のプロンプト生成手法とは対照的に、TEMPERAは事前知識を効率的に活用することができる。
本手法は従来の微調整法と比較して試料効率の平均改善率を5.33倍に向上させる。
論文 参考訳（メタデータ） (2022-11-21T22:38:20Z) - MetaPrompting: Learning to Learn Better Prompts [52.914694884515534]
本稿では,メタプロンプトと呼ばれるソフトプロンプト手法を提案する。
大規模な実験は、MetaPromptingが4つの異なるデータセットに大きな改善をもたらすことを示している。
論文 参考訳（メタデータ） (2022-09-23T09:01:05Z) - RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。
RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。
少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
論文 参考訳（メタデータ） (2022-05-25T07:50:31Z) - CINS: Comprehensive Instruction for Few-shot Learning in Task-oriented
Dialog Systems [56.302581679816775]
本稿では,タスク固有の命令でPLMを利用する包括的インストラクション(CINS)を提案する。
命令のスキーマ(定義、制約、プロンプト)と、ToDの3つの重要な下流タスクに対するカスタマイズされた実現を設計する。
これらのToDタスクに対して,小さな検証データを用いた現実的な数ショット学習シナリオで実験を行った。
論文 参考訳（メタデータ） (2021-09-10T03:23:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。