論文の概要: Towards Prompt Generalization: Grammar-aware Cross-Prompt Automated Essay Scoring

• arxiv url: http://arxiv.org/abs/2502.08450v1
• Date: Wed, 12 Feb 2025 14:41:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-13 13:50:13.967461
• Title: Towards Prompt Generalization: Grammar-aware Cross-Prompt Automated Essay Scoring
• Title（参考訳）: プロンプト一般化に向けて:文法を意識したクロスプロンプト自動エッセイスコーリング
• Authors: Heejin Do, Taehee Park, Sangwon Ryu, Gary Geunbae Lee,
• Abstract要約: 本稿では,ジェネリックエッセイ表現を学習するために,文法対応型クロスプロンプト特性スコアリング(GAPS)を提案する。 我々は文法誤り訂正技術を用いてエッセイにおける文法誤り訂正情報を取得し,これらの情報をシームレスに統合するAESモデルを設計する。 GAPSは、最も困難なクロスプロンプトシナリオにおいて顕著なQWK向上を実現し、目に見えないプロンプトを評価する上での強みを強調している。
• 参考スコア（独自算出の注目度）: 5.906031288935515
• License:
• Abstract: In automated essay scoring (AES), recent efforts have shifted toward cross-prompt settings that score essays on unseen prompts for practical applicability. However, prior methods trained with essay-score pairs of specific prompts pose challenges in obtaining prompt-generalized essay representation. In this work, we propose a grammar-aware cross-prompt trait scoring (GAPS), which internally captures prompt-independent syntactic aspects to learn generic essay representation. We acquire grammatical error-corrected information in essays via the grammar error correction technique and design the AES model to seamlessly integrate such information. By internally referring to both the corrected and the original essays, the model can focus on generic features during training. Empirical experiments validate our method's generalizability, showing remarkable improvements in prompt-independent and grammar-related traits. Furthermore, GAPS achieves notable QWK gains in the most challenging cross-prompt scenario, highlighting its strength in evaluating unseen prompts.
• Abstract（参考訳）: 自動エッセイスコアリング(AES)において、近年の取り組みは、実用的な適用性のために、目に見えないエッセイのエッセイをスコアするクロスプロンプト設定へと移行している。 しかし、エッセイとスコアのペアで訓練された先行手法は、エッセイを一般化したエッセイ表現を得るのに困難をもたらす。 そこで本研究では,ジェネリックエッセイ表現を学習するために,プロンプト非依存の構文的側面を内部的に捉えた文法認識型クロスプロンプト特性スコアリング(GAPS)を提案する。 我々は文法誤り訂正技術を用いてエッセイにおける文法誤り訂正情報を取得し,これらの情報をシームレスに統合するAESモデルを設計する。 修正されたエッセイとオリジナルのエッセイの両方を内部的に参照することで、モデルはトレーニング中に一般的な機能に集中することができる。 実験により本手法の一般化性を検証するとともに,素早い非依存性および文法関連特性の顕著な改善が示された。 さらにGAPSは、最も困難なクロスプロンプトシナリオにおいて顕著なQWK向上を実現し、目に見えないプロンプトを評価する上での強みを強調している。

関連論文リスト

• Eliciting Textual Descriptions from Representations of Continuous Prompts [11.489611613744724]
  本稿では,モデル推論における表現からテキスト記述を抽出する連続的プロンプトの解釈手法を提案する。 本稿では,タスク性能が向上するにつれて,タスク記述の正確さが向上することを示す。 InSPEcTは、望ましくないプロパティを継続的なプロンプトでデバッグし、開発者がそれを緩和する方法を通知するために利用することができる。
  論文  参考訳（メタデータ） (2024-10-15T14:46:11Z)
• Localizing Factual Inconsistencies in Attributable Text Generation [91.981439746404]
  本稿では,帰属可能なテキスト生成における事実の不整合をローカライズするための新しい形式であるQASemConsistencyを紹介する。 まず,人間のアノテーションに対するQASemConsistency法の有効性を示す。 そこで我々は,局所的な事実の不整合を自動的に検出するいくつかの手法を実装した。
  論文  参考訳（メタデータ） (2024-10-09T22:53:48Z)
• Self-regulating Prompts: Foundational Model Adaptation without Forgetting [112.66832145320434]
  本稿では,PromptSRCと呼ばれる自己正規化フレームワークを提案する。 PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。
  論文  参考訳（メタデータ） (2023-07-13T17:59:35Z)
• MetricPrompt: Prompting Model as a Relevance Metric for Few-shot Text Classification [65.51149771074944]
  MetricPromptは、数発のテキスト分類タスクをテキストペア関連性推定タスクに書き換えることで、言語設計の難易度を緩和する。 広範に使われている3つのテキスト分類データセットを4つのショット・セッティングで実験する。 結果から,MetricPromptは,手動弁証法や自動弁証法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2023-06-15T06:51:35Z)
• Prompt- and Trait Relation-aware Cross-prompt Essay Trait Scoring [3.6825890616838066]
  自動エッセイスコアリング(AES)は、与えられたプロンプトのために書かれたエッセイをスコアリングすることを目的とする。 既存のAESシステムの多くは、トレーニングで使用されるのと同じプロンプトのエッセイを格付けし、総合的なスコアのみを割り当てている。 本稿では,プロンプトとトレーサの関係を意識したエッセイ・エッセイ・トレーサ・スコアラというロバストなモデルを提案する。
  論文  参考訳（メタデータ） (2023-05-26T11:11:19Z)
• Fairness-guided Few-shot Prompting for Large Language Models [93.05624064699965]
  インコンテキスト学習は、トレーニング例、例えば順、プロンプトフォーマットのバリエーションによって、高い不安定性に悩まされる可能性がある。 ラベルや属性に対する固定的なプロンプトの予測バイアスを評価するための指標を導入する。 そこで本研究では,テキスト内学習の性能向上のための最寄りのプロンプトを特定するための,欲求探索に基づく新しい探索手法を提案する。
  論文  参考訳（メタデータ） (2023-03-23T12:28:25Z)
• TEMPERA: Test-Time Prompting via Reinforcement Learning [57.48657629588436]
  強化学習(TEMPERA)を用いたテスト時間プロンプト編集を提案する。 従来のプロンプト生成手法とは対照的に、TEMPERAは事前知識を効率的に活用することができる。 本手法は従来の微調整法と比較して試料効率の平均改善率を5.33倍に向上させる。
  論文  参考訳（メタデータ） (2022-11-21T22:38:20Z)
• Prompt Agnostic Essay Scorer: A Domain Generalization Approach to Cross-prompt Automated Essay Scoring [61.21967763569547]
  クロスプロンプト自動エッセイスコア(英語: Cross-prompt automated essay score, AES)は、非ターゲットプロンプトエッセイを使用して目標プロンプトエッセイにスコアを付与するシステムである。 本稿では, クロスプロンプトAESのためのPAES(Prompt Agnostic Essay Scorer)を提案する。 本手法は,学習中にラベル付きあるいは未ラベルのターゲット・プロンプトデータにアクセスする必要がなく,単一段階のアプローチである。
  論文  参考訳（メタデータ） (2020-08-04T10:17:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。