論文の概要: Autoregressive Score Generation for Multi-trait Essay Scoring

• arxiv url: http://arxiv.org/abs/2403.08332v1
• Date: Wed, 13 Mar 2024 08:34:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-14 15:16:13.815075
• Title: Autoregressive Score Generation for Multi-trait Essay Scoring
• Title（参考訳）: マルチトレートエッセイスコーリングのための自己回帰スコア生成
• Authors: Heejin Do, Yunsu Kim, Gary Geunbae Lee
• Abstract要約: 自動エッセイスコア(AES)におけるマルチトレイスコア(ArTS)の自動回帰予測を提案する。 先行回帰法や分類法とは異なり、AESをスコア生成タスクとして再定義し、単一のモデルで複数のスコアを予測する。 実験の結果、ArTSの有効性が証明され、プロンプトと形質の両方で平均5%以上の改善が見られた。
• 参考スコア（独自算出の注目度）: 8.531986117865946
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, encoder-only pre-trained models such as BERT have been successfully applied in automated essay scoring (AES) to predict a single overall score. However, studies have yet to explore these models in multi-trait AES, possibly due to the inefficiency of replicating BERT-based models for each trait. Breaking away from the existing sole use of encoder, we propose an autoregressive prediction of multi-trait scores (ArTS), incorporating a decoding process by leveraging the pre-trained T5. Unlike prior regression or classification methods, we redefine AES as a score-generation task, allowing a single model to predict multiple scores. During decoding, the subsequent trait prediction can benefit by conditioning on the preceding trait scores. Experimental results proved the efficacy of ArTS, showing over 5% average improvements in both prompts and traits.
• Abstract（参考訳）: 近年、BERTのようなエンコーダのみの事前学習モデルが自動エッセイスコア(AES)において、単一の総合スコアの予測に成功している。 しかしながら、これらのモデルをマルチトレイAESで探索する研究はまだ行われていないが、それはおそらく、各特性に対してBERTベースのモデルを複製する非効率性のためである。 本稿では,既存のエンコーダの唯一の使用から切り離して,事前学習したT5を利用して,復号処理を取り入れたマルチトレートスコアの自動回帰予測を提案する。 先行回帰法や分類法とは異なり、AESをスコア生成タスクとして再定義し、単一のモデルで複数のスコアを予測する。 復号化中は、後続の特性予測は、前回の特性スコアを条件付けすることで恩恵を受けることができる。 実験の結果、ArTSの有効性が証明され、プロンプトと形質の両方で平均5%以上の改善が見られた。

関連論文リスト

• Autoregressive Multi-trait Essay Scoring via Reinforcement Learning with Scoring-aware Multiple Rewards [5.632624116225276]
  スコアリング対応マルチリワード強化学習(SaMRL)を提案する。 SaMRLは、QWKに基づく報酬を、マルチトレートAESに対する平均2乗誤差ペナルティで設計することで、実際の評価スキームをトレーニングプロセスに統合する。
  論文  参考訳（メタデータ） (2024-09-26T02:16:48Z)
• RDBE: Reasoning Distillation-Based Evaluation Enhances Automatic Essay Scoring [0.0]
  Reasoning Distillation-Based Evaluation (RDBE) は、解釈可能性を統合し、モデルスコアの背景にある理論的根拠を解明する。 実験により, データセットに考慮したすべてのスコアリングルーリックに対してRDBEの有効性が示された。
  論文  参考訳（メタデータ） (2024-07-03T05:49:01Z)
• Refine, Discriminate and Align: Stealing Encoders via Sample-Wise Prototypes and Multi-Relational Extraction [57.16121098944589]
  RDAは、事前訓練されたエンコーダを盗むために、以前の取り組みで普及した2つの主要な欠陥に対処するために設計された先駆的なアプローチである。 これは、サンプルの様々な視点に対してターゲットエンコーダの表現を統一するサンプルワイドプロトタイプによって達成される。 より強力な有効性を得るために、我々はサロゲートエンコーダを訓練し、ミスマッチした埋め込み-プロトタイプペアを識別するマルチリレーショナル抽出損失を開発する。
  論文  参考訳（メタデータ） (2023-12-01T15:03:29Z)
• TTAPS: Test-Time Adaption by Aligning Prototypes using Self-Supervision [70.05605071885914]
  本研究では,単体テストサンプルに適用可能な自己教師付きトレーニングアルゴリズムSwaVの新たな改良を提案する。 ベンチマークデータセットCIFAR10-Cにおいて,本手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-05-18T05:43:06Z)
• The MultiBERTs: BERT Reproductions for Robustness Analysis [86.29162676103385]
  事前トレーニングの再実行は、パフォーマンスに関して、かなり異なる結論をもたらす可能性がある。 我々は25個のBERTベースのチェックポイントの集合であるMultiBERTを紹介する。 目標は、研究者が事前訓練の手順について、堅牢で統計的に正当化された結論を描けるようにすることである。
  論文  参考訳（メタデータ） (2021-06-30T15:56:44Z)
• Knowledge Transfer by Discriminative Pre-training for Academic Performance Prediction [5.3431413737671525]
  本稿では,学業成績予測のための差別的事前学習タスクを用いた転帰学習フレームワークであるDPAを提案する。 従来の最先端生成事前学習法と比較して、DPAはよりサンプリング効率が良く、より低いアカデミック性能予測誤差に迅速に収束する。
  論文  参考訳（メタデータ） (2021-06-28T13:02:23Z)
• UmBERTo-MTSA @ AcCompl-It: Improving Complexity and Acceptability Prediction with Multi-task Learning on Self-Supervised Annotations [0.0]
  本研究は,ラベル付きデータの適度な使用量のみの学習モデルの性能向上に使用される,自己教師型データ拡張手法について述べる。 神経言語モデルは、EVALITA 2020におけるAcCompl-it共有タスクのコンテキストにおいて、この手順を用いて微調整される。
  論文  参考訳（メタデータ） (2020-11-10T15:50:37Z)
• Evaluation Toolkit For Robustness Testing Of Automatic Essay Scoring Systems [64.4896118325552]
  モデル逆算評価スキームと関連するメトリクスを用いて、現状のAESモデルを評価する。 AESモデルは非常に過大評価されていることがわかった。質問の話題に関係のない内容の重い修正(25%まで)でさえ、モデルが生み出すスコアを低下させることはない。
  論文  参考訳（メタデータ） (2020-07-14T03:49:43Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)
• Document Ranking with a Pretrained Sequence-to-Sequence Model [56.44269917346376]
  関連ラベルを「ターゲット語」として生成するためにシーケンス・ツー・シーケンス・モデルをどのように訓練するかを示す。 提案手法は,データポーラ方式におけるエンコーダのみのモデルよりも大幅に優れている。
  論文  参考訳（メタデータ） (2020-03-14T22:29:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。