論文の概要: Happy Are Those Who Grade without Seeing: A Multi-Task Learning Approach
to Grade Essays Using Gaze Behaviour
- arxiv url: http://arxiv.org/abs/2005.12078v2
- Date: Mon, 1 Feb 2021 11:43:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-29 05:56:35.450257
- Title: Happy Are Those Who Grade without Seeing: A Multi-Task Learning Approach
to Grade Essays Using Gaze Behaviour
- Title（参考訳）: 見ずに成績を上げた人たち:視線行動を用いた評価エッセイのマルチタスク学習アプローチ
- Authors: Sandeep Mathias, Rudra Murthy, Diptesh Kanojia, Abhijit Mishra,
Pushpak Bhattacharyya
- Abstract要約: 本稿では,視線行動を用いたエッセイ自動評価法を提案する。
4つのエッセイセットにまたがる48のエッセイの視線行動を学び、残りのエッセイの視線行動を学び、7000以上のエッセイを数える。
- 参考スコア（独自算出の注目度）: 33.43203339371381
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The gaze behaviour of a reader is helpful in solving several NLP tasks such
as automatic essay grading. However, collecting gaze behaviour from readers is
costly in terms of time and money. In this paper, we propose a way to improve
automatic essay grading using gaze behaviour, which is learnt at run time using
a multi-task learning framework. To demonstrate the efficacy of this multi-task
learning based approach to automatic essay grading, we collect gaze behaviour
for 48 essays across 4 essay sets, and learn gaze behaviour for the rest of the
essays, numbering over 7000 essays. Using the learnt gaze behaviour, we can
achieve a statistically significant improvement in performance over the
state-of-the-art system for the essay sets where we have gaze data. We also
achieve a statistically significant improvement for 4 other essay sets,
numbering about 6000 essays, where we have no gaze behaviour data available.
Our approach establishes that learning gaze behaviour improves automatic essay
grading.
- Abstract（参考訳）: 読者の視線行動は、自動エッセイグレーディングのようないくつかのNLPタスクを解決するのに役立つ。
しかし、読者からの視線行動の収集には時間とお金がかかる。
本稿では,マルチタスク学習フレームワークを用いて実行時に学習される視線行動を用いた自動エッセイ評価手法を提案する。
このマルチタスク学習による自動エッセイ評価手法の有効性を示すために,4つのエッセイセットにまたがる48個のエッセイのアイズ行動の収集と,残りのエッセイのアイズ行動の学習を行い,7000以上のエッセイを数える。
学習した視線行動を用いて,視線データを有するエッセイセットの最先端システムに対する統計的に有意な性能改善を実現することができる。
また,他の4つのエッセイセットにおいて統計的に有意な改善を達成し,約6000のエッセイを数える。
我々のアプローチは、学習の視線行動が自動エッセイ評価を改善することを立証する。
関連論文リスト
- Hey AI Can You Grade My Essay?: Automatic Essay Grading [1.03590082373586]
自動エッセイグレーディング(AEG)分野における最先端モデルよりも優れた新しいモデルを提案する。
我々は,エッセイの文の文法的特徴と構造的特徴のチェックにひとつのネットワークが責任を持ち,エッセイに含まれる全体概念のスコアリングに他のネットワークが責任を持つという,協調的・伝達的学習という概念を用いてきた。
提案手法の精度は85.50%である。
論文 参考訳（メタデータ） (2024-10-12T01:17:55Z) - Graded Relevance Scoring of Written Essays with Dense Retrieval [4.021352247826289]
本稿では,高密度検索エンコーダを用いたエッセイの妥当性評価手法を提案する。
コントラスト学習で事前学習されたContrieverを活用し,教師付き高密度検索モデルに匹敵する性能を示した。
本手法はタスク固有のシナリオにおいて新しい最先端性能を確立し,クロスタスクシナリオに対する拡張は,そのシナリオに対する最先端モデルに匹敵する性能を示した。
論文 参考訳（メタデータ） (2024-05-08T16:37:58Z) - Instruction-following Evaluation through Verbalizer Manipulation [64.73188776428799]
本稿では,動詞操作と呼ばれる新しい指示追従評価プロトコルを提案する。
モデルにタスクラベルを、異なる範囲のモデル先行と整合した単語で言語化するように指示する。
異なる家族や規模にわたるモデルの指示追従能力は、より自然な話し手の性能によって著しく異なることが観察された。
論文 参考訳（メタデータ） (2023-07-20T03:54:24Z) - A Matter of Annotation: An Empirical Study on In Situ and Self-Recall Activity Annotations from Wearable Sensors [56.554277096170246]
In-the-wildデータ収集に焦点をあてたユーザスタディにおいて,一般的な4つのアノテーション手法の評価と対比を行う実験的検討を行った。
実際の記録プロセス中に参加者がアノテートするユーザ主導のin situアノテーションと、各日の終わりに参加者が振り返ってアノテートするリコールメソッドの両方に対して、参加者は自身のアクティビティクラスと対応するラベルを選択できる柔軟性を持っていた。
論文 参考訳（メタデータ） (2023-05-15T16:02:56Z) - Task Formulation Matters When Learning Continually: A Case Study in
Visual Question Answering [58.82325933356066]
継続的な学習は、以前の知識を忘れずに、一連のタスクでモデルを漸進的にトレーニングすることを目的としている。
本稿では,視覚的質問応答において,異なる設定がパフォーマンスに与える影響について詳細に検討する。
論文 参考訳（メタデータ） (2022-09-30T19:12:58Z) - A Survey on Using Gaze Behaviour for Natural Language Processing [35.76242565243049]
本研究では、自然言語処理(NLP)における様々なタスクにおける視線行動の使用について、テスト時に記録することなく議論する。
我々は複数の言語で異なる視線追跡コーパスについて言及し、これは現在利用可能であり、自然言語処理で使用することができる。
本稿は、ドメイン — 教育 — における応用と、複雑な単語識別と自動エッセイグレーディングの課題を解決する上で、視線行動の学習がいかに役立つかを議論することによって、論文を締めくくる。
論文 参考訳（メタデータ） (2021-12-21T15:52:56Z) - Playful Interactions for Representation Learning [82.59215739257104]
本稿では,下流タスクの視覚的表現を学習するために,遊び心のあるインタラクションを自己指導的に利用することを提案する。
19の多様な環境で2時間の遊び心のあるデータを収集し、自己予測学習を用いて視覚的表現を抽出する。
我々の表現は、標準的な行動クローニングよりも一般化され、必要なデモの半数しか必要とせず、同様の性能を達成できる。
論文 参考訳（メタデータ） (2021-07-19T17:54:48Z) - Reciprocal Feature Learning via Explicit and Implicit Tasks in Scene
Text Recognition [60.36540008537054]
本研究では,従来のテキスト認識における文字数カウントという暗黙のタスクを,追加的な注釈コストなしで発掘する。
両タスクの機能を適切に活用するために,2分岐の相反的特徴学習フレームワークを設計する。
7つのベンチマークの実験では、テキスト認識と新しい文字カウントタスクの両方において提案手法の利点が示されている。
論文 参考訳（メタデータ） (2021-05-13T12:27:35Z) - Cognitively Aided Zero-Shot Automatic Essay Grading [25.772899595946416]
本稿では,認知情報を用いたゼロショット自動エッセイグラデーション問題に対する解法を視線行動の形態で記述する。
特にスコア付けのための新しいプロンプトに応答して書かれた新しいエッセイをqwkの約5%のポイントで提供した場合,アイズ行動を用いることが aeg システムの性能向上に寄与することが示された。
論文 参考訳（メタデータ） (2021-02-22T18:41:59Z) - Many Hands Make Light Work: Using Essay Traits to Automatically Score
Essays [41.851075178681015]
マルチタスク学習(MTL)アプローチを用いて,エッセイを総合的に評価する方法を述べる。
LSTMとBiLSTMの両方を用いて,STL(Single-task Learning)アプローチとの比較を行った。
MTLをベースとしたBiLSTMシステムは,エッセイ特性の評価だけでなく,エッセイ特性の評価にも有効であることがわかった。
論文 参考訳（メタデータ） (2021-02-01T11:31:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。