論文の概要: Toward Educator-focused Automated Scoring Systems for Reading and
Writing
- arxiv url: http://arxiv.org/abs/2112.11973v1
- Date: Wed, 22 Dec 2021 15:44:30 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-23 15:06:16.099587
- Title: Toward Educator-focused Automated Scoring Systems for Reading and
Writing
- Title(参考訳): 読み書きのための教育用自動装飾システムに向けて
- Authors: Mike Hardy
- Abstract要約: 本稿では,データとラベルの可用性,信頼性と拡張性,ドメインスコアリング,プロンプトとソースの多様性,伝達学習といった課題に対処する。
モデルトレーニングコストを増大させることなく、エッセイの長さを重要な特徴として保持する技術を採用している。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: This paper presents methods for improving automated essay scoring with
techniques that address the computational trade-offs of self-attention and
document length. To make Automated Essay Scoring (AES) more useful to
practitioners, researchers must overcome the challenges of data and label
availability, authentic and extended writing, domain scoring, prompt and source
variety, and transfer learning. This paper addresses these challenges using
neural network models by employing techniques that preserve essay length as an
important feature without increasing model training costs. It introduces
techniques for minimizing classification loss on ordinal labels using
multi-objective learning, capturing semantic information across the entire
essay using sentence embeddings to use transformer architecture across
arbitrarily long documents, the use of such models for transfer learning,
automated hyperparameter generation based on prompt-corpus metadata, and, most
importantly, the use of semantic information to provide meaningful insights
into student reading through analysis of passage-dependent writing resulting in
state-of-the-art results for various essay tasks.
- Abstract(参考訳): 本稿では,自己着脱と文書長の計算的トレードオフに対処する手法を用いて,自動エッセイスコアリングを改善する手法を提案する。
専門家にとってAES(Automated Essay Scoring)をより便利にするためには、データとラベルの可用性、本物で拡張された書き込み、ドメインスコアリング、プロンプトとソースの多様性、トランスファーラーニングといった課題を克服する必要がある。
本稿では,モデル学習コストを増大させることなく,エッセイ長を重要な特徴として保存する手法を用いて,ニューラルネットワークモデルを用いた課題を解決する。
It introduces techniques for minimizing classification loss on ordinal labels using multi-objective learning, capturing semantic information across the entire essay using sentence embeddings to use transformer architecture across arbitrarily long documents, the use of such models for transfer learning, automated hyperparameter generation based on prompt-corpus metadata, and, most importantly, the use of semantic information to provide meaningful insights into student reading through analysis of passage-dependent writing resulting in state-of-the-art results for various essay tasks.
関連論文リスト
- RelevAI-Reviewer: A Benchmark on AI Reviewers for Survey Paper Relevance [0.8089605035945486]
本稿では,調査論文レビューの課題を分類問題として概念化するシステムであるRelevAI-Reviewerを提案する。
25,164のインスタンスからなる新しいデータセットを導入する。各インスタンスには1つのプロンプトと4つの候補論文があり、それぞれがプロンプトに関連している。
我々は,各論文の関連性を判断し,最も関連性の高い論文を識別できる機械学習(ML)モデルを開発した。
論文 参考訳(メタデータ) (2024-06-13T06:42:32Z) - The Frontier of Data Erasure: Machine Unlearning for Large Language Models [56.26002631481726]
大規模言語モデル(LLM)はAIの進歩の基礎となっている。
LLMは機密情報、偏見情報、著作権情報を記憶し、広めることによってリスクを生じさせる。
機械学習は、これらの懸念を軽減するための最先端のソリューションとして現れます。
論文 参考訳(メタデータ) (2024-03-23T09:26:15Z) - Combatting Human Trafficking in the Cyberspace: A Natural Language
Processing-Based Methodology to Analyze the Language in Online Advertisements [55.2480439325792]
このプロジェクトは、高度自然言語処理(NLP)技術により、オンラインC2Cマーケットプレースにおける人身売買の急激な問題に取り組む。
我々は、最小限の監督で擬似ラベル付きデータセットを生成する新しい手法を導入し、最先端のNLPモデルをトレーニングするための豊富なリソースとして機能する。
重要な貢献は、Integrated Gradientsを使った解釈可能性フレームワークの実装であり、法執行にとって重要な説明可能な洞察を提供する。
論文 参考訳(メタデータ) (2023-11-22T02:45:01Z) - Unsupervised Sentiment Analysis of Plastic Surgery Social Media Posts [91.3755431537592]
ソーシャルメディアプラットフォームにまたがる膨大なユーザー投稿は、主に人工知能(AI)のユースケースに使われていない。
自然言語処理(NLP)は、コーパス(corpora)として知られるドキュメントの体系を利用して、人間のような言語理解でコンピュータを訓練するAIのサブフィールドである。
本研究は, 教師なし解析の応用により, コンピュータがプラスティック手術に対する否定的, 肯定的, 中立的なユーザ感情を予測できることを示した。
論文 参考訳(メタデータ) (2023-07-05T20:16:20Z) - Deep Learning Architecture for Automatic Essay Scoring [0.0]
本稿では、リカレントネットワーク(RNN)と畳み込みニューラルネットワーク(CNN)に基づく新しいアーキテクチャを提案する。
提案アーキテクチャでは, 単語埋め込みベクトルから, 単語n-gramの文脈的特徴を学習し, 捉える。
提案方式は,他の深層学習に基づくAESシステムよりも格付け精度が高い。
論文 参考訳(メタデータ) (2022-06-16T14:56:24Z) - Improving Performance of Automated Essay Scoring by using
back-translation essays and adjusted scores [0.0]
バックトランスレーションとスコア調整を用いたエッセイスコアペア数を増やす手法を提案する。
先行作業から得られたモデルを用いて,拡張データの有効性を評価する。
モデルをトレーニングするために拡張データを使用することで、モデルの性能が向上した。
論文 参考訳(メタデータ) (2022-03-01T11:05:43Z) - Human-in-the-Loop Disinformation Detection: Stance, Sentiment, or
Something Else? [93.91375268580806]
政治とパンデミックは、機械学習対応の偽ニュース検出アルゴリズムの開発に十分な動機を与えている。
既存の文献は、主に完全自動化されたケースに焦点を当てているが、その結果得られた技術は、軍事応用に必要な様々なトピック、ソース、時間スケールに関する偽情報を確実に検出することはできない。
既に利用可能なアナリストを人間のループとして活用することにより、感情分析、アスペクトベースの感情分析、姿勢検出といった標準的な機械学習技術は、部分的に自動化された偽情報検出システムに使用するためのもっとも有効な方法となる。
論文 参考訳(メタデータ) (2021-11-09T13:30:34Z) - On Learning Text Style Transfer with Direct Rewards [101.97136885111037]
平行コーパスの欠如により、テキストスタイルの転送タスクの教師付きモデルを直接訓練することは不可能である。
我々は、当初、微調整されたニューラルマシン翻訳モデルに使用されていた意味的類似度指標を活用している。
我々のモデルは、強いベースラインに対する自動評価と人的評価の両方において大きな利益をもたらす。
論文 参考訳(メタデータ) (2020-10-24T04:30:02Z) - Scaling Systematic Literature Reviews with Machine Learning Pipelines [57.82662094602138]
体系的なレビューは、科学的文書からデータを抽出する。
これらの側面をそれぞれ自動化するパイプラインを構築し、多くの人間時間対システム品質トレードオフを実験します。
人間の専門的アノテーションの2週間だけで、パイプラインシステム全体の驚くほどの精度と一般性が得られることが分かりました。
論文 参考訳(メタデータ) (2020-10-09T16:19:42Z) - Knowledge Guided Metric Learning for Few-Shot Text Classification [22.832467388279873]
我々は,人間の知識を模倣する素早い学習に外部知識を導入することを提案する。
人間の知性に触発され,人間の知識を模倣する素早い学習に外部知識を導入することを提案する。
提案手法は,最新の数ショットのテキスト分類モデルよりも優れていることを示す。
論文 参考訳(メタデータ) (2020-04-04T10:56:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。