論文の概要: Essay-BR: a Brazilian Corpus of Essays
- arxiv url: http://arxiv.org/abs/2105.09081v1
- Date: Wed, 19 May 2021 11:59:46 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-20 16:39:32.087576
- Title: Essay-BR: a Brazilian Corpus of Essays
- Title(参考訳): Essay-BR:ブラジルのEssaysコーパス
- Authors: Jeziel C. Marinho, Rafael T. Anchieta, and Raimundo S. Moura
- Abstract要約: ブラジルの高校生がオンラインプラットフォーム上で書いたエッセイで大きなコーパスを作ります。
すべてのエッセイは議論的であり、専門家によって5つの能力で評価された。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automatic Essay Scoring (AES) is defined as the computer technology that
evaluates and scores the written essays, aiming to provide computational models
to grade essays either automatically or with minimal human involvement. While
there are several AES studies in a variety of languages, few of them are
focused on the Portuguese language. The main reason is the lack of a corpus
with manually graded essays. In order to bridge this gap, we create a large
corpus with several essays written by Brazilian high school students on an
online platform. All of the essays are argumentative and were scored across
five competencies by experts. Moreover, we conducted an experiment on the
created corpus and showed challenges posed by the Portuguese language. Our
corpus is publicly available at https://github.com/rafaelanchieta/essay.
- Abstract(参考訳): 自動エッセイスコアリング(automatic essay scoring, aes)とは、エッセイの評価とスコア付けを行うコンピュータ技術である。
様々な言語でいくつかのAES研究があるが、ポルトガル語に焦点を当てているものはほとんどない。
主な理由は、手書きのエッセイによるコーパスの欠如である。
このギャップを埋めるために,ブラジルの高校生がオンラインプラットフォーム上で書いたエッセイを,大規模なコーパスとして作成する。
エッセイはすべて議論的であり、専門家によって5つの能力で得点された。
さらに,作成したコーパスについて実験を行い,ポルトガル語による課題を示した。
私たちのコーパスはhttps://github.com/rafaelanchieta/essayで公開されている。
関連論文リスト
- Empirical Study of Large Language Models as Automated Essay Scoring
Tools in English Composition__Taking TOEFL Independent Writing Task for
Example [25.220438332156114]
本研究では,大規模言語モデルの顕著な代表者であるChatGPTの機能と制約を評価することを目的とする。
本研究はChatGPTを用いて,小さなサンプルサイズであっても,英語エッセイの自動評価を行う。
論文 参考訳(メタデータ) (2024-01-07T07:13:50Z) - Disco-Bench: A Discourse-Aware Evaluation Benchmark for Language
Modelling [70.23876429382969]
本研究では,多種多様なNLPタスクに対して,文内談話特性を評価できるベンチマークを提案する。
ディスコ・ベンチは文学領域における9つの文書レベルのテストセットから構成されており、豊富な談話現象を含んでいる。
また,言語分析のために,対象モデルが談話知識を学習するかどうかを検証できる診断テストスイートを設計する。
論文 参考訳(メタデータ) (2023-07-16T15:18:25Z) - A Corpus for Sentence-level Subjectivity Detection on English News
Articles [52.58681161666199]
文レベルで主観性検出のための新しいコーパスを提案する。
我々は,タスクのための新しいアノテーションガイドラインを開発し,それらを英語で新しいコーパスの作成に適用する。
この新たなリソースは、英語および他の言語で主観性検出のためのモデルを開発するための道を開く。
論文 参考訳(メタデータ) (2023-05-29T11:54:50Z) - AI, write an essay for me: A large-scale comparison of human-written
versus ChatGPT-generated essays [66.36541161082856]
ChatGPTや同様の生成AIモデルは、何億人ものユーザーを惹きつけている。
本研究は,ChatGPTが生成した議論的学生エッセイと比較した。
論文 参考訳(メタデータ) (2023-04-24T12:58:28Z) - ArguGPT: evaluating, understanding and identifying argumentative essays
generated by GPT models [9.483206389157509]
まず、7つのGPTモデルによって生成された4,038の議論的エッセイのバランスの取れたコーパスであるArguGPTを提示する。
そして、機械エッセイと人間のエッセイを区別するために英語のインストラクターを雇います。
その結果、まず機械によるエッセイに触れると、インストラクターは61%の精度しか検出できないことがわかった。
論文 参考訳(メタデータ) (2023-04-16T01:50:26Z) - Large Language Models are Diverse Role-Players for Summarization
Evaluation [82.31575622685902]
文書要約の品質は、文法や正しさといった客観的な基準と、情報性、簡潔さ、魅力といった主観的な基準で人間の注釈者によって評価することができる。
BLUE/ROUGEのような自動評価手法のほとんどは、上記の次元を適切に捉えることができないかもしれない。
目的と主観の両面から生成されたテキストと参照テキストを比較し,総合的な評価フレームワークを提供するLLMに基づく新しい評価フレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-27T10:40:59Z) - Discourse Analysis for Evaluating Coherence in Video Paragraph Captions [99.37090317971312]
ビデオ段落のコヒーレンスを評価するための,新しい談話に基づく枠組みを検討中である。
ビデオのコヒーレンスに条件付き段落のコヒーレンスをモデル化する上で,ビデオの談話表現が中心となる。
実験の結果,提案手法は,ビデオ段落のコヒーレンスをベースライン法よりも有意に向上させることがわかった。
論文 参考訳(メタデータ) (2022-01-17T04:23:08Z) - My Teacher Thinks The World Is Flat! Interpreting Automatic Essay
Scoring Mechanism [71.34160809068996]
最近の研究では、自動スコアリングシステムが常識的な敵対的サンプルになりやすいことが示されています。
近年の解釈能力の進歩を活かし,コヒーレンスやコンテント,関連性といった特徴がスコアリングの自動化にどの程度重要であるかを見出す。
また、モデルが意味的に世界知識や常識に基づかないことから、世界のような虚偽の事実を追加することは、それを減らすよりもむしろスコアを増加させる。
論文 参考訳(メタデータ) (2020-12-27T06:19:20Z) - The Discussion Tracker Corpus of Collaborative Argumentation [2.800857580710507]
ディベート・トラッカー・コーパスはアメリカ高校の英語の授業で収集された。
コーパスは、985分間の音声から書き起こされた英文学に関する29の多党の議論で構成されている。
論文 参考訳(メタデータ) (2020-05-22T18:27:28Z) - Know thy corpus! Robust methods for digital curation of Web corpora [0.0]
本稿では,Webコーパスのデジタルキュレーションのための新しいフレームワークを提案する。
これはそれらの構成や語彙などのパラメータを頑健に推定する。
論文 参考訳(メタデータ) (2020-03-13T17:21:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。