論文の概要: Essay-BR: a Brazilian Corpus of Essays
- arxiv url: http://arxiv.org/abs/2105.09081v1
- Date: Wed, 19 May 2021 11:59:46 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-20 16:39:32.087576
- Title: Essay-BR: a Brazilian Corpus of Essays
- Title(参考訳): Essay-BR:ブラジルのEssaysコーパス
- Authors: Jeziel C. Marinho, Rafael T. Anchieta, and Raimundo S. Moura
- Abstract要約: ブラジルの高校生がオンラインプラットフォーム上で書いたエッセイで大きなコーパスを作ります。
すべてのエッセイは議論的であり、専門家によって5つの能力で評価された。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automatic Essay Scoring (AES) is defined as the computer technology that
evaluates and scores the written essays, aiming to provide computational models
to grade essays either automatically or with minimal human involvement. While
there are several AES studies in a variety of languages, few of them are
focused on the Portuguese language. The main reason is the lack of a corpus
with manually graded essays. In order to bridge this gap, we create a large
corpus with several essays written by Brazilian high school students on an
online platform. All of the essays are argumentative and were scored across
five competencies by experts. Moreover, we conducted an experiment on the
created corpus and showed challenges posed by the Portuguese language. Our
corpus is publicly available at https://github.com/rafaelanchieta/essay.
- Abstract(参考訳): 自動エッセイスコアリング(automatic essay scoring, aes)とは、エッセイの評価とスコア付けを行うコンピュータ技術である。
様々な言語でいくつかのAES研究があるが、ポルトガル語に焦点を当てているものはほとんどない。
主な理由は、手書きのエッセイによるコーパスの欠如である。
このギャップを埋めるために,ブラジルの高校生がオンラインプラットフォーム上で書いたエッセイを,大規模なコーパスとして作成する。
エッセイはすべて議論的であり、専門家によって5つの能力で得点された。
さらに,作成したコーパスについて実験を行い,ポルトガル語による課題を示した。
私たちのコーパスはhttps://github.com/rafaelanchieta/essayで公開されている。
関連論文リスト
- Examining the Behavior of LLM Architectures Within the Framework of Standardized National Exams in Brazil [0.40260939837426674]
Exame Nacional do Ensino M'edio (ENEM)はブラジルの学生にとって重要な試験であり、ブラジルの多くの大学に入学するために必要である。
ブラジル政府の透明性政策により、学生の回答と社会経済的地位に関するアンケートは毎年公にされている(匿名化されている)。
人間の異なるグループとAIを比較し、人間と機械の回答の分布にアクセスできるようにします。
論文 参考訳(メタデータ) (2024-08-09T12:47:28Z) - A School Student Essay Corpus for Analyzing Interactions of Argumentative Structure and Quality [12.187586364960758]
我々は,2つの年齢集団の学生のエッセイ1,320件のドイツ語コーパスを提示する。
各エッセイは、複数のレベルの粒度の議論的構造と品質のために手動で注釈付けされている。
議論マイニングとエッセイスコアリングのためのベースラインアプローチを提案し,両タスク間の相互作用を分析する。
論文 参考訳(メタデータ) (2024-04-03T07:31:53Z) - Disco-Bench: A Discourse-Aware Evaluation Benchmark for Language
Modelling [70.23876429382969]
本研究では,多種多様なNLPタスクに対して,文内談話特性を評価できるベンチマークを提案する。
ディスコ・ベンチは文学領域における9つの文書レベルのテストセットから構成されており、豊富な談話現象を含んでいる。
また,言語分析のために,対象モデルが談話知識を学習するかどうかを検証できる診断テストスイートを設計する。
論文 参考訳(メタデータ) (2023-07-16T15:18:25Z) - A Corpus for Sentence-level Subjectivity Detection on English News Articles [49.49218203204942]
我々はこのガイドラインを用いて、議論を呼んだ話題に関する英ニュース記事から抽出した638の目的語と411の主観的な文からなるNewsSD-ENGを収集する。
我々のコーパスは、語彙や機械翻訳といった言語固有のツールに頼ることなく、英語で主観的検出を行う方法を舗装している。
論文 参考訳(メタデータ) (2023-05-29T11:54:50Z) - AI, write an essay for me: A large-scale comparison of human-written
versus ChatGPT-generated essays [66.36541161082856]
ChatGPTや同様の生成AIモデルは、何億人ものユーザーを惹きつけている。
本研究は,ChatGPTが生成した議論的学生エッセイと比較した。
論文 参考訳(メタデータ) (2023-04-24T12:58:28Z) - ArguGPT: evaluating, understanding and identifying argumentative essays
generated by GPT models [9.483206389157509]
まず、7つのGPTモデルによって生成された4,038の議論的エッセイのバランスの取れたコーパスであるArguGPTを提示する。
そして、機械エッセイと人間のエッセイを区別するために英語のインストラクターを雇います。
その結果、まず機械によるエッセイに触れると、インストラクターは61%の精度しか検出できないことがわかった。
論文 参考訳(メタデータ) (2023-04-16T01:50:26Z) - Large Language Models are Diverse Role-Players for Summarization
Evaluation [82.31575622685902]
文書要約の品質は、文法や正しさといった客観的な基準と、情報性、簡潔さ、魅力といった主観的な基準で人間の注釈者によって評価することができる。
BLUE/ROUGEのような自動評価手法のほとんどは、上記の次元を適切に捉えることができないかもしれない。
目的と主観の両面から生成されたテキストと参照テキストを比較し,総合的な評価フレームワークを提供するLLMに基づく新しい評価フレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-27T10:40:59Z) - Discourse Analysis for Evaluating Coherence in Video Paragraph Captions [99.37090317971312]
ビデオ段落のコヒーレンスを評価するための,新しい談話に基づく枠組みを検討中である。
ビデオのコヒーレンスに条件付き段落のコヒーレンスをモデル化する上で,ビデオの談話表現が中心となる。
実験の結果,提案手法は,ビデオ段落のコヒーレンスをベースライン法よりも有意に向上させることがわかった。
論文 参考訳(メタデータ) (2022-01-17T04:23:08Z) - My Teacher Thinks The World Is Flat! Interpreting Automatic Essay
Scoring Mechanism [71.34160809068996]
最近の研究では、自動スコアリングシステムが常識的な敵対的サンプルになりやすいことが示されています。
近年の解釈能力の進歩を活かし,コヒーレンスやコンテント,関連性といった特徴がスコアリングの自動化にどの程度重要であるかを見出す。
また、モデルが意味的に世界知識や常識に基づかないことから、世界のような虚偽の事実を追加することは、それを減らすよりもむしろスコアを増加させる。
論文 参考訳(メタデータ) (2020-12-27T06:19:20Z) - The Discussion Tracker Corpus of Collaborative Argumentation [2.800857580710507]
ディベート・トラッカー・コーパスはアメリカ高校の英語の授業で収集された。
コーパスは、985分間の音声から書き起こされた英文学に関する29の多党の議論で構成されている。
論文 参考訳(メタデータ) (2020-05-22T18:27:28Z) - Know thy corpus! Robust methods for digital curation of Web corpora [0.0]
本稿では,Webコーパスのデジタルキュレーションのための新しいフレームワークを提案する。
これはそれらの構成や語彙などのパラメータを頑健に推定する。
論文 参考訳(メタデータ) (2020-03-13T17:21:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。