論文の概要: NLP and Education: using semantic similarity to evaluate filled gaps in a large-scale Cloze test in the classroom

• arxiv url: http://arxiv.org/abs/2411.01280v1
• Date: Sat, 02 Nov 2024 15:22:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:48:04.048323
• Title: NLP and Education: using semantic similarity to evaluate filled gaps in a large-scale Cloze test in the classroom
• Title（参考訳）: NLPと教育 : 教室における大規模クローゼ試験における意味的類似性を用いた充足ギャップの評価
• Authors: Túlio Sousa de Gois, Flávia Oliveira Freitas, Julian Tejada, Raquel Meister Ko. Freitag,
• Abstract要約: ブラジルの学生を対象にしたクローゼテストのデータを用いて,ブラジルポルトガル語(PT-BR)のWEモデルを用いて意味的類似度を測定した。 WEモデルのスコアと審査員の評価を比較した結果,GloVeが最も効果的なモデルであることが判明した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: This study examines the applicability of the Cloze test, a widely used tool for assessing text comprehension proficiency, while highlighting its challenges in large-scale implementation. To address these limitations, an automated correction approach was proposed, utilizing Natural Language Processing (NLP) techniques, particularly word embeddings (WE) models, to assess semantic similarity between expected and provided answers. Using data from Cloze tests administered to students in Brazil, WE models for Brazilian Portuguese (PT-BR) were employed to measure the semantic similarity of the responses. The results were validated through an experimental setup involving twelve judges who classified the students' answers. A comparative analysis between the WE models' scores and the judges' evaluations revealed that GloVe was the most effective model, demonstrating the highest correlation with the judges' assessments. This study underscores the utility of WE models in evaluating semantic similarity and their potential to enhance large-scale Cloze test assessments. Furthermore, it contributes to educational assessment methodologies by offering a more efficient approach to evaluating reading proficiency.
• Abstract（参考訳）: 本研究では,大規模実装における課題を浮き彫りにしながら,テキスト理解能力を評価するツールであるCloze testの適用性について検討した。 これらの制約に対処するため、自然言語処理(NLP)技術、特に単語埋め込み(WE)モデルを用いて、期待された回答と提供された回答のセマンティックな類似性を評価する自動修正手法が提案された。 ブラジルの学生を対象にしたCloseテストのデータを用いて,ブラジルポルトガル語(PT-BR)のWEモデルを用いて,反応の意味的類似度を測定した。 結果は、学生の回答を分類した12人の審査員による実験的な設定によって検証された。 WEモデルのスコアと審査員の評価を比較した結果,GloVeが最も効果的なモデルであることが判明した。 本研究は,意味的類似性の評価におけるWEモデルの有用性と大規模Clozeテストアセスメントの強化の可能性を明らかにする。 さらに、読解能力を評価するためのより効率的なアプローチを提供することにより、教育評価方法論に貢献する。

関連論文リスト

• An Automatic and Cost-Efficient Peer-Review Framework for Language Generation Evaluation [29.81362106367831]
  既存の評価手法は、しばしば高いコスト、限られたテスト形式、人間の参照の必要性、体系的な評価バイアスに悩まされる。 人間のアノテーションに依存する以前の研究とは対照的に、Auto-PREはそれら固有の特性に基づいて自動的に評価者を選択する。 実験結果から,我々のAuto-PREは最先端の性能を低コストで達成できることが示された。
  論文  参考訳（メタデータ） (2024-10-16T06:06:06Z)
• Single Ground Truth Is Not Enough: Add Linguistic Variability to Aspect-based Sentiment Analysis Evaluation [41.66053021998106]
  アスペクトベース感情分析(ABSA)は、人間の言語から感情を抽出する上で困難な課題である。 このタスクの現在の評価手法は、表面形が異なる意味論的に等価な予測をペナルティ化して、単一の真実に対する答えを制限することが多い。 我々は、アスペクトと意見の項に対して、代替の有効なレスポンスで既存のテストセットを拡張する、新しく完全に自動化されたパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-10-13T11:48:09Z)
• A Comparative Study of Quality Evaluation Methods for Text Summarization [0.5512295869673147]
  本稿では,大規模言語モデル(LLM)に基づくテキスト要約評価手法を提案する。 以上の結果から,LLMの評価は人間の評価と密接に一致しているが,ROUGE-2,BERTScore,SummaCなどの広く使用されている自動測定値には一貫性がない。
  論文  参考訳（メタデータ） (2024-06-30T16:12:37Z)
• Lessons from the Trenches on Reproducible Evaluation of Language Models [60.522749986793094]
  我々は,大規模言語モデルの評価を3年間経験し,研究者に指導とレッスンを提供してきた。 本稿では,言語モデルの独立性,再現性,評価を行うオープンソースライブラリであるLanguage Model Evaluation Harness(lm-eval)を紹介する。
  論文  参考訳（メタデータ） (2024-05-23T16:50:49Z)
• Auditing the Use of Language Models to Guide Hiring Decisions [2.949890760187898]
  アルゴリズムバイアスから保護するための規制努力は、大規模言語モデルで急速に進歩した緊急性を高めている。 現在の規制と科学文献は、これらの評価の実施方法に関するガイダンスをほとんど提供していない。 本稿では,監査アルゴリズムの1つのアプローチとして,対応実験を提案する。
  論文  参考訳（メタデータ） (2024-04-03T22:01:26Z)
• How to Determine the Most Powerful Pre-trained Language Model without Brute Force Fine-tuning? An Empirical Survey [23.757740341834126]
  その結果,H-Scoreは効率性や効率性に優れることがわかった。 また、トレーニングの詳細、テキスト生成への適用性、今後の方向性に光を当てる特定の指標との整合性といった難しさについても概説する。
  論文  参考訳（メタデータ） (2023-12-08T01:17:28Z)
• FLASK: Fine-grained Language Model Evaluation based on Alignment Skill Sets [69.91340332545094]
  FLASKは、人間に基づく評価とモデルに基づく評価の両方のためのきめ細かい評価プロトコルである。 モデル性能の全体像を得るためには,評価の微粒化が重要であることを実験的に観察する。
  論文  参考訳（メタデータ） (2023-07-20T14:56:35Z)
• From Static Benchmarks to Adaptive Testing: Psychometrics in AI Evaluation [60.14902811624433]
  本稿では,静的評価手法から適応テストへのパラダイムシフトについて論じる。 これには、ベンチマークで各テスト項目の特性と価値を推定し、リアルタイムでアイテムを動的に調整することが含まれる。 我々は、AI評価にサイコメトリックを採用する現在のアプローチ、アドバンテージ、そして根底にある理由を分析します。
  論文  参考訳（メタデータ） (2023-06-18T09:54:33Z)
• Multi-Dimensional Evaluation of Text Summarization with In-Context Learning [79.02280189976562]
  本稿では,テキスト内学習を用いた多次元評価器として,大規模言語モデルの有効性について検討する。 実験の結果,テキスト要約作業において,文脈内学習に基づく評価手法が学習評価フレームワークと競合していることが判明した。 次に、テキスト内サンプルの選択や数などの要因がパフォーマンスに与える影響を分析する。
  論文  参考訳（メタデータ） (2023-06-01T23:27:49Z)
• Evaluating the Performance of Large Language Models on GAOKAO Benchmark [53.663757126289795]
  本稿では,中国のガオカオ検定の質問をサンプルとして用いた直感的なベンチマークであるガオカオベンチについて紹介する。 人間の評価により, GPT-4, ChatGPT, ERNIE-Botを含むLLMの変換総得点を得た。 また、LLMを用いて主観的質問を格付けし、モデルスコアが人間のスコアと適度な一貫性を達成することを確認する。
  論文  参考訳（メタデータ） (2023-05-21T14:39:28Z)
• Towards Automatic Evaluation of Dialog Systems: A Model-Free Off-Policy Evaluation Approach [84.02388020258141]
  強化学習におけるオフポリシ評価に基づく人間評価スコア推定のための新しいフレームワークであるENIGMAを提案する。 ENIGMAはいくつかの事前収集された経験データしか必要としないため、評価中にターゲットポリシーとのヒューマンインタラクションは不要である。 実験の結果,ENIGMAは人間の評価スコアと相関して既存手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2021-02-20T03:29:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。