論文の概要: Deep learning for sentence clustering in essay grading support

• arxiv url: http://arxiv.org/abs/2104.11556v1
• Date: Fri, 23 Apr 2021 12:32:51 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-26 16:15:55.086451
• Title: Deep learning for sentence clustering in essay grading support
• Title（参考訳）: エッセイグレーディング支援における文クラスタリングのための深層学習
• Authors: Li-Hsin Chang, Iiro Rastas, Sampo Pyysalo, Filip Ginter
• Abstract要約: フィンランド語における大学生エッセイの2つのデータセットを紹介し,文レベルの有意な議論に対して手作業で注釈を付ける。 我々は,エッセイグレーディングを支援するために,文クラスタリングに適した深層学習埋め込み手法をいくつか評価した。
• 参考スコア（独自算出の注目度）: 1.7259867886009057
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Essays as a form of assessment test student knowledge on a deeper level than short answer and multiple-choice questions. However, the manual evaluation of essays is time- and labor-consuming. Automatic clustering of essays, or their fragments, prior to manual evaluation presents a possible solution to reducing the effort required in the evaluation process. Such clustering presents numerous challenges due to the variability and ambiguity of natural language. In this paper, we introduce two datasets of undergraduate student essays in Finnish, manually annotated for salient arguments on the sentence level. Using these datasets, we evaluate several deep-learning embedding methods for their suitability to sentence clustering in support of essay grading. We find that the choice of the most suitable method depends on the nature of the exam question and the answers, with deep-learning methods being capable of, but not guaranteeing better performance over simpler methods based on lexical overlap.
• Abstract（参考訳）: 評価テストの形式としてのエッセイは、短い回答や複数の質問よりも深いレベルで学生の知識をテストする。 しかし、エッセイの手動による評価は時間と労力がかかる。 手作業による評価に先立ってエッセイやその断片の自動クラスタリングは、評価プロセスに必要な労力を削減するための可能な解決策を提供する。 このようなクラスタリングは、自然言語の多様性とあいまいさによって、多くの課題をもたらす。 本稿では,フィンランド語における大学生エッセイの2つのデータセットについて紹介する。 これらのデータセットを用いて,エッセイグレーディングを支援するために,文クラスタリングに適した深層学習埋め込み手法の評価を行った。 その結果,最も適した手法の選択は,試験問題の性質と解答に依存し,深層学習法は可能であるが,語彙的重複に基づく単純な手法よりも優れた性能は保証されないことがわかった。

関連論文リスト

• Likelihood as a Performance Gauge for Retrieval-Augmented Generation [78.28197013467157]
  言語モデルの性能の効果的な指標としての可能性を示す。 提案手法は,より優れた性能をもたらすプロンプトの選択と構築のための尺度として,疑似可能性を利用する2つの手法を提案する。
  論文  参考訳（メタデータ） (2024-11-12T13:14:09Z)
• Paired Completion: Flexible Quantification of Issue-framing at Scale with LLMs [0.41436032949434404]
  我々は,大規模なテキストデータセット内の問題フレーミングと物語分析のための新しい検出手法を開発し,厳密に評価する。 問題フレーミングは大きなコーパスにおいて, 与えられた問題に対して, いずれの視点でも, 確実に, 効率的に検出できることを示す。
  論文  参考訳（メタデータ） (2024-08-19T07:14:15Z)
• Automating Easy Read Text Segmentation [2.7309692684728617]
  読みやすいテキストは、読み難い人のための情報にアクセスするための主要な形態の1つである。 このタイプのテキストの重要な特徴の1つは、文をより小さな文法セグメントに分割する必要があることである。 マスク付きおよび生成言語モデルと構成的構文解析を併用して,タスクのための新しい手法について検討する。
  論文  参考訳（メタデータ） (2024-06-17T12:25:25Z)
• GLIMPSE: Pragmatically Informative Multi-Document Summarization for Scholarly Reviews [25.291384842659397]
  本稿では,学術レビューの簡潔かつ包括的概要を提供するための要約手法であるsysを紹介する。 従来のコンセンサスに基づく手法とは異なり、sysは共通の意見とユニークな意見の両方をレビューから抽出する。
  論文  参考訳（メタデータ） (2024-06-11T15:27:01Z)
• Graded Relevance Scoring of Written Essays with Dense Retrieval [4.021352247826289]
  本稿では,高密度検索エンコーダを用いたエッセイの妥当性評価手法を提案する。 コントラスト学習で事前学習されたContrieverを活用し,教師付き高密度検索モデルに匹敵する性能を示した。 本手法はタスク固有のシナリオにおいて新しい最先端性能を確立し,クロスタスクシナリオに対する拡張は,そのシナリオに対する最先端モデルに匹敵する性能を示した。
  論文  参考訳（メタデータ） (2024-05-08T16:37:58Z)
• One-Shot Learning as Instruction Data Prospector for Large Language Models [108.81681547472138]
  textscNuggetsはワンショット学習を使用して、広範なデータセットから高品質な命令データを選択する。 我々は,textscNuggets がキュレートした例の上位1%による命令チューニングが,データセット全体を用いた従来の手法よりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2023-12-16T03:33:12Z)
• Teach model to answer questions after comprehending the document [1.4264737570114632]
  Multi-choice Machine Reading (MRC)は自然言語処理(NLP)の挑戦的な拡張である 本稿では,MSCタスクを2段階に分割することで,文書の理解を深める2段階の知識蒸留法を提案する。
  論文  参考訳（メタデータ） (2023-07-18T02:38:02Z)
• Comparing Methods for Extractive Summarization of Call Centre Dialogue [77.34726150561087]
  そこで本稿では,これらの手法を用いて呼の要約を生成し,客観的に評価することにより,実験的な比較を行った。 TopicSum と Lead-N は他の要約法よりも優れており,BERTSum は主観的評価と客観的評価の両方で比較的低いスコアを得た。
  論文  参考訳（メタデータ） (2022-09-06T13:16:02Z)
• Learning Opinion Summarizers by Selecting Informative Reviews [81.47506952645564]
  31,000以上の製品のユーザレビューと組み合わせた大規模な要約データセットを収集し、教師付きトレーニングを可能にします。 多くのレビューの内容は、人間が書いた要約には反映されず、したがってランダムなレビューサブセットで訓練された要約者は幻覚する。 我々は、これらのサブセットで表現された意見を要約し、レビューの情報的サブセットを選択するための共同学習としてタスクを定式化する。
  論文  参考訳（メタデータ） (2021-09-09T15:01:43Z)
• Toward the Understanding of Deep Text Matching Models for Information Retrieval [72.72380690535766]
  本稿では,既存の深層テキストマッチング手法が情報検索の基本的な勾配を満たすかどうかを検証することを目的とする。 具体的には, 項周波数制約, 項識別制約, 長さ正規化制約, TF長制約の4つの属性を用いる。 LETOR 4.0 と MS Marco の実験結果から,研究対象の深層テキストマッチング手法はすべて,統計学において高い確率で上記の制約を満たすことが示された。
  論文  参考訳（メタデータ） (2021-08-16T13:33:15Z)
• Hierarchical Bi-Directional Self-Attention Networks for Paper Review Rating Recommendation [81.55533657694016]
  本稿では,階層型双方向自己注意ネットワークフレームワーク(HabNet)を提案する。 具体的には、文エンコーダ(レベル1)、レビュー内エンコーダ(レベル2)、レビュー間エンコーダ(レベル3)の3つのレベルで、論文レビューの階層構造を利用する。 我々は、最終的な受理決定を行う上で有用な予測者を特定することができ、また、数値的なレビュー評価とレビュアーが伝えるテキストの感情の不整合を発見するのに役立てることができる。
  論文  参考訳（メタデータ） (2020-11-02T08:07:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。