論文の概要: Machine-assisted writing evaluation: Exploring pre-trained language models in analyzing argumentative moves

• arxiv url: http://arxiv.org/abs/2503.19279v1
• Date: Tue, 25 Mar 2025 02:21:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-26 16:52:02.604238
• Title: Machine-assisted writing evaluation: Exploring pre-trained language models in analyzing argumentative moves
• Title（参考訳）: 機械支援書記評価:議論行動の分析における事前学習言語モデルの探索
• Authors: Wenjuan Qin, Weiran Wang, Yuming Yang, Tao Gui,
• Abstract要約: 縦型学習者コーパスにおける議論行動解析における事前学習言語モデル(PLM)の有効性について検討した。 1643年、中国の235人の英語学習者から引用文の長手コーパスが収集され、6つの移動タイプに注釈付けされる。 その結果,PLMの信頼性は,F1スコアが0.743であり,既存のモデルを上回った。
• 参考スコア（独自算出の注目度）: 28.01557438111706
• License:
• Abstract: The study investigates the efficacy of pre-trained language models (PLMs) in analyzing argumentative moves in a longitudinal learner corpus. Prior studies on argumentative moves often rely on qualitative analysis and manual coding, limiting their efficiency and generalizability. The study aims to: 1) to assess the reliability of PLMs in analyzing argumentative moves; 2) to utilize PLM-generated annotations to illustrate developmental patterns and predict writing quality. A longitudinal corpus of 1643 argumentative texts from 235 English learners in China is collected and annotated into six move types: claim, data, counter-claim, counter-data, rebuttal, and non-argument. The corpus is divided into training, validation, and application sets annotated by human experts and PLMs. We use BERT as one of the implementations of PLMs. The results indicate a robust reliability of PLMs in analyzing argumentative moves, with an overall F1 score of 0.743, surpassing existing models in the field. Additionally, PLM-labeled argumentative moves effectively capture developmental patterns and predict writing quality. Over time, students exhibit an increase in the use of data and counter-claims and a decrease in non-argument moves. While low-quality texts are characterized by a predominant use of claims and data supporting only oneside position, mid- and high-quality texts demonstrate an integrative perspective with a higher ratio of counter-claims, counter-data, and rebuttals. This study underscores the transformative potential of integrating artificial intelligence into language education, enhancing the efficiency and accuracy of evaluating students' writing. The successful application of PLMs can catalyze the development of educational technology, promoting a more data-driven and personalized learning environment that supports diverse educational needs.
• Abstract（参考訳）: 縦型学習者コーパスにおける議論行動解析における事前学習言語モデル(PLM)の有効性について検討した。 議論的な動きに関する先行研究は、しばしば定性的分析と手動のコーディングに依存し、その効率と一般化性を制限する。 この研究の目的は次のとおりである。 1) 議論行動の分析において, PLMの信頼性を評価すること。 2) PLM生成アノテーションを用いて, 発達パターンを記述し, 書字品質を予測する。 1643年、中国の235人の英語学習者による論争的テキストの長手コーパスが収集され、クレーム、データ、偽造、反データ、反論、非論証の6つのタイプに注釈付けされている。 コーパスは、人間の専門家とPLMによって注釈付けされたトレーニング、検証、アプリケーションセットに分けられる。 PLMの実装の1つとしてBERTを使用します。 その結果,PLMの信頼性は,F1スコアが0.743であり,既存のモデルを上回っていることが明らかとなった。 さらに, PLM-labeled argumentative は, 発達パターンを効果的に捕捉し, 書込み品質を予測する。 時間とともに、学生はデータの利用の増加と反感、非議論の動きの減少を見せている。 低品質のテキストは、一方的な位置のみをサポートするクレームとデータの圧倒的な使用によって特徴づけられるが、中質と高質のテキストは、高い比率の対決、反データ、反感で統合的な視点を示す。 本研究は,人工知能を言語教育に統合し,学生の筆跡評価の効率性と精度を高めることの変革的可能性を明らかにするものである。 PLMの応用が成功すると、教育技術の発展が促進され、多様な教育ニーズをサポートするデータ駆動型でパーソナライズされた学習環境が促進される。

関連論文リスト

• Leveraging Small LLMs for Argument Mining in Education: Argument Component Identification, Classification, and Assessment [7.673465837624366]
  本稿では,オープンソースの小型大言語モデル(LLM)を,数発のプロンプトと微調整による議論マイニングに活用することを提案する。 我々は,学生エッセイを議論に分割し,タイプ別に議論を分類し,その質を評価する3つの課題を遂行する。 我々は,小学校6-12年の学生エッセイのフィードバック賞 - 効果的なアグメンツデータセットのモデルを実証的に評価した。
  論文  参考訳（メタデータ） (2025-02-20T09:23:40Z)
• Semantic Consistency Regularization with Large Language Models for Semi-supervised Sentiment Analysis [20.503153899462323]
  本稿では,半教師付き感情分析のためのフレームワークを提案する。 テキストを意味的に拡張する2つのプロンプト戦略を導入する。 実験により,従来の半教師付き手法よりも優れた性能が得られた。
  論文  参考訳（メタデータ） (2025-01-29T12:03:11Z)
• Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
  コンテキスト is Key" (CiK) は、数値データを多種多様なテキストコンテキストと組み合わせた予測ベンチマークである。 我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。 提案手法は,提案するベンチマークにおいて,他の試験手法よりも優れる簡易かつ効果的なLCMプロンプト法である。
  論文  参考訳（メタデータ） (2024-10-24T17:56:08Z)
• Exploring the Potential of Large Language Models in Computational Argumentation [54.85665903448207]
  大規模言語モデル (LLM) は、文脈を理解し、自然言語を生成するという印象的な能力を実証している。 この研究は、ChatGPT、Flanモデル、LLaMA2モデルなどのLLMをゼロショットと少数ショットの両方で評価することを目的としている。
  論文  参考訳（メタデータ） (2023-11-15T15:12:15Z)
• Towards LLM-based Autograding for Short Textual Answers [4.853810201626855]
  この写本は、自動階調のための大きな言語モデルの評価である。 のLCMは貴重なツールであるが、独立した自動グルーピングのための準備がまだ進行中であることを示唆している。
  論文  参考訳（メタデータ） (2023-09-09T22:25:56Z)
• Disco-Bench: A Discourse-Aware Evaluation Benchmark for Language Modelling [70.23876429382969]
  本研究では,多種多様なNLPタスクに対して,文内談話特性を評価できるベンチマークを提案する。 ディスコ・ベンチは文学領域における9つの文書レベルのテストセットから構成されており、豊富な談話現象を含んでいる。 また,言語分析のために,対象モデルが談話知識を学習するかどうかを検証できる診断テストスイートを設計する。
  論文  参考訳（メタデータ） (2023-07-16T15:18:25Z)
• Investigating Fairness Disparities in Peer Review: A Language Model Enhanced Approach [77.61131357420201]
  我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。 我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。 我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
  論文  参考訳（メタデータ） (2022-11-07T16:19:42Z)
• Leveraging Pre-trained Language Model for Speech Sentiment Analysis [58.78839114092951]
  本研究では、事前学習された言語モデルを用いて、文章の感情情報を学習し、音声の感情分析を行う。 本稿では,言語モデルを用いた擬似ラベルに基づく半教師付き訓練戦略を提案する。
  論文  参考訳（メタデータ） (2021-06-11T20:15:21Z)
• TextFlint: Unified Multilingual Robustness Evaluation Toolkit for Natural Language Processing [73.16475763422446]
  NLPタスク(TextFlint)のための多言語ロバスト性評価プラットフォームを提案する。 普遍的なテキスト変換、タスク固有の変換、敵攻撃、サブポピュレーション、およびそれらの組み合わせを取り入れ、包括的な堅牢性分析を提供する。 TextFlintは、モデルの堅牢性の欠点に対処するために、完全な分析レポートとターゲットとした拡張データを生成します。
  論文  参考訳（メタデータ） (2021-03-21T17:20:38Z)
• Automatic coding of students' writing via Contrastive Representation Learning in the Wasserstein space [6.884245063902909]
  本研究は,学生の文章の質的分析を支援する統計的機械学習(ML)手法を構築するためのステップである。 MLアルゴリズムは,人間解析のラタ間信頼性に近づいた。
  論文  参考訳（メタデータ） (2020-11-26T16:52:48Z)
• Critical Thinking for Language Models [6.963299759354333]
  本稿では,ニューラル自動回帰言語モデルの批判的思考カリキュラムに向けて第一歩を踏み出す。 我々は、GPT-2を訓練し、評価するために、人工的な議論文を生成する。 NLUベンチマークに対して一貫した有望な結果が得られる。
  論文  参考訳（メタデータ） (2020-09-15T15:49:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。