論文の概要: Annotation and Classification of Evidence and Reasoning Revisions in
Argumentative Writing
- arxiv url: http://arxiv.org/abs/2107.06990v1
- Date: Wed, 14 Jul 2021 20:58:26 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-17 03:42:38.910236
- Title: Annotation and Classification of Evidence and Reasoning Revisions in
Argumentative Writing
- Title(参考訳): 弁論書における証拠の注釈・分類・推論改訂
- Authors: Tazin Afrin, Elaine Wang, Diane Litman, Lindsay C. Matsumura, Richard
Correnti
- Abstract要約: 本稿では,エビデンスの使用と推論の文レベルの改訂の性質を捉えるためのアノテーションスキームを提案する。
信頼性のある手書きアノテーションが達成できることを示し,修正アノテーションはエッセイ改善の全体的評価と相関することを示す。
- 参考スコア(独自算出の注目度): 0.9449650062296824
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automated writing evaluation systems can improve students' writing insofar as
students attend to the feedback provided and revise their essay drafts in ways
aligned with such feedback. Existing research on revision of argumentative
writing in such systems, however, has focused on the types of revisions
students make (e.g., surface vs. content) rather than the extent to which
revisions actually respond to the feedback provided and improve the essay. We
introduce an annotation scheme to capture the nature of sentence-level
revisions of evidence use and reasoning (the `RER' scheme) and apply it to 5th-
and 6th-grade students' argumentative essays. We show that reliable manual
annotation can be achieved and that revision annotations correlate with a
holistic assessment of essay improvement in line with the feedback provided.
Furthermore, we explore the feasibility of automatically classifying revisions
according to our scheme.
- Abstract(参考訳): 自動筆記評価システムでは,学生が提供したフィードバックに参画し,フィードバックに沿った形でエッセイの草稿を改訂することで,学生の文章の書き方を改善することができる。
しかし、これらのシステムにおける議論的文章の改訂に関するこれまでの研究は、学生が実際にフィードバックに反応し、エッセイを改善させる程度ではなく、改訂のタイプ(表面と内容)に焦点をあてている。
本稿では,証拠使用と推論の文レベルのリビジョン(「rer」方式)の性質を捉え,第5学年生の議論的エッセイに適用する注釈方式を提案する。
信頼性のある手動アノテーションが達成できることを示し,提案したフィードバックに則ったエッセイ改善の全体的評価とリビジョンアノテーションの相関性を示す。
さらに,提案手法に従って自動的にリビジョンを分類する可能性についても検討する。
関連論文リスト
- ParaRev: Building a dataset for Scientific Paragraph Revision annotated with revision instruction [26.64363135181992]
学術テキスト改訂作業における文レベルから段落レベルへのシフトの影響について検討する。
タスクの段落レベルでの定義は、より意味のある変更を可能にし、一般的なものよりも詳細な修正命令によって導かれる。
本実験は, 詳細な指示を用いることで, 一般的な手法と比較して, 自動修正の精度が著しく向上することを示した。
論文 参考訳(メタデータ) (2025-01-09T13:19:55Z) - eRevise+RF: A Writing Evaluation System for Assessing Student Essay Revisions and Providing Formative Feedback [1.5367711550341163]
eRevise+RFは、学生エッセイのリビジョンを評価し、リビジョンフィードバックを提供するための拡張されたAWEシステムである。
ペンシルベニアとルイジアナの3校に6人の教師と406人の学生を配置した。
その結果,(1)エッセイのエッセイのエビデンス評価,(2)エッセイ間のエビデンスと推論のリビジョンの抽出,(3)フィードバックに対するリビジョンの成功判定において有効性が確認された。
論文 参考訳(メタデータ) (2025-01-01T03:49:48Z) - Predicting the Quality of Revisions in Argumentative Writing [2.0572032297930503]
チェーン・オブ・ソートは、ChatGPTで生成されたACをAR品質予測に役立てる。
2つのコーパス(注釈付き初等エッセイと既存の大学エッセイベンチマーク)の実験は、ベースラインよりも提案されたACの優位性を実証している。
論文 参考訳(メタデータ) (2023-06-01T13:39:33Z) - To Revise or Not to Revise: Learning to Detect Improvable Claims for
Argumentative Writing Support [20.905660642919052]
特定の修正が必要な議論的クレームを特定するための主な課題について検討する。
本稿では,リビジョン距離に基づく新しいサンプリング戦略を提案する。
文脈情報とドメイン知識を用いることで、予測結果をさらに改善できることを示す。
論文 参考訳(メタデータ) (2023-05-26T10:19:54Z) - Scientific Opinion Summarization: Paper Meta-review Generation Dataset, Methods, and Evaluation [55.00687185394986]
本稿では,論文レビューをメタレビューに合成する,科学的意見要約の課題を提案する。
ORSUMデータセットは、47のカンファレンスから15,062のメタレビューと57,536の論文レビューをカバーしている。
実験の結果,(1)人間による要約は,議論の深みや特定の領域に対するコンセンサスや論争の特定など,必要な基準をすべて満たしていないこと,(2)タスクの分解と反復的自己調整の組み合わせは,意見の強化に強い可能性を示唆している。
論文 参考訳(メタデータ) (2023-05-24T02:33:35Z) - Predicting Desirable Revisions of Evidence and Reasoning in
Argumentative Writing [1.0878040851638]
我々は,学生の議論的文章における望ましい証拠と望ましい推論の修正を分類するモデルを開発する。
本研究は,改訂のエッセイコンテキストと,改訂前の学生のフィードバックを用いて,パフォーマンスを改善するための2つの方法を検討する。
その結果,フィードバック情報を用いたモデルがベースラインモデルよりも改善する一方で,コンテキストを利用したモデルが望ましいリビジョンを特定する上で最も有効であることが示唆された。
論文 参考訳(メタデータ) (2023-02-10T03:59:59Z) - Investigating Fairness Disparities in Peer Review: A Language Model
Enhanced Approach [77.61131357420201]
我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。
我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。
我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
論文 参考訳(メタデータ) (2022-11-07T16:19:42Z) - SNaC: Coherence Error Detection for Narrative Summarization [73.48220043216087]
SNaCは長文の微粒化アノテーションに根ざした物語コヒーレンス評価フレームワークである。
本稿では,生成した物語要約におけるコヒーレンスエラーの分類法を開発し,150冊の本や映画の脚本要約にまたがる6.6k文のスパンレベルアノテーションを収集する。
我々の研究は、最先端の要約モデルによって生成されるコヒーレンスエラーの最初の特徴と、群衆アノテータからコヒーレンス判断を引き出すためのプロトコルを提供する。
論文 参考訳(メタデータ) (2022-05-19T16:01:47Z) - Measuring "Why" in Recommender Systems: a Comprehensive Survey on the
Evaluation of Explainable Recommendation [87.82664566721917]
この調査は、IJCAI、AAAI、TheWebConf、Recsys、UMAP、IUIといったトップレベルのカンファレンスから100以上の論文に基づいています。
論文 参考訳(メタデータ) (2022-02-14T02:58:55Z) - A Unified Dual-view Model for Review Summarization and Sentiment
Classification with Inconsistency Loss [51.448615489097236]
ユーザーレビューから正確な要約と感情を取得することは、現代のEコマースプラットフォームにとって不可欠な要素である。
本稿では,これら2つのタスクの性能を協調的に改善する新しいデュアルビューモデルを提案する。
異なる領域の4つの実世界のデータセットに対する実験結果から,本モデルの有効性が示された。
論文 参考訳(メタデータ) (2020-06-02T13:34:11Z) - Code Review in the Classroom [57.300604527924015]
教室設定の若い開発者は、コードレビュープロセスの潜在的に有利で問題のある領域の明確な図を提供している。
彼らのフィードバックは、プロセスはプロセスを改善するためにいくつかのポイントで十分に受け入れられていることを示唆している。
本論文は,教室でコードレビューを行うためのガイドラインとして利用することができる。
論文 参考訳(メタデータ) (2020-04-19T06:07:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。