論文の概要: Exposía: Academic Writing Assessment of Exposés and Peer Feedback

• arxiv url: http://arxiv.org/abs/2601.06536v1
• Date: Sat, 10 Jan 2026 11:33:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-13 19:08:00.866869
• Title: Exposía: Academic Writing Assessment of Exposés and Peer Feedback
• Title（参考訳）: Exposía: Exposés と Peer フィードバックの学術的評価
• Authors: Dennis Zyska, Alla Rozovskaya, Ilia Kuznetsov, Iryna Gurevych,
• Abstract要約: 高等教育における文章とフィードバックアセスメントを結びつける最初の公開データセットであるExposaを提示する。 我々はExposaを使って,(1)提案の自動スコアリング,(2)学生レビューの2つのタスクに対して,最先端のオープンソース大言語モデル(LLM)をベンチマークする。
• 参考スコア（独自算出の注目度）: 56.428320613219306
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present Exposía, the first public dataset that connects writing and feedback assessment in higher education, enabling research on educationally grounded approaches to academic writing evaluation. Exposía includes student research project proposals and peer and instructor feedback consisting of comments and free-text reviews. The dataset was collected in the "Introduction to Scientific Work" course of the Computer Science undergraduate program that focuses on teaching academic writing skills and providing peer feedback on academic writing. Exposía reflects the multi-stage nature of the academic writing process that includes drafting, providing and receiving feedback, and revising the writing based on the feedback received. Both the project proposals and peer feedback are accompanied by human assessment scores based on a fine-grained, pedagogically-grounded schema for writing and feedback assessment that we develop. We use Exposía to benchmark state-of-the-art open-source large language models (LLMs) for two tasks: automated scoring of (1) the proposals and (2) the student reviews. The strongest LLMs attain high agreement on scoring aspects that require little domain knowledge but degrade on dimensions evaluating content, in line with human agreement values. We find that LLMs align better with the human instructors giving high scores. Finally, we establish that a prompting strategy that scores multiple aspects of the writing together is the most effective, an important finding for classroom deployment.
• Abstract（参考訳）: 本研究では,高等教育における書記とフィードバック評価を結びつける最初の公開データセットであるExposíaについて紹介する。 Exposíaには学生研究プロジェクトの提案や、コメントと自由テキストレビューからなるピアとインストラクターのフィードバックが含まれている。 このデータセットは、コンピュータサイエンスの学部課程の"Introduction to Scientific Work"コースで収集され、学術的な筆記スキルの教育と学術的な筆記スキルへの相互フィードバックに焦点が当てられている。 Exposíaは、ドラフト作成、フィードバックの提供と受け取り、受け取ったフィードバックに基づいて書き直しを含む、学術的な執筆プロセスの多段階的な性質を反映している。 プロジェクト提案とピアフィードバックの両方に、私たちが開発している書き込みおよびフィードバック評価のための、きめ細やかな教育的基礎を持つスキーマに基づく、人間による評価スコアが伴う。 Exposía を用いて,現状のオープンソース大規模言語モデル (LLM) を,(1) 提案の自動評価,(2) 学生レビューの2つのタスクでベンチマークする。 最強のLCMは、人間の合意値に従って、ほとんどドメイン知識を必要とせず、コンテンツを評価する次元を劣化させる評価面において、高い合意に達する。 LLMは高いスコアを与える人間のインストラクターとよく一致していることがわかった。 最後に,複数の面をまとめて評価するプロンプト戦略が,授業の展開において最も効果的で重要な発見であることを示す。

関連論文リスト

• Help Me Write a Story: Evaluating LLMs' Ability to Generate Writing Feedback [57.200668979963694]
  我々は1,300のストーリーからなる新しいテストセットを提示し、故意に執筆問題を紹介した。 本研究では,この作業においてよく用いられるLCMの性能を,自動評価と人的評価の両方を用いて検討する。
  論文  参考訳（メタデータ） (2025-07-21T18:56:50Z)
• Exploring LLM-Generated Feedback for Economics Essays: How Teaching Assistants Evaluate and Envision Its Use [3.345149032274467]
  本研究は,AIによるフィードバックを人的インストラクターのフィードバック提供の迅速化と向上のための提案として活用する可能性を検討する。 学生のエッセイからフィードバックを得られるフィードバックエンジンを開発した。 我々は、20回の1時間のセッションで5つのTAでシンクアラウド研究を行い、AIのフィードバックを評価し、手書きのフィードバックとAIのフィードバックを対比させ、もし提案された場合、AIのフィードバックを使ってどのように想定するかを共有した。
  論文  参考訳（メタデータ） (2025-05-21T14:50:30Z)
• Understanding and Supporting Peer Review Using AI-reframed Positive Summary [18.686807993563168]
  本研究は,筆記作業のピアレビューに自動生成された肯定的な要約を付加することの影響について検討した。 さもなくば過酷なフィードバックにAIを再構成した肯定的な要約を加えると、著者の批判的受け入れが増大することがわかった。 我々は、ピアフィードバックにおけるAIの利用の意味について論じ、それが批判的受容にどのように影響するかに注目し、研究コミュニティを支援する。
  論文  参考訳（メタデータ） (2025-03-13T11:22:12Z)
• Streamlining the review process: AI-generated annotations in research manuscripts [0.5735035463793009]
  本研究では,Large Language Models (LLM) をピアレビュープロセスに統合し,効率を向上する可能性について検討する。 我々は、AIと人間のコラボレーションの潜在的な領域として、写本の注釈、特に抜粋ハイライトに焦点を当てている。 本稿では,GPT-4を利用した原稿レビュープラットフォームAnnotateGPTを紹介する。
  論文  参考訳（メタデータ） (2024-11-29T23:26:34Z)
• STRICTA: Structured Reasoning in Critical Text Assessment for Peer Review and Beyond [68.47402386668846]
  本研究では,テキストアセスメントをステップワイド推論プロセスとしてモデル化するために,Structured Reasoning In Critical Text Assessment (STRICTA)を導入する。 STRICTAは、因果性理論に基づく相互接続推論ステップのグラフに評価を分解する。 約40人のバイオメディカル専門家が20以上の論文について4000以上の推論ステップのデータセットにSTRICTAを適用した。
  論文  参考訳（メタデータ） (2024-09-09T06:55:37Z)
• Good Idea or Not, Representation of LLM Could Tell [86.36317971482755]
  我々は、大規模言語モデルの知識を活用し、科学的アイデアのメリットを評価することを目的としたアイデアアセスメントに焦点をあてる。 我々は、このタスクに対する様々なアプローチのパフォーマンスを訓練し評価するために、細心の注意を払って設計された、フルテキストを持つ約4万の原稿からベンチマークデータセットをリリースする。 その結果, 大規模言語モデルの表現は, 生成出力よりもアイデアの価値を定量化する可能性が高いことが示唆された。
  論文  参考訳（メタデータ） (2024-09-07T02:07:22Z)
• A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [51.26815896167173]
  本稿では,3つの相補的な側面からPAMIレビューを総合的に分析する。 我々の分析は、現在のレビューの実践において、独特の組織パターンと永続的なギャップを明らかにします。 最後に、最先端のAI生成レビューの評価は、コヒーレンスと組織の進歩を奨励していることを示している。
  論文  参考訳（メタデータ） (2024-02-20T11:28:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。