論文の概要: A Comparative Study of Technical Writing Feedback Quality: Evaluating LLMs, SLMs, and Humans in Computer Science Topics

• arxiv url: http://arxiv.org/abs/2601.11541v1
• Date: Mon, 01 Dec 2025 22:51:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-25 16:54:51.747558
• Title: A Comparative Study of Technical Writing Feedback Quality: Evaluating LLMs, SLMs, and Humans in Computer Science Topics
• Title（参考訳）: 技術書記フィードバック品質の比較研究--コンピュータサイエンストピックスにおけるLLM, SLM, 人間の評価
• Authors: Suqing Liu, Bogdan Simion, Christopher Eaton, Michael Liut,
• Abstract要約: 本研究では,Large Language Models(LLM),Small Language Models(SLM),人工知能(AI)ツールによるフィードバックの質について検討する。 読みやすさ,詳細性,特異性,行動性,有用性,全体的な品質など,複数の基準に基づいて評価されたフィードバック品質に対する学生の視点を分析した。 我々の研究結果は、AIと人間のフィードバックを組み合わせて、大規模に効率的で高品質なフィードバックを実現するハイブリッドアプローチの可能性を強調している。
• 参考スコア（独自算出の注目度）: 3.2351366072725596
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Feedback is a critical component of the learning process, particularly in computer science education. This study investigates the quality of feedback generated by Large Language Models (LLMs), Small Language Models (SLMs), compared with human feedback, in three computer science course with technical writing components: an introductory computer science course (CS2), a third-year advanced systems course (operating systems), and a third-year writing course (a topics course on artificial intelligence). Using a mixed-methods approach which integrates quantitative Likert-scale questions with qualitative commentary, we analyze the student perspective on feedback quality, evaluated based on multiple criteria, including readability, detail, specificity, actionability, helpfulness, and overall quality. The analysis reveals that in the larger upper-year operating systems course ($N=80$), SLMs and LLMs are perceived to deliver clear, actionable, and well-structured feedback, while humans provide more contextually nuanced guidance. As for the high-enrollment CS2 course ($N=176$) showed the same preference for the AI tools' clarity and breadth, but students noted that AI feedback sometimes lacked the concise, straight-to-the-point, guidance offered by humans. Conversely, in the smaller upper-year technical writing course on AI topics ($N=7$), all students preferred feedback from the course instructor, who was able to provide clear, specific, and personalized feedback, compared to the more general and less targeted AI-based feedback. We also highlight the scalability of AI-based feedback by focusing on its effectiveness at large scale. Our findings underscore the potential of hybrid approaches that combine AI and human feedback to achieve efficient and high-quality feedback at scale.
• Abstract（参考訳）: フィードバックは、特にコンピュータサイエンス教育において、学習プロセスの重要な構成要素である。 本研究では,Large Language Models (LLMs) やSmall Language Models (SLMs) によるフィードバックの質を,人間によるフィードバックと比較して3つのコンピュータサイエンスコースにおいて,導入型コンピュータサイエンスコース (CS2) ,3年制システムコース (オペレーティングシステム) ,3年制ライティングコース (人工知能のトピックスコース) の3つに比較検討した。 定量的なQuatical Likert-scale質問と定性的なコメントを統合した混合メソッドアプローチを用いて、学生のフィードバック品質に対する視点を分析し、可読性、詳細性、特異性、行動可能性、有用性、全体的な品質など、複数の基準に基づいて評価する。 分析の結果,SLM と LLM はより高額な年次オペレーティングシステムコース (N=80$) において,明確で行動可能で,構造化されたフィードバックを提供すると認識され,人間はより文脈的にニュアンスなガイダンスを提供することがわかった。 高学費のCS2コース(N=176ドル)は、AIツールの明快さと広さを好んだが、学生たちはAIのフィードバックには、人間が提供した簡潔で直感的なガイダンスが欠けていることがあると指摘している。 逆に、AIトピックに関する上級年次テクニカルライティングコース(N=7ドル)では、すべての学生が、より汎用的でターゲットの少ないAIベースのフィードバックに比べて、明確で具体的でパーソナライズされたフィードバックを提供することができるコースインストラクターからのフィードバックを好んだ。 私たちはまた、AIベースのフィードバックのスケーラビリティを、大規模にその有効性に焦点を合わせることで強調します。 我々の研究結果は、AIと人間のフィードバックを組み合わせて、大規模に効率的で高品質なフィードバックを実現するハイブリッドアプローチの可能性を強調している。

関連論文リスト

• A Survey on Feedback Types in Automated Programming Assessment Systems [3.9845307287664973]
  本研究では,APASの異なるフィードバック機構が学生にどのように認識されるか,課題解決を支援する上でどのような効果があるかを検討する。 結果は、学生が単体テストのフィードバックを最も有用なものとして評価する一方で、AIが生成したフィードバックはパフォーマンスを著しく向上させることを示している。
  論文  参考訳（メタデータ） (2025-10-21T09:08:22Z)
• Teaching at Scale: Leveraging AI to Evaluate and Elevate Engineering Education [3.557803321422781]
  本稿では,大規模言語モデルを用いた定性的な学生フィードバックのためのスケーラブルなAI支援フレームワークを提案する。 このシステムは階層的な要約、匿名化、例外処理を用いて、オープンなコメントから実行可能なテーマを抽出する。 大規模な工学系大学への展開が成功したことを報告します。
  論文  参考訳（メタデータ） (2025-08-01T20:27:40Z)
• The AI Imperative: Scaling High-Quality Peer Review in Machine Learning [49.87236114682497]
  AIによるピアレビューは、緊急の研究とインフラの優先事項になるべきだ、と私たちは主張する。 我々は、事実検証の強化、レビュアーのパフォーマンスの指導、品質改善における著者の支援、意思決定におけるAC支援におけるAIの具体的な役割を提案する。
  論文  参考訳（メタデータ） (2025-06-09T18:37:14Z)
• Enhancing tutoring systems by leveraging tailored promptings and domain knowledge with Large Language Models [2.5362697136900563]
  ChatGPTやIntelligent Tutoring Systems(ITS)といったAI駆動のツールは、パーソナライゼーションと柔軟性を通じて、学習エクスペリエンスを向上している。 ITSは、個々の学習ニーズに適応し、生徒のパフォーマンス、認知状態、学習パスに基づいてカスタマイズされたフィードバックを提供する。 我々の研究は,大規模言語モデル(LLM)の迅速な工学化にRAG(Retrieval Augmented Generation)を介して,スキルアラインなフィードバックを組み込むことによって,これらのギャップに対処することを目的としている。
  論文  参考訳（メタデータ） (2025-05-02T02:30:39Z)
• Analyzing Feedback Mechanisms in AI-Generated MCQs: Insights into Readability, Lexical Properties, and Levels of Challenge [0.0]
  本研究は,Google の Gemini 1.5-flash テキストモデルが生成するフィードバックの言語的および構造的特性を,コンピュータサイエンスのマルチチョイス質問(MCQ)に適用するものである。 長,可読性スコア(フレッシュ・キンケイド級),語彙の豊かさ,語彙密度などの主要な言語指標を算出し,検討した。 この結果から, 多様な教育的文脈におけるAI生成フィードバックの動的適応を実証し, フィードバックトーンと質問難易度の間に有意な相互作用効果が認められた。
  論文  参考訳（メタデータ） (2025-04-19T09:20:52Z)
• Constructive Large Language Models Alignment with Diverse Feedback [76.9578950893839]
  本稿では,大規模言語モデルのアライメント向上のための新しい手法として,コンストラクティブ・ディバース・フィードバック(CDF)を導入する。 我々は,簡単な問題に対する批判的フィードバック,中級問題に対する改善的フィードバック,難題に対する選好的フィードバックを利用する。 このような多様なフィードバックでモデルをトレーニングすることで、トレーニングデータの少ない使用でアライメント性能を向上させることができる。
  論文  参考訳（メタデータ） (2023-10-10T09:20:14Z)
• UltraFeedback: Boosting Language Models with Scaled AI Feedback [99.4633351133207]
  大規模で高品質で多様なAIフィードバックデータセットである textscUltraFeedback を提示する。 我々の研究は、強力なオープンソースのチャット言語モデルを構築する上で、スケールしたAIフィードバックデータの有効性を検証する。
  論文  参考訳（メタデータ） (2023-10-02T17:40:01Z)
• Effects of Human vs. Automatic Feedback on Students' Understanding of AI Concepts and Programming Style [0.0]
  自動階調ツールの使用は、大規模な学部プログラミングコースにおいてほぼどこでも行われている。 コンピュータによるフィードバックと人間によるフィードバックを受け取った場合、生徒の成果を直接比較するデータは比較的不足している。 本稿では,90名の生徒を2つのフィードバックグループに分割し,2つのコホートのパフォーマンスの違いを分析することで,このギャップを解消する。
  論文  参考訳（メタデータ） (2020-11-20T21:40:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。