論文の概要: Counterargument for Critical Thinking as Judged by AI and Humans
- arxiv url: http://arxiv.org/abs/2605.05353v1
- Date: Wed, 06 May 2026 18:27:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-08 22:27:11.372064
- Title: Counterargument for Critical Thinking as Judged by AI and Humans
- Title（参考訳）: AIと人間による批判的思考の論拠
- Abstract要約: 本研究では,ジェネレーティブAI(GenAI)の文脈における学生による批判的思考のための文章作成における逆論の活用について検討する。
特定の大学コースに36名の学生が参加し、4名が慎重に選抜された論文を執筆する。
我々は6つの確立されたルーリック(焦点、論理、内容、スタイル、正確性、参照)を用いて3つの人間の評価を行った。
- 参考スコア（独自算出の注目度）: 6.417600644407858
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This intervention study investigates the use of counterarguments in writing for critical thinking by students in the context of Generative AI (GenAI). This is especially as risks of cheating and cognitive offloading exist with the use of GenAI. We presented 36 students in a particular university course with 4 carefully selected thesis statements (from a set of popular debates) to write about anyone of them. We used six established rubrics (focus, logic, content, style, correctness and reference) to conduct three human assessments (two student peer-reviews and one experienced teacher) per writeup on a 5-point Likert scale for all the qualified samples (n) of 35 submissions (after disqualifying one for irregularity). Using the same rubrics and guidelines, we also assessed the submissions using six frontier LLMs as judges. Our mixed-method design included qualitative open-ended feedback per assessment and quantitative methods. The results reveal that (1) the students' self-written counterarguments to AI-generated content contains logic, among other things, which is a key component of critical thinking, and (2) GenAI can be successfully used at scale to assess students' written work, based on clear rubrics, and these assessments generally align with human assessments as shown with Gwets AC2 inter-rater reliability values of 0.33 for all the models except one.
- Abstract（参考訳）: 本研究は,ジェネレーティブAI(GenAI)の文脈において,学生による批判的思考のための文章作成における反論の使用について検討する。
これは特に、GenAIの使用によって、不正行為や認知的オフロードのリスクが存在するためである。
我々は,ある大学コースの学生36名を対象に,慎重に選抜された論文文(人気討論会から)を提示し,その内容について検討した。
筆者らは,35件の論文の有資格サンプル(n)について,6件の定型ルーブリック(焦点,論理,内容,スタイル,正当性,参照)を用いて,3件の人的評価(学生のピアレビュー2件,経験豊富な教師1件)を5点のイコールト尺度で実施した。
また,同じルーブリックとガイドラインを用いて,6つのフロンティアLSMを審査員として使用した。
我々の混合手法設計には、評価毎の質的なオープンエンドフィードバックと定量的手法が含まれていた。
その結果,(1) 学生のAI生成コンテンツに対する自己記述の逆問題には,批判的思考の重要な要素である論理的要素が含まれており,(2) GenAI は,明快なルーリックに基づいて学生の著作物を評価するのに有効であり,これらの評価はGwets AC2 の信頼性値である 0.33 と概ね一致していることがわかった。
関連論文リスト
- PaperDoctor: Evidence-Grounded and Actionable Feedback for Scientific Papers in Progress [130.58520199343707]
PaperDoctorは,3つの重要なイノベーションを備えた,サブミッション前のフィードバックのためのエージェントフレームワークである。
まず、全体論的階層的なフレームワークは、書き込み、レイアウト、参照、コード、理論、先行作業、実験を評価します。
第二に、各発見には、観察、文、方程式、コードラインなどの特定の証拠へのポインタ、修正提案が含まれる。
第3に、PaperDoctorはクレームの重要性と計算予算に基づいて実験を選択的に再構築し、再実行する。
論文 参考訳（メタデータ） (2026-09-15T11:08:11Z) - Who Should Grade My Work? Student Perspectives on Transparent AI-Assisted Writing Assessment in Higher Education [0.0]
GenAIツールの高等教育評価への統合は、学生がAIによる評価を理解し、解釈し、反応する方法に関する重要な疑問を提起する。
本研究は,サウジアラビアの公立大学におけるコンピュータ学生のための学部技術コミュニケーション講座における定性的な教育的調査の結果を報告する。
学生は、ChatGPTがスコアとフィードバックを生成したことを明示的に知らされ、文章の評価を反映するよう求められた。
論文 参考訳（メタデータ） (2026-09-04T16:49:33Z) - On the limits and opportunities of AI reviewers: Reviewing the reviews of Nature-family papers with 45 expert scientists [113.03797263688519]
多くの科学者は、AIレビュアーを研究を評価する専門知識のない確率的システムと見なしている。
既存のAIレビュアーの評価では、評決が人間の評決に合致するかどうかに焦点が当てられている。
論文 参考訳（メタデータ） (2026-05-20T03:33:55Z) - Generative AI Feedback, English Writing and Teacher Rubrics: A Multiple-Case Study of CyberScholar [0.11184789007828978]
調査では、米国中・高校5校を対象に、143人の学生と7年生から11年生の5人の教師が対象となった。
学生はCyberScholarの即時的でルーリックなフィードバックを高く評価し、書き直しの際の改善に気付きました。
しかし、参加者は自動評価システムの不整合と、時には課題の期待との不一致を指摘した。
論文 参考訳（メタデータ） (2026-05-16T15:55:39Z) - What Don't You Understand? Using Large Language Models to Identify and Characterize Student Misconceptions About Challenging Topics [0.0]
本研究では,オンライン学習環境における学生の誤解を識別し,特徴付けるための体系的なアプローチを提案する。
我々は,3,802人の医学生を対象とする,5つのオンラインバイオメディカル・サイエンス・コースの9つのコースのデータを分析した。
論文 参考訳（メタデータ） (2026-04-30T23:32:50Z) - Beyond Rating: A Comprehensive Evaluation and Benchmark for AI Reviews [69.66583722746904]
私たちは、AIレビュアーを5次元にわたって評価する総合的な評価フレームワークであるBeyond Ratingを紹介します。
本稿では,専門家の不一致に対応するためのMax-Recall戦略を提案する。
提案したテキスト中心の指標は、特に弱みの議論のリコールであり、評価精度と強く相関している。
論文 参考訳（メタデータ） (2026-04-21T14:21:15Z) - CASTLE: A Comprehensive Benchmark for Evaluating Student-Tailored Personalized Safety in Large Language Models [55.0103764229311]
本稿では,学生用個人安全の概念を提案し,教育理論に基づくCASTLEの構築を行う。
このベンチマークは、92,908のバイリンガルシナリオを含む15の教育安全リスクと14の学生属性をカバーしている。
論文 参考訳（メタデータ） (2026-02-05T13:13:19Z) - Exposía: Academic Writing Assessment of Exposés and Peer Feedback [56.428320613219306]
高等教育における文章とフィードバックアセスメントを結びつける最初の公開データセットであるExposaを提示する。
我々はExposaを使って,(1)提案の自動スコアリング,(2)学生レビューの2つのタスクに対して,最先端のオープンソース大言語モデル(LLM)をベンチマークする。
論文 参考訳（メタデータ） (2026-01-10T11:33:26Z) - Human or AI? Comparing Design Thinking Assessments by Teaching Assistants and Bots [0.38233569758620045]
本研究では,デザイン思考教育における学生ポスター評価におけるTA支援評価と比較して,AI支援評価の信頼性と精度について検討した。
その結果、インストラクターとAIによる共感点と痛み点の統計的一致は低く、視覚コミュニケーションのアライメントはわずかに高かった。
この研究は、計算効率と人間の洞察を統合するハイブリッドアセスメントモデルの必要性を強調している。
論文 参考訳（メタデータ） (2025-10-17T07:09:21Z) - Toward LLM-Supported Automated Assessment of Critical Thinking Subskills [0.7768012939205664]
批判的思考の根底にある「サブスキル」の測定の可能性を検討する。
我々は,学生エッセイのコーパスのための,確立したスキル進歩と完全な人間のコーディングに基づくコーディングルーリックを開発する。
我々は、ゼロショットプロンプト、少数ショットプロンプト、教師付き微調整の3つの異なる自動スコアリングアプローチを評価した。
論文 参考訳（メタデータ） (2025-10-14T18:36:19Z) - Embedding Generative AI into Systems Analysis and Design Curriculum: Framework, Case Study, and Cross-Campus Empirical Evidence [0.0]
学生は、ユーザーのニーズやコンテキストの適切さを判断することなく、盲目的または非批判的にAI提案を受け入れるリスクがある。
SAGEは、GenAIをカリキュラムデザインに組み込んで、AIコントリビューションの受け入れ、修正、拒否を学生に教えることによって、このギャップに対処する。
論文 参考訳（メタデータ） (2025-10-07T12:31:15Z) - From Coders to Critics: Empowering Students through Peer Assessment in the Age of AI Copilots [3.3094795918443634]
本稿では,大規模プログラミングコースで実装されたルーリックベースで匿名化されたピアレビュープロセスについて,実証的研究を行う。
学生同士の最終プロジェクト(2Dゲーム)を評価し,その評価を,相関,平均絶対誤差,根平均二乗誤差(RMSE)を用いたインストラクターの成績と比較した。
その結果、ピアレビューは、インストラクターの評価を適度な精度で近似し、学生のエンゲージメント、評価的思考、そして仲間に良いフィードバックを提供することへの関心を高めることができた。
論文 参考訳（メタデータ） (2025-05-28T08:17:05Z) - STRICTA: Structured Reasoning in Critical Text Assessment for Peer Review and Beyond [68.47402386668846]
本研究では,テキストアセスメントをステップワイド推論プロセスとしてモデル化するために,Structured Reasoning In Critical Text Assessment (STRICTA)を導入する。
STRICTAは、因果性理論に基づく相互接続推論ステップのグラフに評価を分解する。
約40人のバイオメディカル専門家が20以上の論文について4000以上の推論ステップのデータセットにSTRICTAを適用した。
論文 参考訳（メタデータ） (2024-09-09T06:55:37Z) - ConSiDERS-The-Human Evaluation Framework: Rethinking Human Evaluation for Generative Large Language Models [53.00812898384698]
生成型大規模言語モデル(LLM)の人間による評価は多分野にわたる作業であるべきだと論じる。
認知バイアスが、流動的な情報や真理をいかに説明するか、そして、認識の不確実性が、Likertのような評価スコアの信頼性にどのように影響するかを強調します。
本稿では,ConSiDERS-The-Human評価フレームワークを提案する。一貫性,スコーリング基準,差別化,ユーザエクスペリエンス,責任,スケーラビリティの6つの柱からなる。
論文 参考訳（メタデータ） (2024-05-28T22:45:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。