論文の概要: Human or AI? Comparing Design Thinking Assessments by Teaching Assistants and Bots
- arxiv url: http://arxiv.org/abs/2510.16069v1
- Date: Fri, 17 Oct 2025 07:09:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-25 00:56:38.8258
- Title: Human or AI? Comparing Design Thinking Assessments by Teaching Assistants and Bots
- Title（参考訳）: 人間かAIか? アシスタントとボットによるデザイン思考評価の比較
- Authors: Sumbul Khan, Wei Ting Liow, Lay Kee Ang,
- Abstract要約: 本研究では,デザイン思考教育における学生ポスター評価におけるTA支援評価と比較して,AI支援評価の信頼性と精度について検討した。
その結果、インストラクターとAIによる共感点と痛み点の統計的一致は低く、視覚コミュニケーションのアライメントはわずかに高かった。
この研究は、計算効率と人間の洞察を統合するハイブリッドアセスメントモデルの必要性を強調している。
- 参考スコア（独自算出の注目度）: 0.38233569758620045
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As design thinking education grows in secondary and tertiary contexts, educators face the challenge of evaluating creative artefacts that combine visual and textual elements. Traditional rubric-based assessment is laborious, time-consuming, and inconsistent due to reliance on Teaching Assistants (TA) in large, multi-section cohorts. This paper presents an exploratory study investigating the reliability and perceived accuracy of AI-assisted assessment compared to TA-assisted assessment in evaluating student posters in design thinking education. Two activities were conducted with 33 Ministry of Education (MOE) Singapore school teachers to (1) compare AI-generated scores with TA grading across three key dimensions: empathy and user understanding, identification of pain points and opportunities, and visual communication, and (2) examine teacher preferences for AI-assigned, TA-assigned, and hybrid scores. Results showed low statistical agreement between instructor and AI scores for empathy and pain points, with slightly higher alignment for visual communication. Teachers preferred TA-assigned scores in six of ten samples. Qualitative feedback highlighted the potential of AI for formative feedback, consistency, and student self-reflection, but raised concerns about its limitations in capturing contextual nuance and creative insight. The study underscores the need for hybrid assessment models that integrate computational efficiency with human insights. This research contributes to the evolving conversation on responsible AI adoption in creative disciplines, emphasizing the balance between automation and human judgment for scalable and pedagogically sound assessment.
- Abstract（参考訳）: デザイン思考教育が第二・第三の文脈で成長するにつれて、教育者は視覚的要素とテキスト的要素を組み合わせた創造的成果物を評価するという課題に直面している。
伝統的なルーリックに基づく評価は、大規模で多部構成のコホートにおける教示アシスタント(TA)に依存しているため、手間がかかり、時間がかかり、一貫性がない。
本稿では,デザイン思考教育における学生ポスター評価におけるTA支援評価と比較して,AI支援評価の信頼性と精度を調査する。
シンガポールの文部省教員33名を対象に,(1) 共感とユーザ理解, 痛点と機会の識別, 視覚コミュニケーションの3つの重要な側面から, TAスコアとAI生成スコアを比較した。
その結果、インストラクターとAIによる共感点と痛み点の統計的一致は低く、視覚コミュニケーションのアライメントはわずかに高かった。
教師は10例中6例でTA指定スコアを好んだ。
質的なフィードバックは、フォーマティブなフィードバック、一貫性、学生の自己回帰のためのAIの可能性を強調したが、コンテキストのニュアンスと創造的な洞察を捉える際の制限に対する懸念を提起した。
この研究は、計算効率と人間の洞察を統合するハイブリッドアセスメントモデルの必要性を強調している。
この研究は、創造的な分野における責任あるAIの採用に関する議論の進化に貢献し、スケーラブルで教育的な音質評価のための自動化と人間の判断のバランスを強調している。
関連論文リスト
- Assessment Twins: A Protocol for AI-Vulnerable Summative Assessment [0.0]
評価タスクを再設計し,妥当性を高めるためのアプローチとして,アセスメント双子を導入する。
我々は、GenAIがコンテンツ、構造、連続性、一般化可能性、外部の妥当性を脅かす方法を体系的にマッピングするために、Messickの統一妥当性フレームワークを使用します。
双子のアプローチは、補完的な形式にまたがって証拠を三角測量することで、妥当性の脅威を軽減するのに役立ちます。
論文 参考訳（メタデータ） (2025-10-03T12:05:34Z) - AI-Educational Development Loop (AI-EDL): A Conceptual Framework to Bridge AI Capabilities with Classical Educational Theories [8.500617875591633]
本研究では、古典的学習理論とAIを融合した理論駆動型フレームワークであるAI-Educational Development Loop(AI-EDL)を紹介する。
このフレームワークは透明性、自己統制型学習、教育的監視を強調している。
論文 参考訳（メタデータ） (2025-08-01T15:44:19Z) - A Review of Generative AI in Computer Science Education: Challenges and Opportunities in Accuracy, Authenticity, and Assessment [2.1891582280781634]
本稿では、コンピュータサイエンス教育におけるChatGPTやClaudeといったジェネレーティブAIツールの利用について調査する。
ジェネレーティブAIは、AI幻覚、エラーの伝播、バイアス、AI支援コンテンツと学生認可コンテンツの間のぼやけた線などの懸念を提起する。
論文 参考訳（メタデータ） (2025-06-17T19:20:58Z) - Resurrecting Socrates in the Age of AI: A Study Protocol for Evaluating a Socratic Tutor to Support Research Question Development in Higher Education [0.0]
このプロトコルは、新しいAIベースのソクラティックチューターを評価するための構成主義的学習理論に基づく研究を定めている。
教師は、システム2の思考を促進するために、反復的で反射的な質問を通じて学生を巻き込みます。
この研究は、人間の認知を置き換えるのではなく、人工的なAIをどのように支援に適応させるかを理解することを目的としている。
論文 参考訳（メタデータ） (2025-04-05T00:49:20Z) - Form-Substance Discrimination: Concept, Cognition, and Pedagogy [55.2480439325792]
本稿では,高等教育におけるカリキュラム開発に欠かせない学習成果として,フォーム・サブスタンス・差別について検討する。
本稿では,カリキュラム設計,評価実践,明示的な指導を通じて,この能力を育成するための実践的戦略を提案する。
論文 参考訳（メタデータ） (2025-04-01T04:15:56Z) - Beyond Detection: Designing AI-Resilient Assessments with Automated Feedback Tool to Foster Critical Thinking [0.0]
本研究は, 検出ではなく, 評価設計に基づく能動的AIレジリエントソリューションを提案する。
WebベースのPythonツールで、Bloomの分類と高度な自然言語処理技術を統合する。
これは、タスクがリコールや要約のような下位の思考や、分析、評価、作成といった上位のスキルを目標にしているかどうかを教育者が判断するのに役立つ。
論文 参考訳（メタデータ） (2025-03-30T23:13:00Z) - Human Bias in the Face of AI: Examining Human Judgment Against Text Labeled as AI Generated [48.70176791365903]
本研究では、偏見がAIと人為的コンテンツの知覚をどう形成するかを考察する。
ラベル付きおよびラベルなしコンテンツに対するヒトのラッカーの反応について検討した。
論文 参考訳（メタデータ） (2024-09-29T04:31:45Z) - AGI: Artificial General Intelligence for Education [41.45039606933712]
本稿では,人工知能(AGI)の重要な概念,能力,範囲,将来的な教育の可能性について概説する。
AGIは知的学習システム、教育評価、評価手順を大幅に改善することができる。
この論文は、AGIの能力が人間の感情や社会的相互作用を理解することに拡張されていることを強調している。
論文 参考訳（メタデータ） (2023-04-24T22:31:59Z) - Personalized Education in the AI Era: What to Expect Next? [76.37000521334585]
パーソナライズ学習の目的は、学習者の強みに合致する効果的な知識獲得トラックをデザインし、目標を達成するために弱みをバイパスすることである。
近年、人工知能(AI)と機械学習(ML)の隆盛は、パーソナライズされた教育を強化するための新しい視点を広げています。
論文 参考訳（メタデータ） (2021-01-19T12:23:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。