論文の概要: Beyond Detection: Designing AI-Resilient Assessments with Automated Feedback Tool to Foster Critical Thinking
- arxiv url: http://arxiv.org/abs/2503.23622v1
- Date: Sun, 30 Mar 2025 23:13:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-01 19:35:57.214042
- Title: Beyond Detection: Designing AI-Resilient Assessments with Automated Feedback Tool to Foster Critical Thinking
- Title（参考訳）: 検出を超えて: 批判的思考を促す自動フィードバックツールによるAIレジリエンスアセスメントの設計
- Authors: Muhammad Sajjad Akbar,
- Abstract要約: 本研究は, 検出ではなく, 評価設計に基づく能動的AIレジリエントソリューションを提案する。
WebベースのPythonツールで、Bloomの分類と高度な自然言語処理技術を統合する。
これは、タスクがリコールや要約のような下位の思考や、分析、評価、作成といった上位のスキルを目標にしているかどうかを教育者が判断するのに役立つ。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The growing use of generative AI tools like ChatGPT has raised urgent concerns about their impact on student learning, particularly the potential erosion of critical thinking and creativity. As students increasingly turn to these tools to complete assessments, foundational cognitive skills are at risk of being bypassed, challenging the integrity of higher education and the authenticity of student work. Existing AI-generated text detection tools are inadequate; they produce unreliable outputs and are prone to both false positives and false negatives, especially when students apply paraphrasing, translation, or rewording. These systems rely on shallow statistical patterns rather than true contextual or semantic understanding, making them unsuitable as definitive indicators of AI misuse. In response, this research proposes a proactive, AI-resilient solution based on assessment design rather than detection. It introduces a web-based Python tool that integrates Bloom's Taxonomy with advanced natural language processing techniques including GPT-3.5 Turbo, BERT-based semantic similarity, and TF-IDF metrics to evaluate the AI-solvability of assessment tasks. By analyzing surface-level and semantic features, the tool helps educators determine whether a task targets lower-order thinking such as recall and summarization or higher-order skills such as analysis, evaluation, and creation, which are more resistant to AI automation. This framework empowers educators to design cognitively demanding, AI-resistant assessments that promote originality, critical thinking, and fairness. It offers a sustainable, pedagogically sound strategy to foster authentic learning and uphold academic standards in the age of AI.
- Abstract（参考訳）: ChatGPTのような生成的AIツールの普及は、学生の学習への影響、特に批判的思考と創造性の侵食に対する緊急の懸念を引き起こしている。
学生がこれらのツールを使って評価を完遂するにつれて、基礎的認知スキルはバイパスされ、高等教育の完全性と学生労働の信頼性に挑戦するリスクがある。
既存のAI生成テキスト検出ツールは不十分で、信頼できない出力を生成し、特に学生がパラフレーズ、翻訳、言い換えを行う場合、偽陽性と偽陰性の両方を生じる。
これらのシステムは、真の文脈や意味的理解よりも、浅い統計パターンに依存しており、AI誤用の明確な指標として適さない。
これに対し、本研究では、検出よりも評価設計に基づく、能動的でAI耐性の高いソリューションを提案する。
このツールはWebベースのPythonツールで、BloomのTaxonomyとGPT-3.5 Turbo、BERTベースのセマンティック類似性、TF-IDFメトリクスなどの高度な自然言語処理技術を統合して、アセスメントタスクのAI解決可能性を評価する。
このツールは、表面レベルとセマンティックな特徴を分析することで、タスクがリコールや要約のような下位の思考を目標としているか、あるいはAI自動化に抵抗する分析、評価、生成といった高次のスキルを教育者が判断するのに役立つ。
このフレームワークは、教育者に対して、独創性、批判的思考、公平性を促進する、認知的に要求されるAI耐性評価を設計する権限を与える。
持続可能な、教育的な健全な戦略を提供し、真正な学習を促進し、AI時代の学術的標準を維持できる。
関連論文リスト
- Computational Safety for Generative AI: A Signal Processing Perspective [65.268245109828]
計算安全性は、GenAIにおける安全性の定量的評価、定式化、研究を可能にする数学的枠組みである。
ジェイルブレイクによる悪意のあるプロンプトを検出するために, 感度解析と損失景観解析がいかに有効かを示す。
我々は、AIの安全性における信号処理の鍵となる研究課題、機会、そして重要な役割について論じる。
論文 参考訳（メタデータ） (2025-02-18T02:26:50Z) - Chatbots im Schulunterricht: Wir testen das Fobizz-Tool zur automatischen Bewertung von Hausaufgaben [0.0]
本研究では,ドイツのFobizz社によるAIによるグレーディングツール"AI Grading Assistant"について検討した。
ツールの数値グレードと定性的フィードバックは、しばしばランダムであり、提案が組み込まれても改善されない。
この研究は、教育における体系的な問題に対する迅速な修正としてAIを採用するというより広い傾向を批判している。
論文 参考訳（メタデータ） (2024-12-09T16:50:02Z) - AI in Education: Rationale, Principles, and Instructional Implications [0.0]
ChatGPTのような生成AIは、人間のようなコンテンツを作り、その教育的役割について疑問を呈する。
この研究は、AIが真の認知的努力を補うのではなく、確実に補完する意図的な戦略を強調している。
論文 参考訳（メタデータ） (2024-12-02T14:08:07Z) - Could ChatGPT get an Engineering Degree? Evaluating Higher Education Vulnerability to AI Assistants [176.39275404745098]
我々は,2つのAIアシスタントであるGPT-3.5とGPT-4が適切な回答を得られるかどうかを評価する。
GPT-4は65.8%の質問を正解し、85.1%の質問に対して少なくとも1つの手順で正しい答えを出すことができる。
この結果から,AIの進歩を踏まえて,高等教育におけるプログラムレベルの評価設計の見直しが求められた。
論文 参考訳（メタデータ） (2024-08-07T12:11:49Z) - The Rise of Artificial Intelligence in Educational Measurement: Opportunities and Ethical Challenges [2.569083526579529]
教育におけるAIは、妥当性、信頼性、透明性、公平性、公平性に関する倫理的な懸念を提起する。
教育者、政策立案者、組織を含む様々な利害関係者は、教育における倫理的AIの使用を保証するガイドラインを開発した。
本稿では,AIを活用したツールの教育測定における倫理的意義について検討する。
論文 参考訳（メタデータ） (2024-06-27T05:28:40Z) - How critically can an AI think? A framework for evaluating the quality of thinking of generative artificial intelligence [0.9671462473115854]
大きな言語モデルを持つような生成AIは、革新的なアセスメント設計プラクティスの機会を生み出している。
本稿では,現在の業界ベンチマークである LLM ChatGPT4 アプリケーションの性能を探求するフレームワークを提案する。
この批判は、批判的思考スキルの観点から、彼らの質問の脆弱性を具体的かつターゲットに示します。
論文 参考訳（メタデータ） (2024-06-20T22:46:56Z) - Student Mastery or AI Deception? Analyzing ChatGPT's Assessment
Proficiency and Evaluating Detection Strategies [1.633179643849375]
ChatGPTのような生成AIシステムは、学習と評価に破壊的な影響を及ぼす。
本研究では,ChatGPTを3つのコースに分けて評価することで,ChatGPTの性能を評価する。
論文 参考訳（メタデータ） (2023-11-27T20:10:13Z) - Exploration with Principles for Diverse AI Supervision [88.61687950039662]
次世代の予測を用いた大規模トランスフォーマーのトレーニングは、AIの画期的な進歩を生み出した。
この生成AIアプローチは印象的な結果をもたらしたが、人間の監督に大きく依存している。
この人間の監視への強い依存は、AIイノベーションの進歩に重大なハードルをもたらす。
本稿では,高品質なトレーニングデータを自律的に生成することを目的とした,探索型AI(EAI)という新しいパラダイムを提案する。
論文 参考訳（メタデータ） (2023-10-13T07:03:39Z) - On the Robustness of Aspect-based Sentiment Analysis: Rethinking Model,
Data, and Training [109.9218185711916]
アスペクトベースの感情分析(ABSA)は、ソーシャルメディアのテキストやレビューの背後にある製品やサービスの特定の側面に対して、特定の感情の極性を自動的に推測することを目的としている。
我々は、モデル、データ、トレーニングを含むあらゆる可能な角度からボトルネックを体系的に再考することで、ABSAの堅牢性を高めることを提案する。
論文 参考訳（メタデータ） (2023-04-19T11:07:43Z) - The Role of AI in Drug Discovery: Challenges, Opportunities, and
Strategies [97.5153823429076]
この分野でのAIのメリット、課題、欠点についてレビューする。
データ拡張、説明可能なAIの使用、従来の実験手法とAIの統合についても論じている。
論文 参考訳（メタデータ） (2022-12-08T23:23:39Z) - Modelling Assessment Rubrics through Bayesian Networks: a Pragmatic Approach [40.06500618820166]
本稿では,学習者モデルを直接評価ルーリックから導出する手法を提案する。
本稿では,コンピュータ思考のスキルをテストするために開発された活動の人的評価を自動化するために,この手法を適用する方法について述べる。
論文 参考訳（メタデータ） (2022-09-07T10:09:12Z) - An interdisciplinary conceptual study of Artificial Intelligence (AI)
for helping benefit-risk assessment practices: Towards a comprehensive
qualification matrix of AI programs and devices (pre-print 2020) [55.41644538483948]
本稿では,インテリジェンスの概念に対処するさまざまな分野の既存の概念を包括的に分析する。
目的は、AIシステムを評価するための共有概念や相違点を特定することである。
論文 参考訳（メタデータ） (2021-05-07T12:01:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。