論文の概要: Chatbots im Schulunterricht: Wir testen das Fobizz-Tool zur automatischen Bewertung von Hausaufgaben

• arxiv url: http://arxiv.org/abs/2412.06651v2
• Date: Tue, 10 Dec 2024 07:55:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-11 10:56:13.193192
• Title: Chatbots im Schulunterricht: Wir testen das Fobizz-Tool zur automatischen Bewertung von Hausaufgaben
• Title（参考訳）: シュルンターリヒトのチャットボット--ホーザウフガベンのオートマトン化に就て
• Authors: Rainer Muehlhoff, Marte Henningsen,
• Abstract要約: 本研究では,ドイツのFobizz社によるAIによるグレーディングツール"AI Grading Assistant"について検討した。 ツールの数値グレードと定性的フィードバックは、しばしばランダムであり、提案が組み込まれても改善されない。 この研究は、教育における体系的な問題に対する迅速な修正としてAIを採用するというより広い傾向を批判している。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: [Study in German language.] This study examines the AI-powered grading tool "AI Grading Assistant" by the German company Fobizz, designed to support teachers in evaluating and providing feedback on student assignments. Against the societal backdrop of an overburdened education system and rising expectations for artificial intelligence as a solution to these challenges, the investigation evaluates the tool's functional suitability through two test series. The results reveal significant shortcomings: The tool's numerical grades and qualitative feedback are often random and do not improve even when its suggestions are incorporated. The highest ratings are achievable only with texts generated by ChatGPT. False claims and nonsensical submissions frequently go undetected, while the implementation of some grading criteria is unreliable and opaque. Since these deficiencies stem from the inherent limitations of large language models (LLMs), fundamental improvements to this or similar tools are not immediately foreseeable. The study critiques the broader trend of adopting AI as a quick fix for systemic problems in education, concluding that Fobizz's marketing of the tool as an objective and time-saving solution is misleading and irresponsible. Finally, the study calls for systematic evaluation and subject-specific pedagogical scrutiny of the use of AI tools in educational contexts.
• Abstract（参考訳）: 本研究は,ドイツのFobizz社によるAIによる学習支援ツール「AI Grading Assistant」について,教員が学生の課題を評価し,フィードバックを提供することを目的として検討した。 オーバーバーデンド教育システムの社会的背景とこれらの課題への解決策としての人工知能への期待の高まりに対して、調査は2つのテストシリーズを通じてツールの機能的適合性を評価する。 ツールの数値グレードと定性的フィードバックは、しばしばランダムであり、提案が組み込まれても改善されない。 最高評価はChatGPTが生成したテキストでのみ達成できる。 偽の主張や非センセーショナルな提案は検出されないことが多いが、グレーティング基準の実装は信頼性が低く不透明である。 これらの欠陥は、大きな言語モデル(LLM)固有の制限に由来するため、このようなツールに対する根本的な改善は、すぐには予測できない。 この研究は、AIを教育における体系的な問題の迅速な修正として採用する広範な傾向を批判し、フォビズがツールを客観的かつ時間節約のソリューションとしてマーケティングすることは誤解を招くものであり、無責任であると結論付けた。 最後に、この研究は、教育的文脈におけるAIツールの使用に関する体系的評価と主題固有の教育的精査を要求する。

関連論文リスト

• AI-Compass: A Comprehensive and Effective Multi-module Testing Tool for AI Systems [26.605694684145313]
  本研究では,AIシステムを包括的かつ効果的に評価するテストツール,ツールを設計,実装する。 このツールは、敵の堅牢性、モデル解釈可能性、およびニューロン分析を広範囲に評価する。 私たちの研究は、ランドスケープをテストするAIシステムの一般的なソリューションに光を当てています。
  論文  参考訳（メタデータ） (2024-11-09T11:15:17Z)
• Could ChatGPT get an Engineering Degree? Evaluating Higher Education Vulnerability to AI Assistants [176.39275404745098]
  我々は,2つのAIアシスタントであるGPT-3.5とGPT-4が適切な回答を得られるかどうかを評価する。 GPT-4は65.8%の質問を正解し、85.1%の質問に対して少なくとも1つの手順で正しい答えを出すことができる。 この結果から,AIの進歩を踏まえて,高等教育におけるプログラムレベルの評価設計の見直しが求められた。
  論文  参考訳（メタデータ） (2024-08-07T12:11:49Z)
• Hidding the Ghostwriters: An Adversarial Evaluation of AI-Generated Student Essay Detection [29.433764586753956]
  大規模言語モデル(LLM)は、テキスト生成タスクにおいて顕著な機能を示した。 これらのモデルの利用には、盗作行為、偽ニュースの普及、教育演習における問題など、固有のリスクが伴う。 本稿では,AI生成した学生エッセイデータセットであるAIG-ASAPを構築し,このギャップを埋めることを目的とする。
  論文  参考訳（メタデータ） (2024-02-01T08:11:56Z)
• Student Mastery or AI Deception? Analyzing ChatGPT's Assessment Proficiency and Evaluating Detection Strategies [1.633179643849375]
  ChatGPTのような生成AIシステムは、学習と評価に破壊的な影響を及ぼす。 本研究では,ChatGPTを3つのコースに分けて評価することで,ChatGPTの性能を評価する。
  論文  参考訳（メタデータ） (2023-11-27T20:10:13Z)
• Automated Distractor and Feedback Generation for Math Multiple-choice Questions via In-context Learning [43.83422798569986]
  マルチチョイス質問(MCQ)は、管理しやすく、格付けし、信頼性の高い評価形式であるため、ほぼ全てのレベルの教育においてユビキタスである。 これまで、高品質なイントラクタを作るというタスクは、教師やコンテンツデザイナーを学ぶための労働集約的なプロセスのままだった。 本稿では,テキスト内学習をベースとした簡易な学習手法を提案する。
  論文  参考訳（メタデータ） (2023-08-07T01:03:04Z)
• Automated Grading and Feedback Tools for Programming Education: A Systematic Review [7.776434991976473]
  ほとんどの論文はオブジェクト指向言語における代入の正確性を評価する。 ソースコードの保守性、可読性、ドキュメントを評価するツールは少ない。 ほとんどのツールは、ほぼ即時フィードバックを可能にする完全に自動化されたアセスメントを提供する。
  論文  参考訳（メタデータ） (2023-06-20T17:54:50Z)
• From Static Benchmarks to Adaptive Testing: Psychometrics in AI Evaluation [60.14902811624433]
  本稿では,静的評価手法から適応テストへのパラダイムシフトについて論じる。 これには、ベンチマークで各テスト項目の特性と価値を推定し、リアルタイムでアイテムを動的に調整することが含まれる。 我々は、AI評価にサイコメトリックを採用する現在のアプローチ、アドバンテージ、そして根底にある理由を分析します。
  論文  参考訳（メタデータ） (2023-06-18T09:54:33Z)
• ROSCOE: A Suite of Metrics for Scoring Step-by-Step Reasoning [63.77667876176978]
  大規模言語モデルでは、最終回答を正当化するためにステップバイステップの推論を生成するように促された場合、ダウンストリームタスクの解釈可能性が改善されている。 これらの推論ステップは、モデルの解釈可能性と検証を大幅に改善するが、客観的にそれらの正確性を研究することは困難である。 本稿では、従来のテキスト生成評価指標を改善し拡張する、解釈可能な教師なし自動スコアのスイートであるROSを提案する。
  論文  参考訳（メタデータ） (2022-12-15T15:52:39Z)
• AES Systems Are Both Overstable And Oversensitive: Explaining Why And Proposing Defenses [66.49753193098356]
  スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。 のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。 高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-24T03:49:38Z)
• ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
  本稿では,フィードバックを数発の分類として提供するという課題について考察する。 メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。 本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
  論文  参考訳（メタデータ） (2021-07-23T22:41:28Z)
• Evaluation Toolkit For Robustness Testing Of Automatic Essay Scoring Systems [64.4896118325552]
  モデル逆算評価スキームと関連するメトリクスを用いて、現状のAESモデルを評価する。 AESモデルは非常に過大評価されていることがわかった。質問の話題に関係のない内容の重い修正(25%まで)でさえ、モデルが生み出すスコアを低下させることはない。
  論文  参考訳（メタデータ） (2020-07-14T03:49:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。