論文の概要: Game of Tones: Faculty detection of GPT-4 generated content in
university assessments
- arxiv url: http://arxiv.org/abs/2305.18081v1
- Date: Mon, 29 May 2023 13:31:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-30 15:01:58.525930
- Title: Game of Tones: Faculty detection of GPT-4 generated content in
university assessments
- Title（参考訳）: ゲーム・オブ・トーン:大学評価におけるGPT-4生成コンテンツの検出
- Authors: Mike Perkins (1), Jasper Roe (2), Darius Postma (1), James McGaughran
(1), Don Hickerson (1) ((1) British University Vietnam, Vietnam, (2) James
Cook University Singapore, Singapore)
- Abstract要約: 本研究では,Open AIのGene-Trained Transformerの使用に対する大学評価の堅牢性について検討する。
人工知能(AI)検出ツールによって支援された場合、学術スタッフがその使用を検出する能力を評価する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: This study explores the robustness of university assessments against the use
of Open AI's Generative Pre-Trained Transformer 4 (GPT-4) generated content and
evaluates the ability of academic staff to detect its use when supported by the
Turnitin Artificial Intelligence (AI) detection tool. The research involved
twenty-two GPT-4 generated submissions being created and included in the
assessment process to be marked by fifteen different faculty members. The study
reveals that although the detection tool identified 91% of the experimental
submissions as containing some AI-generated content, the total detected content
was only 54.8%. This suggests that the use of adversarial techniques regarding
prompt engineering is an effective method in evading AI detection tools and
highlights that improvements to AI detection software are needed. Using the
Turnitin AI detect tool, faculty reported 54.5% of the experimental submissions
to the academic misconduct process, suggesting the need for increased awareness
and training into these tools. Genuine submissions received a mean score of
54.4, whereas AI-generated content scored 52.3, indicating the comparable
performance of GPT-4 in real-life situations. Recommendations include adjusting
assessment strategies to make them more resistant to the use of AI tools, using
AI-inclusive assessment where possible, and providing comprehensive training
programs for faculty and students. This research contributes to understanding
the relationship between AI-generated content and academic assessment, urging
further investigation to preserve academic integrity.
- Abstract（参考訳）: 本研究では,Open AIのジェネレーティブ・プレトレーニング・トランスフォーマー4(GPT-4)生成コンテンツの使用に対する大学評価の堅牢性を検討するとともに,Turnitin Artificial Intelligence(AI)検出ツールによって支援された場合の学習スタッフによるその使用を検出する能力を評価する。
この研究には22のgpt-4が作成され、15の異なる教員による評価プロセスに含まれた。
実験結果の91%はaiが生成したコンテンツを含んでいるが、検出されたコンテンツは54.8%に過ぎなかった。
このことは,AI検出ツールの回避には,インシデントエンジニアリングに関する敵のテクニックの使用が有効な方法であり,AI検出ソフトウェアの改善が必要であることを強調している。
Turnitin AI検出ツールを使用して、学部は学術的不正行為プロセスへの実験的な提出の54.5%を報告し、これらのツールに対する認識と訓練の強化の必要性を示唆した。
Genuineの応募は54.4点、AIが生成したコンテンツは52.3点、実際の状況ではGPT-4に匹敵する性能を示した。
勧告には、AIツールの使用に抵抗しやすくするためのアセスメント戦略の調整、可能な限りAI非包括的アセスメントの使用、教員や学生に対する包括的なトレーニングプログラムの提供が含まれる。
本研究は,ai生成コンテンツと学術的評価との関係の理解に寄与し,学術的整合性を保つためのさらなる調査を促している。
関連論文リスト
- AI-Tutoring in Software Engineering Education [0.7631288333466648]
我々は,GPT-3.5-TurboモデルをAI-TutorとしてAPASアルテミスに組み込むことで,探索的なケーススタディを行った。
この発見は、タイムリーなフィードバックやスケーラビリティといった利点を浮き彫りにしている。
しかし,AI-Tutor を用いた場合,一般的な応答や学習進行抑制に対する学生の懸念も明らかであった。
論文 参考訳（メタデータ） (2024-04-03T08:15:08Z) - GenAI Detection Tools, Adversarial Techniques and Implications for Inclusivity in Higher Education [0.0]
本研究では,修正された機械生成コンテンツと対向する6つの主要生成AI(GenAI)テキスト検出器の有効性について検討した。
その結果、既に低い精度(39.5%)の検出器は、操作された内容に直面すると、大きな精度(17.4%)の低下を示すことが示された。
正確さの限界と偽の告発の可能性は、これらのツールが学術的完全性に違反したかどうかを判断するために現在推奨できないことを示している。
論文 参考訳（メタデータ） (2024-03-28T04:57:13Z) - Can generative AI and ChatGPT outperform humans on cognitive-demanding
problem-solving tasks in science? [1.1172147007388977]
本研究は,2019年のNAEP科学評価におけるChatGPTとGPT-4の性能を,各項目の認知的要求によって比較した。
その結果、ChatGPTとGPT-4は、NAEPの科学評価に回答したほとんどの生徒より一貫して優れていた。
論文 参考訳（メタデータ） (2024-01-07T12:36:31Z) - Enhancing Medical Task Performance in GPT-4V: A Comprehensive Study on
Prompt Engineering Strategies [28.98518677093905]
OpenAIの最新大型ビジョン言語モデルであるGPT-4Vは、医療応用の可能性についてかなりの関心を集めている。
最近の研究や内部レビューでは、専門的な医療業務における過小評価が強調されている。
本稿では,GPT-4Vの医療機能の境界,特に内視鏡,CT,MRIなどの複雑な画像データ処理について検討する。
論文 参考訳（メタデータ） (2023-12-07T15:05:59Z) - Student Mastery or AI Deception? Analyzing ChatGPT's Assessment
Proficiency and Evaluating Detection Strategies [1.633179643849375]
ChatGPTのような生成AIシステムは、学習と評価に破壊的な影響を及ぼす。
本研究では,ChatGPTを3つのコースに分けて評価することで,ChatGPTの性能を評価する。
論文 参考訳（メタデータ） (2023-11-27T20:10:13Z) - GPT4Vis: What Can GPT-4 Do for Zero-shot Visual Recognition? [82.40761196684524]
本稿では,ゼロショット視覚認識タスクにおけるGPT-4の言語的・視覚的能力の評価に焦点を当てる。
我々は、画像、ビデオ、点群にわたるGPT-4の性能を評価するための広範な実験を行った。
言語記述が充実したGPT-4はゼロショット認識を著しく改善した。
論文 参考訳（メタデータ） (2023-11-27T11:29:10Z) - Holistic Evaluation of GPT-4V for Biomedical Imaging [113.46226609088194]
GPT-4Vはコンピュータビジョンのための人工知能の突破口である。
GPT-4Vは,放射線学,腫瘍学,眼科,病理学など16分野にまたがって評価を行った。
以上の結果より,GPT-4Vは異常や解剖学的認識に優れていたが,診断や局所化は困難であった。
論文 参考訳（メタデータ） (2023-11-10T18:40:44Z) - ToRA: A Tool-Integrated Reasoning Agent for Mathematical Problem Solving [170.7899683843177]
ToRAは、難解な数学的問題を解決するために設計されたツール統合推論エージェントのシリーズである。
ToRAモデルは、あらゆるスケールにわたる10の数学的推論データセットで、オープンソースモデルよりも大幅に優れています。
ToRA-Code-34Bは、MATHで50%を超える精度を達成する最初のオープンソースモデルである。
論文 参考訳（メタデータ） (2023-09-29T17:59:38Z) - How Robust is GPT-3.5 to Predecessors? A Comprehensive Study on Language
Understanding Tasks [65.7949334650854]
GPT-3.5モデルは様々な自然言語処理(NLP)タスクで顕著な性能を示した。
しかし、オープン世界の様々な複雑さに対処する堅牢性や能力はまだ検討されていない。
GPT-3.5は、不安定性、迅速な感度、数値感度など、いくつかの具体的な堅牢性課題に直面している。
論文 参考訳（メタデータ） (2023-03-01T07:39:01Z) - The Role of AI in Drug Discovery: Challenges, Opportunities, and
Strategies [97.5153823429076]
この分野でのAIのメリット、課題、欠点についてレビューする。
データ拡張、説明可能なAIの使用、従来の実験手法とAIの統合についても論じている。
論文 参考訳（メタデータ） (2022-12-08T23:23:39Z) - AI for CSI Feedback Enhancement in 5G-Advanced and 6G [51.276468472631976]
第3世代パートナーシッププロジェクトは2021年にリリース18の研究を開始した。
本稿では,5G-Advancedおよび6GにおけるCSIフィードバック向上のためのAIの概要を紹介する。
論文 参考訳（メタデータ） (2022-06-30T08:52:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。