論文の概要: Perception, performance, and detectability of conversational artificial
intelligence across 32 university courses
- arxiv url: http://arxiv.org/abs/2305.13934v1
- Date: Sun, 7 May 2023 10:37:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-28 04:59:10.612685
- Title: Perception, performance, and detectability of conversational artificial
intelligence across 32 university courses
- Title（参考訳）: 32大学における対話型人工知能の認識・性能・検出性
- Authors: Hazem Ibrahim, Fengyuan Liu, Rohail Asim, Balaraju Battu, Sidahmed
Benabderrahmane, Bashar Alhafni, Wifag Adnan, Tuka Alhanai, Bedoor AlShebli,
Riyadh Baghdadi, Jocelyn J. B\'elanger, Elena Beretta, Kemal Celik, Moumena
Chaqfeh, Mohammed F. Daqaq, Zaynab El Bernoussi, Daryl Fougnie, Borja Garcia
de Soto, Alberto Gandolfi, Andras Gyorgy, Nizar Habash, J. Andrew Harris,
Aaron Kaufman, Lefteris Kirousis, Korhan Kocak, Kangsan Lee, Seungah S. Lee,
Samreen Malik, Michail Maniatakos, David Melcher, Azzam Mourad, Minsu Park,
Mahmoud Rasras, Alicja Reuben, Dania Zantout, Nancy W. Gleason, Kinga Makovi,
Talal Rahwan, Yasir Zaki
- Abstract要約: 大学レベル32科目におけるChatGPTの成績を比較した。
また,ChatGPTの成績は,多くの科目における生徒の成績と同等であることがわかった。
このツールを使用する学生や、これを盗作として扱う教育者の間では、新たなコンセンサスが高まっている。
- 参考スコア（独自算出の注目度）: 15.642614735026106
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The emergence of large language models has led to the development of powerful
tools such as ChatGPT that can produce text indistinguishable from
human-generated work. With the increasing accessibility of such technology,
students across the globe may utilize it to help with their school work -- a
possibility that has sparked discussions on the integrity of student
evaluations in the age of artificial intelligence (AI). To date, it is unclear
how such tools perform compared to students on university-level courses.
Further, students' perspectives regarding the use of such tools, and educators'
perspectives on treating their use as plagiarism, remain unknown. Here, we
compare the performance of ChatGPT against students on 32 university-level
courses. We also assess the degree to which its use can be detected by two
classifiers designed specifically for this purpose. Additionally, we conduct a
survey across five countries, as well as a more in-depth survey at the authors'
institution, to discern students' and educators' perceptions of ChatGPT's use.
We find that ChatGPT's performance is comparable, if not superior, to that of
students in many courses. Moreover, current AI-text classifiers cannot reliably
detect ChatGPT's use in school work, due to their propensity to classify
human-written answers as AI-generated, as well as the ease with which
AI-generated text can be edited to evade detection. Finally, we find an
emerging consensus among students to use the tool, and among educators to treat
this as plagiarism. Our findings offer insights that could guide policy
discussions addressing the integration of AI into educational frameworks.
- Abstract（参考訳）: 大規模な言語モデルが出現すると、ChatGPTのような強力なツールが開発され、人為的な作業と区別できないテキストを生成するようになった。
このような技術のアクセシビリティが高まる中、世界中の学生は、ai(artificial intelligence, 人工知能)時代における学生評価の完全性に関する議論を引き起こした可能性がある。
これまでのところ、これらのツールが大学レベルのコースの学生に対してどのように機能するかは明らかではない。
また、こうした道具の使用に関する学生の視点や、その使用を盗作として扱う教育者の視点も不明である。
ここでは、ChatGPTの成績を、大学レベル32の学生と比較する。
また,この目的に特化して設計された2つの分類器を用いて,その使用度を評価する。
また,チャットgptの利用に対する学生や教育者の認識を明らかにするため,著者の機関におけるより詳細な調査とともに,5カ国を対象に調査を行った。
chatgptのパフォーマンスは、多くのコースの生徒に匹敵するものの、優れているとは限りません。
さらに、現在のAIテキスト分類器は、人間による回答をAI生成に分類する妥当性や、AI生成したテキストを編集して検出を避けることの容易さから、ChatGPTの学校における使用を確実に検出することはできない。
最後に、このツールを使用する学生と、これを盗作として扱う教育者の間で、新たなコンセンサスが生まれています。
我々の発見は、AIの教育フレームワークへの統合に対処する政策議論のガイドとなる洞察を提供する。
関連論文リスト
- How Well Can LLMs Echo Us? Evaluating AI Chatbots' Role-Play Ability with ECHO [55.25989137825992]
チューリングテストに触発された評価フレームワークECHOを紹介する。
この枠組みは、人間と機械が生成した反応を区別するために、対象個人の知名度に係わる。
基礎モデルとして GPT-3.5 と GPT-4 の3つのロールプレイング LLM をECHO を用いて評価した。
論文 参考訳（メタデータ） (2024-04-22T08:00:51Z) - Is ChatGPT Involved in Texts? Measure the Polish Ratio to Detect
ChatGPT-Generated Text [48.36706154871577]
我々はHPPT(ChatGPT-polished academic abstracts)と呼ばれる新しいデータセットを紹介する。
純粋なChatGPT生成テキストの代わりに、人書きとChatGPTポリケートされた抽象文のペアを構成することで、既存のコーパスから分岐する。
また,ChatGPTによる修正の度合いを,オリジナルの人文テキストと比較した革新的な尺度であるPolish Ratio法を提案する。
論文 参考訳（メタデータ） (2023-07-21T06:38:37Z) - Exploring User Perspectives on ChatGPT: Applications, Perceptions, and
Implications for AI-Integrated Education [40.38809129759498]
ChatGPTは、高等教育、K-12教育、実践的スキルトレーニングの領域でよく使われている。
一方で、学生の自己効力感と学習意欲を増幅できる変革的ツールであると考えるユーザもいる。
一方,利用者の理解度は高い。
論文 参考訳（メタデータ） (2023-05-22T15:13:14Z) - ChatGPT in the Classroom: An Analysis of Its Strengths and Weaknesses
for Solving Undergraduate Computer Science Questions [5.962828109329824]
ChatGPTはOpenAIが開発したAI言語モデルである。
学生がChatGPTを活用すれば、家庭での課題や試験を完了し、真に知識を得ることなく良い成績を得られるのではないか、という懸念がある。
論文 参考訳（メタデータ） (2023-04-28T17:26:32Z) - AI, write an essay for me: A large-scale comparison of human-written
versus ChatGPT-generated essays [66.36541161082856]
ChatGPTや同様の生成AIモデルは、何億人ものユーザーを惹きつけている。
本研究は,ChatGPTが生成した議論的学生エッセイと比較した。
論文 参考訳（メタデータ） (2023-04-24T12:58:28Z) - Generative AI Perceptions: A Survey to Measure the Perceptions of
Faculty, Staff, and Students on Generative AI Tools in Academia [0.0]
ChatGPTは自然言語処理ツールで、人間のような会話ができる。
本稿では,ChatGPTが工学教育の領域に革命をもたらすかに焦点を当てる。
学生,教員,職員に対するChatGPTの効果を調査した。
論文 参考訳（メタデータ） (2023-04-21T23:08:39Z) - To ChatGPT, or not to ChatGPT: That is the question! [78.407861566006]
本研究は,ChatGPT検出における最新の手法を包括的かつ現代的に評価するものである。
我々は、ChatGPTと人間からのプロンプトからなるベンチマークデータセットをキュレートし、医療、オープンQ&A、ファイナンスドメインからの多様な質問を含む。
評価の結果,既存の手法ではChatGPT生成内容を効果的に検出できないことがわかった。
論文 参考訳（メタデータ） (2023-04-04T03:04:28Z) - On the Educational Impact of ChatGPT: Is Artificial Intelligence Ready
to Obtain a University Degree? [0.0]
大学教育におけるChatGPTの効果を評価する。
コンピュータサイエンスの高等教育は、ChatGPTのようなツールにどのように適応すべきかについて議論する。
論文 参考訳（メタデータ） (2023-03-20T14:27:37Z) - A Categorical Archive of ChatGPT Failures [47.64219291655723]
OpenAIが開発したChatGPTは、大量のデータを使って訓練され、人間の会話をシミュレートしている。
それは、広範囲の人間の問い合わせに効果的に答える能力のために、大きな注目を集めている。
しかし、ChatGPTの失敗の包括的分析は欠落しており、これが本研究の焦点となっている。
論文 参考訳（メタデータ） (2023-02-06T04:21:59Z) - ChatGPT: The End of Online Exam Integrity? [0.0]
本研究では,最近開発された人工知能(AI)エージェントであるChatGPTの高レベル認知タスクの実行能力を評価した。
オンライン試験における学術的不正行為のツールとしてChatGPTが使われる可能性への懸念が高まっている。
論文 参考訳（メタデータ） (2022-12-19T08:15:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。