論文の概要: Can AI Chatbots Pass the Fundamentals of Engineering (FE) and Principles
and Practice of Engineering (PE) Structural Exams?
- arxiv url: http://arxiv.org/abs/2303.18149v1
- Date: Fri, 31 Mar 2023 15:37:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-03 13:27:30.038073
- Title: Can AI Chatbots Pass the Fundamentals of Engineering (FE) and Principles
and Practice of Engineering (PE) Structural Exams?
- Title(参考訳): aiチャットボットは、エンジニアリングの基本(fe)とエンジニアリングの原則と実践(pe)構造試験に合格できるか?
- Authors: M.Z. Naser, Brandon Ross, Jennier Ogle, Venkatesh Kodur, Rami Hawileh,
Jamal Abdalla, Huu-Tai Thai
- Abstract要約: ChatGPT-4 と Bard はそれぞれ FE 試験で 70.9% と 39.2% を獲得し、PE 試験で 46.2% と 41% を獲得した。
現在のChatGPT-4はFE試験に合格する可能性があることは明らかである。
- 参考スコア(独自算出の注目度): 1.0554048699217669
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The engineering community has recently witnessed the emergence of chatbot
technology with the release of OpenAI ChatGPT-4 and Google Bard. While these
chatbots have been reported to perform well and even pass various standardized
tests, including medical and law exams, this forum paper explores whether these
chatbots can also pass the Fundamentals of Engineering (FE) and Principles and
Practice of Engineering (PE) exams. A diverse range of civil and environmental
engineering questions and scenarios are used to evaluate the chatbots'
performance, as commonly present in the FE and PE exams. The chatbots'
responses were analyzed based on their relevance, accuracy, and clarity and
then compared against the recommendations of the National Council of Examiners
for Engineering and Surveying (NCEES). Our report shows that ChatGPT-4 and
Bard, respectively scored 70.9% and 39.2% in the FE exam and 46.2% and 41% in
the PE exam. It is evident that the current version of ChatGPT-4 could
potentially pass the FE exam. While future editions are much more likely to
pass both exams, this study also highlights the potential of using chatbots as
teaching assistants and guiding engineers.
- Abstract(参考訳): エンジニアリングコミュニティは最近、openai chatgpt-4とgoogle bardのリリースでチャットボット技術の出現を目撃した。
これらのチャットボットは、医療や法律の試験を含む様々な標準試験に合格することが報告されているが、このフォーラムの論文は、これらのチャットボットがエンジニアリングの基本(fe)とエンジニアリングの原則と実践(pe)試験にも合格できるかどうかを考察している。
FE試験やPE試験で一般的に見られるように、様々な土木工学や環境工学の質問やシナリオがチャットボットのパフォーマンスを評価するために使用される。
チャットボットの応答は,その関連性,正確性,明確性に基づいて分析し,NCEES(National Council of Examiners for Engineering and Surveying)の勧告と比較した。
調査の結果,ChatGPT-4 と Bard はそれぞれ FE 試験で 70.9% と 39.2%,PE 試験で 46.2% と 41% を獲得した。
現在のChatGPT-4はFE試験に合格する可能性があることは明らかである。
将来の版は両方の試験に合格する可能性が高いが、この研究はチャットボットをアシスタントや指導エンジニアとして使う可能性を強調している。
関連論文リスト
- Assessing AI Chatbots Performance in Comprehensive Standardized Test
Preparation; A Case Study with GRE [0.0]
本研究では,Bing,ChatGPT,GPT-4の3つの人工知能チャットボットが,標準化されたテストから質問に答える上で,いかにうまく機能するかを解析する。
量的推論の異なる137の質問と、言語カテゴリーを持つ157の質問が、それらの能力を評価するために使用された。
論文 参考訳(メタデータ) (2023-11-26T05:27:35Z) - ChatGPT & Mechanical Engineering: Examining performance on the FE
Mechanical Engineering and Undergraduate Exams [0.0]
本研究では,機械工学の分野におけるChatGPTの機能について検討する。
教室やプロの環境での利用事例や落とし穴を調べることを目的としている。
論文 参考訳(メタデータ) (2023-09-26T20:12:26Z) - Can ChatGPT pass the Vietnamese National High School Graduation
Examination? [0.0]
研究データセットには、文学テストケースで30のエッセイと、他の被験者向けにデザインされた1,700の多重選択質問が含まれていた。
ChatGPTは平均スコア6-7で試験に合格し、この技術が教育現場に革命をもたらす可能性を実証した。
論文 参考訳(メタデータ) (2023-06-15T14:47:03Z) - UKP-SQuARE: An Interactive Tool for Teaching Question Answering [61.93372227117229]
質問応答の指数的増加(QA)は、あらゆる自然言語処理(NLP)コースにおいて必須のトピックとなっている。
本稿では、QA教育のプラットフォームとしてUKP-SQuAREを紹介する。
学生は様々な視点から様々なQAモデルを実行、比較、分析することができる。
論文 参考訳(メタデータ) (2023-05-31T11:29:04Z) - Chatbots put to the test in math and logic problems: A preliminary
comparison and assessment of ChatGPT-3.5, ChatGPT-4, and Google Bard [68.8204255655161]
曖昧さがなく、プレーンテキストのみで完全に記述され、ユニークな、明確に定義された正しい回答を持つ、30の質問を使用します。
回答は記録され、議論され、その強みと弱点を強調します。
その結果,ChatGPT-4はChatGPT-3.5より優れていた。
論文 参考訳(メタデータ) (2023-05-30T11:18:05Z) - AGIEval: A Human-Centric Benchmark for Evaluating Foundation Models [122.63704560157909]
我々は,人間中心の標準化試験の文脈で基礎モデルを評価するために設計された新しいベンチマークであるAGIEvalを紹介する。
GPT-4, ChatGPT, Text-Davinci-003 など,最先端基盤モデルの評価を行った。
GPT-4はSAT、LSAT、数学の競争で平均的な人事成績を上回り、SAT Mathテストでは95%の精度で、中国国立大学入試では92.5%の精度で合格している。
論文 参考訳(メタデータ) (2023-04-13T09:39:30Z) - On the Educational Impact of ChatGPT: Is Artificial Intelligence Ready
to Obtain a University Degree? [0.0]
大学教育におけるChatGPTの効果を評価する。
コンピュータサイエンスの高等教育は、ChatGPTのようなツールにどのように適応すべきかについて議論する。
論文 参考訳(メタデータ) (2023-03-20T14:27:37Z) - ChatGPT Participates in a Computer Science Exam [16.665883787432858]
我々はChatGPTに、'algorithms and Data Structures'の学部コンピュータサイエンス試験への参加を依頼する。
回答を試験用シートに手動でコピーし、その後、200人の学生と一緒にブラインド・セットアップで評価した。
結果,ChatGPTは40点中20.5点を獲得した。
論文 参考訳(メタデータ) (2023-03-08T15:46:14Z) - A Categorical Archive of ChatGPT Failures [47.64219291655723]
OpenAIが開発したChatGPTは、大量のデータを使って訓練され、人間の会話をシミュレートしている。
それは、広範囲の人間の問い合わせに効果的に答える能力のために、大きな注目を集めている。
しかし、ChatGPTの失敗の包括的分析は欠落しており、これが本研究の焦点となっている。
論文 参考訳(メタデータ) (2023-02-06T04:21:59Z) - CheerBots: Chatbots toward Empathy and Emotionusing Reinforcement
Learning [60.348822346249854]
本研究では,複数の共感型チャットボットがユーザの暗黙の感情を理解し,複数の対話のターンに対して共感的に応答する枠組みを提案する。
チャットボットをCheerBotsと呼びます。CheerBotsは検索ベースまたは生成ベースで、深い強化学習によって微調整されます。
共感的態度で反応するため,CheerBotsの学習支援としてシミュレーションエージェントである概念人間モデルを開発し,今後のユーザの感情状態の変化を考慮し,共感を喚起する。
論文 参考訳(メタデータ) (2021-10-08T07:44:47Z) - Put Chatbot into Its Interlocutor's Shoes: New Framework to Learn
Chatbot Responding with Intention [55.77218465471519]
本稿では,チャットボットに人間のような意図を持つための革新的なフレームワークを提案する。
我々のフレームワークには、ガイドロボットと人間の役割を担うインターロケータモデルが含まれていた。
本フレームワークを3つの実験的なセットアップを用いて検討し,4つの異なる指標を用いた誘導ロボットの評価を行い,柔軟性と性能の利点を実証した。
論文 参考訳(メタデータ) (2021-03-30T15:24:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。