論文の概要: Performance of ChatGPT on the US Fundamentals of Engineering Exam:
Comprehensive Assessment of Proficiency and Potential Implications for
Professional Environmental Engineering Practice
- arxiv url: http://arxiv.org/abs/2304.12198v1
- Date: Thu, 20 Apr 2023 16:54:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-25 14:26:25.041006
- Title: Performance of ChatGPT on the US Fundamentals of Engineering Exam:
Comprehensive Assessment of Proficiency and Potential Implications for
Professional Environmental Engineering Practice
- Title（参考訳）: 米国工学試験におけるChatGPTの性能:専門的環境工学の実践における熟練度と可能性の総合評価
- Authors: Vinay Pursnani, Yusuf Sermet, Ibrahim Demir
- Abstract要約: 本研究は, GPT-4 モデルである ChatGPT を用いて, 工学基礎(FE) 環境評価における良好な性能を実現することの実現可能性と有効性について検討する。
この結果は、ChatGPTモデルの連続反復における数学的能力の顕著な改善を反映し、複雑な工学的問題を解く可能性を示している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In recent years, advancements in artificial intelligence (AI) have led to the
development of large language models like GPT-4, demonstrating potential
applications in various fields, including education. This study investigates
the feasibility and effectiveness of using ChatGPT, a GPT-4 based model, in
achieving satisfactory performance on the Fundamentals of Engineering (FE)
Environmental Exam. This study further shows a significant improvement in the
model's accuracy when answering FE exam questions through noninvasive prompt
modifications, substantiating the utility of prompt modification as a viable
approach to enhance AI performance in educational contexts. Furthermore, the
findings reflect remarkable improvements in mathematical capabilities across
successive iterations of ChatGPT models, showcasing their potential in solving
complex engineering problems. Our paper also explores future research
directions, emphasizing the importance of addressing AI challenges in
education, enhancing accessibility and inclusion for diverse student
populations, and developing AI-resistant exam questions to maintain examination
integrity. By evaluating the performance of ChatGPT in the context of the FE
Environmental Exam, this study contributes valuable insights into the potential
applications and limitations of large language models in educational settings.
As AI continues to evolve, these findings offer a foundation for further
research into the responsible and effective integration of AI models across
various disciplines, ultimately optimizing the learning experience and
improving student outcomes.
- Abstract（参考訳）: 近年、人工知能(AI)の進歩により、GPT-4のような大規模言語モデルが開発され、教育を含む様々な分野の潜在的な応用が示された。
本研究は, GPT-4 モデルである ChatGPT を用いて, 工学基礎(FE) 環境評価における良好な性能を実現することの実現可能性について検討した。
本研究は,非侵襲的な素早い修正によるfe試験質問への回答において,モデルの精度が大幅に向上することを示し,教育的文脈におけるaiのパフォーマンス向上に有効なアプローチとして,プロンプト修正の有用性を実証する。
さらに,chatgptモデルの逐次反復を通じて数学的能力が著しく向上し,複雑な工学的問題を解決する可能性も示された。
また、今後の研究の方向性について検討し、教育におけるAI課題に取り組むことの重要性を強調し、多様な学生に対するアクセシビリティと包摂性を高め、検査の完全性を維持するためにAI耐性試験問題を開発する。
FE環境評価の文脈でChatGPTの性能を評価することにより,大規模言語モデルの適用可能性や教育環境における限界について貴重な知見を得ることができた。
AIが進化を続けるにつれて、これらの発見は様々な分野にわたるAIモデルの責任と効果的な統合に関するさらなる研究の基礎を提供し、最終的には学習経験を最適化し、学生の成果を改善する。
関連論文リスト
- Lingma SWE-GPT: An Open Development-Process-Centric Language Model for Automated Software Improvement [62.94719119451089]
Lingma SWE-GPTシリーズは、現実世界のコード提出活動から学び、シミュレーションする。
Lingma SWE-GPT 72BはGitHubの30.20%の問題を解決する。
論文 参考訳（メタデータ） (2024-11-01T14:27:16Z) - Evaluation of OpenAI o1: Opportunities and Challenges of AGI [112.0812059747033]
o1-previewは目覚ましい能力を示し、しばしば人間レベルまたは優れたパフォーマンスを実現した。
このモデルは、様々な分野にわたる複雑な推論と知識の統合を必要とするタスクに優れていた。
総合的な結果は、人工知能への大きな進歩を示している。
論文 参考訳（メタデータ） (2024-09-27T06:57:00Z) - Could ChatGPT get an Engineering Degree? Evaluating Higher Education Vulnerability to AI Assistants [176.39275404745098]
我々は,2つのAIアシスタントであるGPT-3.5とGPT-4が適切な回答を得られるかどうかを評価する。
GPT-4は65.8%の質問を正解し、85.1%の質問に対して少なくとも1つの手順で正しい答えを出すことができる。
この結果から,AIの進歩を踏まえて,高等教育におけるプログラムレベルの評価設計の見直しが求められた。
論文 参考訳（メタデータ） (2024-08-07T12:11:49Z) - Autonomous Prompt Engineering in Large Language Models [0.0]
本研究は, GPT-4が自律的に迅速な工学的手法を適用可能なAutomatic Prompt Engineering Toolbox(APET)を紹介する。
APETはGPT-4にプロンプトを動的に最適化する権限を与え、Word Sortingのようなタスクを大幅に改善する。
この研究はAI開発における大きな飛躍であり、自律型AIシステムにおける将来のイノベーションのための堅牢なフレームワークを提供する。
論文 参考訳（メタデータ） (2024-06-25T10:14:44Z) - The AI Companion in Education: Analyzing the Pedagogical Potential of ChatGPT in Computer Science and Engineering [1.120999712480549]
本研究は,CSE教育におけるChatGPTの教育的ポテンシャルを包括的に分析することを目的とする。
我々は体系的なアプローチを採用し、CSE分野における多様な教育実践問題を創出する。
我々の調査によると、概念知識クエリのような特定の質問タイプは、一般的にChatGPTに重大な課題を生じさせません。
論文 参考訳（メタデータ） (2024-04-23T21:42:30Z) - The Evolution of Learning: Assessing the Transformative Impact of Generative AI on Higher Education [0.0]
ChatGPTのような生成人工知能モデルは人気が高まっている。
本研究では,GAIが大学生や高等教育機関に与える影響について検討する。
論文 参考訳（メタデータ） (2024-04-16T13:19:57Z) - Integration of cognitive tasks into artificial general intelligence test
for large models [54.72053150920186]
我々は、認知科学にインスパイアされた人工知能(AGI)テストの包括的な枠組みを提唱する。
認知科学に触発されたAGIテストは、結晶化インテリジェンス、流体インテリジェンス、社会インテリジェンス、エンボディドインテリジェンスを含む、すべてのインテリジェンスファセットを含んでいる。
論文 参考訳（メタデータ） (2024-02-04T15:50:42Z) - Bringing Generative AI to Adaptive Learning in Education [58.690250000579496]
我々は、生成AIと適応学習の交差研究に光を当てた。
我々は、この連合が教育における次の段階の学習形式の発展に大きく貢献するだろうと論じている。
論文 参考訳（メタデータ） (2024-02-02T23:54:51Z) - Evaluating Large Language Models on the GMAT: Implications for the
Future of Business Education [0.13654846342364302]
本研究では,7大言語モデル(LLM)の性能評価を行う最初のベンチマークを紹介する。
GPT-4 Turboは他のモデルよりも優れているだけでなく、トップビジネススクールの大学院生の平均スコアを上回っている。
教育、評価、教育におけるAIの約束は明確だが、課題は残る。
論文 参考訳（メタデータ） (2024-01-02T03:54:50Z) - AI-assisted Learning for Electronic Engineering Courses in High
Education [2.67766280323297]
この研究には、学生、講師、エンジニアなど、様々な利害関係者の評価と反映が含まれている。
この研究の結果は、AIツールとしてのChatGPTのメリットと限界に光を当て、技術的分野における革新的な学習アプローチの道を開いた。
論文 参考訳（メタデータ） (2023-11-02T07:48:10Z) - Pre-Trained Models: Past, Present and Future [126.21572378910746]
大規模事前訓練モデル(PTM)は近年大きな成功を収め、人工知能(AI)分野におけるマイルストーンとなった。
知識を巨大なパラメータに格納し、特定のタスクを微調整することで、巨大なパラメータに暗黙的にエンコードされた豊富な知識は、さまざまな下流タスクの恩恵を受けることができる。
AIコミュニティが、モデルをスクラッチから学習するのではなく、下流タスクのバックボーンとしてPTMを採用することは、今、コンセンサスになっている。
論文 参考訳（メタデータ） (2021-06-14T02:40:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。