論文の概要: Reforming Physics Exams Using Openly Accessible Large Isomorphic Problem
Banks created with the assistance of Generative AI: an Explorative Study
- arxiv url: http://arxiv.org/abs/2310.14498v1
- Date: Mon, 23 Oct 2023 02:07:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 23:09:12.865396
- Title: Reforming Physics Exams Using Openly Accessible Large Isomorphic Problem
Banks created with the assistance of Generative AI: an Explorative Study
- Title(参考訳): 生成AIを活用したオープンアクセシブル大等方的問題バンクを用いた物理エクササイズの改革 : 探索的研究
- Authors: Zhongzhou Chen, Emily Frederick, Colleen Cui, Munaimah Khan,
Christopher Klatt, Mercedith Huang, Shiyang Su
- Abstract要約: 本稿では,大規模STEMクラスにおける従来の試験の課題の多くを克服するために,大規模同型問題バンクを用いて検討する。
まず,大規模言語モデル GPT-3 を援用した,多数の同型物理問題を効率的に生成する手法を提案する。
そこで我々は,試験項目が十分に大きな問題銀行からランダムに引き出された場合,試験に先立って問題銀行に開放された場合,学生の試験成績に劇的な影響を及ぼすことはないか,あるいは広く普及した解法を記憶させる結果となるかを提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: This paper explores using large isomorphic problem banks to overcome many
challenges of traditional exams in large STEM classes, especially the threat of
content sharing websites and generative AI to the security of exam items. We
first introduce an efficient procedure for creating large numbers of isomorphic
physics problems, assisted by the large language model GPT-3 and several other
open-source tools. We then propose that if exam items are randomly drawn from
large enough problem banks, then giving students open access to problem banks
prior to the exam will not dramatically impact students' performance on the
exam or lead to wide-spread rote-memorization of solutions. We tested this
hypothesis on two mid-term physics exams, comparing students' performance on
problems drawn from open isomorphic problem banks to similar transfer problems
that were not accessible to students prior to the exam. We found that on both
exams, both open bank and transfer problems had the highest difficulty. The
differences in percent correct were between 5% to 10%, which is comparable to
the differences between different isomorphic versions of the same problem type.
Item response theory analysis found that both types of problem have high
discrimination (>1.5) with no significant differences. Student performance on
open-bank and transfer problems are highly correlated with each other, and the
correlations are stronger than average correlations between problems on the
exam. Exploratory factor analysis also found that open-bank and transfer
problems load on the same factor, and even formed their own factor on the
second exam. Those observations all suggest that giving students open access to
large isomorphic problem banks only had a small impact on students' performance
on the exam but could have significant potential in reforming traditional
classroom exams.
- Abstract(参考訳): 本稿では、大規模な同型問題銀行を用いて、大規模なSTEMクラスにおける従来の試験の課題を克服し、特にコンテンツ共有サイトや生成AIが試験項目のセキュリティを脅かすことを考察する。
まず, 大規模言語モデルgpt-3 と各種オープンソースツールを用いて, 多数の同型物理問題を作成するための効率的な手順を提案する。
次に,問題バンクから試験項目がランダムに抽出された場合,試験前の問題バンクへのオープンアクセスを学生に与えることは,試験における学生の成績に劇的な影響を与えないか,あるいは幅広い解の暗記に繋がることを提案する。
この仮説を2つの中等式物理試験で検証し,開同型問題バンクから引き出された問題と,試験前の学生がアクセスできない類似の伝達問題とを比較した。
いずれの試験でも,オープンバンク問題とトランスファー問題はともに最も困難であった。
正解率の差は5%から10%であり、同じ問題型の異型版の違いに匹敵するものであった。
項目応答理論分析の結果,両問題とも高い識別率(>1.5)を示し,有意な差は認められなかった。
オープンバンクとトランスファー問題における学生の成績は相互に強く相関しており, 試験における問題の平均的相関よりも相関が強い。
探索的因子分析では、オープンバンクと転送問題は同じ要因に負担され、2回目の試験でそれぞれ独自の因子を形成していることも判明した。
これらの結果は、学生が大きな同型問題銀行に開放されることは、学生の試験成績にわずかな影響しか与えず、従来の教室試験の改革に有意義な可能性を示唆している。
関連論文リスト
- Automatic question generation for propositional logical equivalences [6.221146613622175]
そこで我々は,各学生に対して適切な質問を生成できる手法を開発し,実装する。
従来の研究では、妥当性、ユーザ定義の困難さ、パーソナライズされた問題生成を含む、教育におけるAQGフレームワークについて研究されてきた。
我々の新しいAQGアプローチは、一年生のコンピュータサイエンス学生にとってコアコースである離散数学に論理的等価性問題をもたらす。
論文 参考訳(メタデータ) (2024-05-09T02:44:42Z) - Scalable Learning of Item Response Theory Models [53.43355949923962]
項目応答理論(IRT)モデルは、分類データから、$m$テスト項目の遅延困難特性とともに、$n$試験の潜時能力を評価することを目的としている。
我々はこれらのモデルの類似性をロジスティック回帰に利用し、コアセットと呼ばれる小さな重み付き部分集合を用いて正確に近似することができる。
論文 参考訳(メタデータ) (2024-03-01T17:12:53Z) - Diversifying the Mixture-of-Experts Representation for Language Models
with Orthogonal Optimizer [62.41501243027603]
The Mixture of Experts (MoE)は、ディープラーニングにおいて非常に成功したテクニックとして登場した。
本研究では,MoEの専門家が多様性の専門化や欠如に失敗した同質表現問題に光を当てた。
我々は,エキスパートエンティティであるOMoEという,単純かつ高効率なソリューションを提案する。
論文 参考訳(メタデータ) (2023-10-15T07:20:28Z) - SciBench: Evaluating College-Level Scientific Problem-Solving Abilities
of Large Language Models [72.92461995173201]
拡張ベンチマークスイートSciBench for Large Language Model (LLM)を導入する。
SciBenchには、数学、化学、物理学の分野から、さまざまな大学レベルの科学的問題を含むデータセットが含まれている。
その結果、現在のLLMは満足のいく性能を達成できないことが判明し、全体のスコアは43.22%に過ぎなかった。
論文 参考訳(メタデータ) (2023-07-20T07:01:57Z) - Reinforcement Learning Guided Multi-Objective Exam Paper Generation [21.945655389912112]
そこで本研究では,MOEPGと呼ばれる多目的文書生成フレームワークを提案する。
難易度、試験スコアの配分、スキルカバレッジを含む3つの試験領域固有の目的を同時に最適化する。
試験用紙生成シナリオの多重ジレンマにMOEPGが適用可能であることを示す。
論文 参考訳(メタデータ) (2023-03-02T07:55:52Z) - UniGeo: Unifying Geometry Logical Reasoning via Reformulating
Mathematical Expression [127.68780714438103]
計算と証明の2つの主要な幾何学問題は、通常2つの特定のタスクとして扱われる。
我々は4,998の計算問題と9,543の証明問題を含むUniGeoという大規模統一幾何問題ベンチマークを構築した。
また,複数タスクの幾何変換フレームワークであるGeoformerを提案し,計算と証明を同時に行う。
論文 参考訳(メタデータ) (2022-12-06T04:37:51Z) - The Multimarginal Optimal Transport Formulation of Adversarial
Multiclass Classification [0.0]
多クラス分類における逆学習問題の幾何学的構造について述べる。
この結果の直接的な計算的意味は、バリセンタ問題とその双対、あるいはMOT問題とその双対を解くことにより、最適なロバストな分類規則を回復できるということである。
論文 参考訳(メタデータ) (2022-04-27T03:07:39Z) - ExamGAN and Twin-ExamGAN for Exam Script Generation [3.1902272671210468]
授業中の学生のスコアを望ましい分布にできる試験スクリプトをどうやって生成するかは、まだ不明である。
評価において同等の高品質なテストスクリプトをどうやって生成するかは、今のところ不明である。
本稿では,高品質な試験スクリプトを生成するためにExamGANを提案し,その後,T-ExamGANに拡張して高品質な試験スクリプトを生成する。
論文 参考訳(メタデータ) (2021-08-22T07:34:15Z) - GeoQA: A Geometric Question Answering Benchmark Towards Multimodal
Numerical Reasoning [172.36214872466707]
我々は、テキスト記述、視覚図、定理知識の包括的理解を必要とする幾何学的問題を解くことに注力する。
そこで本研究では,5,010の幾何学的問題を含む幾何学的質問応答データセットGeoQAを提案する。
論文 参考訳(メタデータ) (2021-05-30T12:34:17Z) - The Influence of Domain-Based Preprocessing on Subject-Specific
Clustering [55.41644538483948]
大学におけるオンライン教育の大部分を突然移行させることで、学者の作業負荷が増大した。
この問題に対処するひとつの方法は、トピックに応じてこれらの質問をクラスタ化することです。
本稿では,タグ付けデータセットの領域を探求し,コードの抜粋の同定と経験的結果の提供に焦点をあてる。
論文 参考訳(メタデータ) (2020-11-16T17:47:19Z) - Meta-Heuristic Solutions to a Student Grouping Optimization Problem
faced in Higher Education Institutions [0.0]
NPハードであることが証明された組合せ問題は高等教育機関で直面している。
組織で直面しているNPハード問題の大部分は、学生やリソースをグループ化することである。
本研究は、学期成績の提示に学生をグループ化することを含む、実際の大学における最適化問題について述べる。
論文 参考訳(メタデータ) (2020-10-01T15:44:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。