論文の概要: Automated Assessment of Multimodal Answer Sheets in the STEM domain
- arxiv url: http://arxiv.org/abs/2409.15749v1
- Date: Tue, 24 Sep 2024 05:10:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-26 08:51:17.007732
- Title: Automated Assessment of Multimodal Answer Sheets in the STEM domain
- Title（参考訳）: STEM領域におけるマルチモーダルアンサーシートの自動評価
- Authors: Rajlaxmi Patil, Aditya Ashutosh Kulkarni, Ruturaj Ghatage, Sharvi Endait, Geetanjali Kale, Raviraj Joshi,
- Abstract要約: この研究は、人工知能(AI)を用いた自動評価手法の実装を通じて、効率的で信頼性の高いグレーティング手法を開発するためのものである。
第一に、STEMにおけるテキスト回答の評価、正確な比較と評価のためのサンプル回答の活用、高度なアルゴリズムと自然言語処理技術によって実現された2つの重要な分野に貢献する。
視覚的表現と意味的意味のギャップを埋めることで,手作業による介入を最小限に抑えつつ,正確な評価を実現する。
- 参考スコア（独自算出の注目度）: 0.3958317527488535
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the domain of education, the integration of,technology has led to a transformative era, reshaping traditional,learning paradigms. Central to this evolution is the automation,of grading processes, particularly within the STEM domain encompassing Science, Technology, Engineering, and Mathematics.,While efforts to automate grading have been made in subjects,like Literature, the multifaceted nature of STEM assessments,presents unique challenges, ranging from quantitative analysis,to the interpretation of handwritten diagrams. To address these,challenges, this research endeavors to develop efficient and reliable grading methods through the implementation of automated,assessment techniques using Artificial Intelligence (AI). Our,contributions lie in two key areas: firstly, the development of a,robust system for evaluating textual answers in STEM, leveraging,sample answers for precise comparison and grading, enabled by,advanced algorithms and natural language processing techniques.,Secondly, a focus on enhancing diagram evaluation, particularly,flowcharts, within the STEM context, by transforming diagrams,into textual representations for nuanced assessment using a,Large Language Model (LLM). By bridging the gap between,visual representation and semantic meaning, our approach ensures accurate evaluation while minimizing manual intervention.,Through the integration of models such as CRAFT for text,extraction and YoloV5 for object detection, coupled with LLMs,like Mistral-7B for textual evaluation, our methodology facilitates,comprehensive assessment of multimodal answer sheets. This,paper provides a detailed account of our methodology, challenges,encountered, results, and implications, emphasizing the potential,of AI-driven approaches in revolutionizing grading practices in,STEM education.
- Abstract（参考訳）: 教育分野において、テクノロジーの統合は、伝統的な学習パラダイムを変革する変革の時代へと導いてきた。
この進化の中心は、特に科学、技術、工学、数学を含むSTEM領域における、プロセスの自動化である。
例えば、STEMアセスメントの多面的性質は、定量分析から手書き図の解釈まで、独特な課題を示している。
これらの問題に対処するため,この研究は人工知能(AI)を用いた自動評価手法の実装を通じて,効率的で信頼性の高い評価手法の開発に尽力した。
第一に、STEMにおけるテキスト回答の評価、正確な比較とグレーディングのためのサンプル回答の活用、先進的なアルゴリズムと自然言語処理技術によって実現された、ロバストなシステムの開発である。
第二に、図式、特にフローチャートをSTEMコンテキスト内で強化することに焦点を当て、Large Language Model(LLM)を用いたニュアンスドアセスメントのためのテキスト表現に変換する。
視覚的表現と意味的意味のギャップを埋めることで,手作業による介入を最小限に抑えつつ,正確な評価を実現する。
テキスト,抽出用 CRAFT やオブジェクト検出用 YoloV5 やテキスト評価用 Mistral-7B などの LLM と組み合わせることで,本手法はマルチモーダル回答シートの総合的評価を容易にする。
この論文は、私たちの方法論、課題、経験、結果、含意について詳細に説明し、STEM教育におけるグレーディングプラクティスの革新化におけるAI主導のアプローチの可能性を強調します。
関連論文リスト
- Large Language Model for Qualitative Research -- A Systematic Mapping Study [3.302912592091359]
先進的な生成AIを駆使した大規模言語モデル(LLM)がトランスフォーメーションツールとして登場した。
本研究は, LLMを用いた定性的研究に関する文献を体系的にマッピングする。
LLMは様々な分野にまたがって利用されており、プロセスの自動化の可能性を示している。
論文 参考訳（メタデータ） (2024-11-18T21:28:00Z) - "I understand why I got this grade": Automatic Short Answer Grading with Feedback [36.74896284581596]
本稿では,5.8kの学生回答と参照回答と自動短解答(ASAG)タスクに対する質問のデータセットを提案する。
EngSAFデータセットは、複数のエンジニアリングドメインのさまざまな主題、質問、回答パターンをカバーするために、慎重にキュレートされている。
論文 参考訳（メタデータ） (2024-06-30T15:42:18Z) - Ontology Embedding: A Survey of Methods, Applications and Resources [54.3453925775069]
オントロジはドメイン知識とメタデータを表現するために広く使われている。
1つの簡単な解決策は、統計分析と機械学習を統合することである。
埋め込みに関する多くの論文が出版されているが、体系的なレビューの欠如により、研究者はこの分野の包括的な理解を妨げている。
論文 参考訳（メタデータ） (2024-06-16T14:49:19Z) - Recent Advances in Hate Speech Moderation: Multimodality and the Role of Large Models [52.24001776263608]
この包括的調査は、HSモデレーションの最近の歩みを掘り下げている。
大型言語モデル(LLM)と大規模マルチモーダルモデル(LMM)の急成長する役割を強調した。
研究における既存のギャップを、特に表現不足言語や文化の文脈で特定する。
論文 参考訳（メタデータ） (2024-01-30T03:51:44Z) - Interpretable and Explainable Machine Learning Methods for Predictive
Process Monitoring: A Systematic Literature Review [1.3812010983144802]
本稿では,機械学習モデル(ML)の予測プロセスマイニングの文脈における説明可能性と解釈可能性について,系統的に検討する。
我々は、様々なアプリケーション領域にまたがる現在の方法論とその応用の概要を概観する。
我々の研究は、プロセス分析のためのより信頼性が高く透明で効果的なインテリジェントシステムの開発と実装方法について、研究者や実践者がより深く理解することを目的としている。
論文 参考訳（メタデータ） (2023-12-29T12:43:43Z) - Combatting Human Trafficking in the Cyberspace: A Natural Language
Processing-Based Methodology to Analyze the Language in Online Advertisements [55.2480439325792]
このプロジェクトは、高度自然言語処理(NLP)技術により、オンラインC2Cマーケットプレースにおける人身売買の急激な問題に取り組む。
我々は、最小限の監督で擬似ラベル付きデータセットを生成する新しい手法を導入し、最先端のNLPモデルをトレーニングするための豊富なリソースとして機能する。
重要な貢献は、Integrated Gradientsを使った解釈可能性フレームワークの実装であり、法執行にとって重要な説明可能な洞察を提供する。
論文 参考訳（メタデータ） (2023-11-22T02:45:01Z) - Empowering Private Tutoring by Chaining Large Language Models [87.76985829144834]
本研究は,最先端の大規模言語モデル(LLM)を活用した,本格的な知的チューリングシステムの開発を探求する。
このシステムは、相互に接続された3つのコアプロセス(相互作用、反射、反応)に分けられる。
各プロセスは LLM ベースのツールと動的に更新されたメモリモジュールによって実装される。
論文 参考訳（メタデータ） (2023-09-15T02:42:03Z) - Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。
まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。
次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
論文 参考訳（メタデータ） (2023-09-02T00:32:55Z) - Multimodal Explainable Artificial Intelligence: A Comprehensive Review of Methodological Advances and Future Research Directions [2.35574869517894]
本研究は、MXAI(Multimodal XAI)領域における最近の進歩の分析に焦点をあてる。
MXAIは、主予測と説明タスクに複数のモダリティを含む手法から構成される。
論文 参考訳（メタデータ） (2023-06-09T07:51:50Z) - Survey on Automated Short Answer Grading with Deep Learning: from Word
Embeddings to Transformers [5.968260239320591]
教育課題を学生数の増加に拡大する手段として,ASAG (Automated Short answer grading) が教育において注目を集めている。
自然言語処理と機械学習の最近の進歩はASAGの分野に大きな影響を与えた。
論文 参考訳（メタデータ） (2022-03-11T13:47:08Z) - Faithfulness in Natural Language Generation: A Systematic Survey of
Analysis, Evaluation and Optimization Methods [48.47413103662829]
自然言語生成(NLG)は,事前学習型言語モデルなどの深層学習技術の発展により,近年大きく進歩している。
しかし、生成したテキストが通常不信または非実情報を含むという忠実性問題は、最大の課題となっている。
論文 参考訳（メタデータ） (2022-03-10T08:28:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。