論文の概要: Automatic Short Math Answer Grading via In-context Meta-learning
- arxiv url: http://arxiv.org/abs/2205.15219v1
- Date: Mon, 30 May 2022 16:26:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-31 14:16:50.165738
- Title: Automatic Short Math Answer Grading via In-context Meta-learning
- Title（参考訳）: 文脈内メタラーニングによる短期数学解の自動評価
- Authors: Mengxue Zhang, Sami Baral, Neil Heffernan, Andrew Lan
- Abstract要約: 本研究では,数学質問に対する児童生徒の回答に対する自動短解格付けの問題について検討する。
我々は、数学的な内容に適応した人気のある言語モデルBERTの変種である MathBERT をベースモデルとして使用しています。
第二に、言語モデルへの入力としてスコアリングサンプルを提供する、コンテキスト内学習アプローチを用いる。
- 参考スコア（独自算出の注目度）: 2.0263791972068628
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Automatic short answer grading is an important research direction in the
exploration of how to use artificial intelligence (AI)-based tools to improve
education. Current state-of-the-art approaches use neural language models to
create vectorized representations of students responses, followed by
classifiers to predict the score. However, these approaches have several key
limitations, including i) they use pre-trained language models that are not
well-adapted to educational subject domains and/or student-generated text and
ii) they almost always train one model per question, ignoring the linkage
across a question and result in a significant model storage problem due to the
size of advanced language models. In this paper, we study the problem of
automatic short answer grading for students' responses to math questions and
propose a novel framework for this task. First, we use MathBERT, a variant of
the popular language model BERT adapted to mathematical content, as our base
model and fine-tune it for the downstream task of student response grading.
Second, we use an in-context learning approach that provides scoring examples
as input to the language model to provide additional context information and
promote generalization to previously unseen questions. We evaluate our
framework on a real-world dataset of student responses to open-ended math
questions and show that our framework (often significantly) outperforms
existing approaches, especially for new questions that are not seen during
training.
- Abstract（参考訳）: 人工知能(AI)ベースのツールを教育改善に活用する方法を探究する上で,自動短解格付けは重要な研究方向である。
現在の最先端のアプローチでは、ニューラルネットワークモデルを使用して、学生の反応のベクトル化表現を作成し、次にスコアを予測する分類器が続く。
しかし、これらのアプローチにはいくつかの重要な制限がある。
一 教育対象ドメイン及び/又は学生生成テキストに適合しない訓練済み言語モデルを用いること。
二 問題ごとのモデルをほとんど常に訓練し、一問にまたがるリンクを無視し、先進的な言語モデルのサイズのため、重要なモデル記憶の問題を引き起こす。
本稿では,算数問題に対する学生の回答を自動短答評価する問題について検討し,この課題に対する新しい枠組みを提案する。
まず、数学的内容に適応した人気のある言語モデルBERTの変種である MathBERT をベースモデルとして使用し、学生の反応グレーディングの下流タスクに微調整する。
第2に、言語モデルへのインプットとしてスコアリング例を提供し、追加のコンテキスト情報を提供し、未認識の質問への一般化を促進する、コンテキスト内学習アプローチを用いる。
オープンエンドの数学質問に対する学生回答を実世界のデータセット上で評価し,そのフレームワークが既存のアプローチ,特にトレーニング中に見られない新たな質問よりも優れていることを示す。
関連論文リスト
- Teaching Smaller Language Models To Generalise To Unseen Compositional Questions (Full Thesis) [0.0]
私たちは、検索したコンテキストを推論する能力を注入することで、さまざまな質問に答えるようにモデルを訓練します。
2つの知識ソースからコンテキストを取得し、ウィキペディアコーパスは、新しい拡張を持つマルチホップ高密度検索システムを用いてクエリし、より大規模な言語モデルから生成された論理から、より低いリソース環境下での動作を最適化した。
論文 参考訳（メタデータ） (2024-11-25T23:25:34Z) - Long-Span Question-Answering: Automatic Question Generation and QA-System Ranking via Side-by-Side Evaluation [65.16137964758612]
大規模言語モデルにおける長文文の活用について検討し,本書全体の読解データを作成する。
我々の目的は、長いテキストの詳細な理解を必要とする問題を分析し、理解し、推論するLLMの能力をテストすることである。
論文 参考訳（メタデータ） (2024-05-31T20:15:10Z) - Language Models for Text Classification: Is In-Context Learning Enough? [54.869097980761595]
最近の基礎言語モデルでは、ゼロショットや少数ショットの設定で多くのNLPタスクで最先端のパフォーマンスが示されている。
より標準的なアプローチよりもこれらのモデルの利点は、自然言語(prompts)で書かれた命令を理解する能力である。
これにより、アノテーション付きインスタンスが限られているドメインのテキスト分類問題に対処するのに適している。
論文 参考訳（メタデータ） (2024-03-26T12:47:39Z) - Autonomous Data Selection with Language Models for Mathematical Texts [13.789739307267952]
自律的なデータ選択に基礎言語モデルを活用する新しい戦略を導入する。
提案手法では,メタプロンプト言語モデルをゼロショット検証器として利用し,高品質な数学的コンテンツを自律的に評価・選択する。
本手法は,最先端のベースラインに比べて,トークンの事前学習効率が2倍に向上したことを示す。
論文 参考訳（メタデータ） (2024-02-12T13:09:21Z) - Answer Candidate Type Selection: Text-to-Text Language Model for Closed
Book Question Answering Meets Knowledge Graphs [62.20354845651949]
本稿では,この問題を解決するために,事前学習されたテキスト間QAシステム上で機能する新しいアプローチを提案する。
提案手法は,Wikidataの"instance_of"プロパティの型に基づいて,生成した候補のフィルタリングと再ランク付けを行う。
論文 参考訳（メタデータ） (2023-10-10T20:49:43Z) - Automating question generation from educational text [1.9325905076281444]
質問ベースの活動(QBA)の使用は、教育において広く普及しており、学習と評価プロセスの不可欠な部分を形成している。
学校における形式的・要約的評価のための自動質問生成ツールの設計と評価を行う。
論文 参考訳（メタデータ） (2023-09-26T15:18:44Z) - Promoting Open-domain Dialogue Generation through Learning Pattern
Information between Contexts and Responses [5.936682548344234]
本稿では,学習サンプルの文脈と応答の間の暗黙的なパターン情報を学ぶことにより,生成した応答の品質を向上させる。
また、文脈と応答間の暗黙的パターン情報をマイニングする応答認識機構を設計し、生成した応答をより多様でヒトの応答に近似するようにした。
論文 参考訳（メタデータ） (2023-09-06T08:11:39Z) - AES Systems Are Both Overstable And Oversensitive: Explaining Why And
Proposing Defenses [66.49753193098356]
スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。
のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。
高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
論文 参考訳（メタデータ） (2021-09-24T03:49:38Z) - Cooperative Learning of Zero-Shot Machine Reading Comprehension [9.868221447090855]
質問生成と回答のための協調的自己学習モデルを提案する。
注釈なしで任意のテキストコーポラで質問生成と回答モデルをトレーニングできます。
私たちのモデルは、標準質問応答ベンチマークで最先端の事前学習された言語モデルよりも優れています。
論文 参考訳（メタデータ） (2021-03-12T18:22:28Z) - SMART: A Situation Model for Algebra Story Problems via Attributed
Grammar [74.1315776256292]
本稿では, 問題解決における人間の精神状態を表現する心理学研究から生まれた, emphsituation modelの概念を紹介する。
提案モデルでは,より優れた解釈性を保ちながら,従来のすべてのニューラルソルバを大きなマージンで上回る結果が得られた。
論文 参考訳（メタデータ） (2020-12-27T21:03:40Z) - Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks [133.93803565077337]
検索強化生成モデルは、事前訓練されたパラメトリックメモリと非パラメトリックメモリを組み合わせて言語生成を行う。
我々は、RAGモデルが、最先端パラメトリックのみのセク2セックベースラインよりも、より具体的で、多様で、現実的な言語を生成することを示す。
論文 参考訳（メタデータ） (2020-05-22T21:34:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。