論文の概要: Algebra Error Classification with Large Language Models
- arxiv url: http://arxiv.org/abs/2305.06163v1
- Date: Mon, 8 May 2023 15:51:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-11 12:54:15.837844
- Title: Algebra Error Classification with Large Language Models
- Title（参考訳）: 大規模言語モデルを用いた代数誤り分類
- Authors: Hunter McNichols, Mengxue Zhang, Andrew Lan
- Abstract要約: 本稿では,事前学習された大規模言語モデルを用いた誤り分類のための柔軟な手法を提案する。
本手法は代数学的誤り分類において既存の手法より優れていることを示す。
- 参考スコア（独自算出の注目度）: 1.2461503242570642
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automated feedback as students answer open-ended math questions has
significant potential in improving learning outcomes at large scale. A key part
of automated feedback systems is an error classification component, which
identifies student errors and enables appropriate, predefined feedback to be
deployed. Most existing approaches to error classification use a rule-based
method, which has limited capacity to generalize. Existing data-driven methods
avoid these limitations but specifically require mathematical expressions in
student responses to be parsed into syntax trees. This requirement is itself a
limitation, since student responses are not always syntactically valid and
cannot be converted into trees. In this work, we introduce a flexible method
for error classification using pre-trained large language models. We
demonstrate that our method can outperform existing methods in algebra error
classification, and is able to classify a larger set of student responses.
Additionally, we analyze common classification errors made by our method and
discuss limitations of automated error classification.
- Abstract（参考訳）: 学生がオープンエンド数学の質問に答える際の自動フィードバックは、大規模に学習結果を改善する上で大きな可能性を秘めている。
自動フィードバックシステムの重要な部分は、学生のエラーを特定し、適切に定義されたフィードバックをデプロイできるエラー分類コンポーネントである。
既存のエラー分類手法の多くはルールベースの手法を用いており、一般化する能力は限られている。
既存のデータ駆動手法はこれらの制限を回避するが、特に学生応答の数学的表現を構文木に解析する必要がある。
生徒の反応は常に構文的に有効であり、木に変換できないため、この要件自体は制限である。
本稿では,事前学習した大規模言語モデルを用いた誤り分類のための柔軟な手法を提案する。
本手法は,代数的誤り分類において既存の手法を上回ることができ,より大規模な学生応答を分類できることを実証する。
また,本手法による共通分類誤差を分析し,誤りの自動分類の限界について考察する。
関連論文リスト
- Bisimulation Learning [55.859538562698496]
我々は、大きな、潜在的に無限の状態空間を持つ状態遷移系の有限バイシミュレートを計算する。
提案手法は,実際に行われている他の最先端ツールよりも高速な検証結果が得られる。
論文 参考訳（メタデータ） (2024-05-24T17:11:27Z) - Understanding and Mitigating Classification Errors Through Interpretable
Token Patterns [58.91023283103762]
容易に解釈可能な用語でエラーを特徴付けることは、分類器が体系的なエラーを起こす傾向にあるかどうかを洞察する。
正しい予測と誤予測を区別するトークンのパターンを発見することを提案する。
提案手法であるPremiseが実際によく動作することを示す。
論文 参考訳（メタデータ） (2023-11-18T00:24:26Z) - Mitigating Word Bias in Zero-shot Prompt-based Classifiers [55.60306377044225]
一致したクラス先行は、オラクルの上界性能と強く相関していることを示す。
また,NLPタスクに対するプロンプト設定において,一貫したパフォーマンス向上を示す。
論文 参考訳（メタデータ） (2023-09-10T10:57:41Z) - Probabilistic Safety Regions Via Finite Families of Scalable Classifiers [2.431537995108158]
監視された分類は、データのパターンを認識して、振る舞いのクラスを分離する。
正準解は、機械学習の数値近似の性質に固有の誤分類誤差を含む。
本稿では,確率論的安全性領域の概念を導入し,入力空間のサブセットとして,誤分類されたインスタンスの数を確率論的に制御する手法を提案する。
論文 参考訳（メタデータ） (2023-09-08T22:40:19Z) - Misclassification in Automated Content Analysis Causes Bias in
Regression. Can We Fix It? Yes We Can! [0.30693357740321775]
我々は,コミュニケーション学者が誤分類バイアスをほとんど無視していることを,体系的な文献レビューで示している。
既存の統計手法では、人間のアノテータによって作成されたような「金の標準」検証データを使って誤分類バイアスを補正することができる。
我々は、Rパッケージの誤分類モデルの設計と実装を含む、そのような手法を導入し、テストする。
論文 参考訳（メタデータ） (2023-07-12T23:03:55Z) - Review of Methods for Handling Class-Imbalanced in Classification
Problems [0.0]
場合によっては、あるクラスはほとんどの例を含むが、他方はより重要なクラスであり、しかしながら、少数の例で表される。
本稿では、データレベル、アルゴリズムレベル、ハイブリッド、コスト感受性学習、ディープラーニングを含む、クラス不均衡による学習の問題に対処する最も広く使われている手法について検討する。
論文 参考訳（メタデータ） (2022-11-10T10:07:10Z) - Learning from Multiple Unlabeled Datasets with Partial Risk
Regularization [80.54710259664698]
本稿では,クラスラベルを使わずに正確な分類器を学習することを目的とする。
まず、与えられたラベルのない集合から推定できる分類リスクの偏りのない推定器を導出する。
その結果、経験的リスクがトレーニング中に負になるにつれて、分類器が過度に適合する傾向があることが判明した。
実験により,本手法は,複数の未ラベル集合から学習する最先端の手法を効果的に緩和し,性能を向上することを示した。
論文 参考訳（メタデータ） (2022-07-04T16:22:44Z) - Determination of class-specific variables in nonparametric
multiple-class classification [0.0]
確率に基づく非パラメトリックな多重クラス分類法を提案し、それを個々のクラスに対して高い影響変数を識別する能力と統合する。
提案手法の特性を報告し, 合成データと実データの両方を用いて, 異なる分類条件下での特性を説明する。
論文 参考訳（メタデータ） (2022-05-07T10:08:58Z) - Automatic Classification of Error Types in Solutions to Programming
Assignments at Online Learning Platform [4.028503203417233]
プログラムの代入に対する自動検証システムのフィードバックを改善するため,機械学習手法を適用した。
我々は、以前に提出された不正なソリューションをクラスタリングし、これらのクラスタをラベル付けし、このラベル付きデータセットを使用して、新しいサブミッションにおけるエラーのタイプを特定することで、頻繁なエラータイプを検出する。
論文 参考訳（メタデータ） (2021-07-13T11:59:57Z) - Theoretical Insights Into Multiclass Classification: A High-dimensional
Asymptotic View [82.80085730891126]
線形多クラス分類の最初の現代的精度解析を行う。
分析の結果,分類精度は分布に依存していることがわかった。
得られた洞察は、他の分類アルゴリズムの正確な理解の道を開くかもしれない。
論文 参考訳（メタデータ） (2020-11-16T05:17:29Z) - Structured Prediction with Partial Labelling through the Infimum Loss [85.4940853372503]
弱い監督の目標は、収集コストの安いラベル付け形式のみを使用してモデルを学習できるようにすることである。
これは、各データポイントに対して、実際のものを含むラベルのセットとして、監督がキャストされる不完全なアノテーションの一種です。
本稿では、構造化された予測と、部分的なラベリングを扱うための無限損失の概念に基づく統一的なフレームワークを提供する。
論文 参考訳（メタデータ） (2020-03-02T13:59:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。