論文の概要: PyMETA: A Benchmark Dataset for Hierarchical Student Code Error Classification with Python-Interpreter-Based Labels

• arxiv url: http://arxiv.org/abs/2606.30610v1
• Date: Mon, 29 Jun 2026 17:45:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:16.368629
• Title: PyMETA: A Benchmark Dataset for Hierarchical Student Code Error Classification with Python-Interpreter-Based Labels
• Title（参考訳）: PyMETA: Python-Interpreter-based Labelsを用いた階層的学生コードエラー分類のためのベンチマークデータセット
• Abstract要約: PyMETAは、48,646人の学生が提出した大規模なPythonコードのエラー分類データセットである。 データセットは、バイナリエラー/非エラーから、Pythonの公式例外階層に根ざした14のきめ細かいエラータイプまで、3レベルの階層的な分類を使用する。 マルチエラープロンプトでは、最高のモデルであるGemini 2.5 Proが81.8%のマクロF1を達成する。
• 参考スコア（独自算出の注目度）: 12.735875537372486
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the advancement of Large Language Models (LLMs), code error detection has extended beyond traditional IDE diagnostics to context-sensitive debugging in educational scenarios. However, existing approaches lack large-scale datasets, multi-error analysis, and unified error taxonomies. To address this, we introduce PyMETA, a large-scale Python code error classification dataset of 48,646 student submissions, with single-error labels for all samples and a diagnostic subset of 97 expert-annotated multi-error samples. The dataset uses a three-level hierarchical taxonomy, from a binary error/no-error split down to 14 fine-grained error types grounded in Python's official exception hierarchy. We evaluate multi-level classification tasks on two finetuned models and four LLMs with prompting, comparing their classification performance and runtime cost. For multi-error prompting, the best model, Gemini 2.5 Pro, achieves 81.8% macro F1 under the "contains" criterion. We observe that: 1) prompted LLMs still underperform finetuned smaller models; 2) models exhibit significant disparities across error types; 3) most LLMs over-classify code as Logic Error, with GPT-3.5 showing the highest Logic Error Overprediction Rate and Gemini 2.5 Pro the lowest. Our work establishes a data foundation and provides insights for LLM-based code error research.
• Abstract（参考訳）: LLM(Large Language Models)の進歩により、コードエラー検出は従来のIDE診断を越えて、教育シナリオにおけるコンテキスト依存デバッグまで拡張された。 しかし、既存のアプローチには大規模なデータセット、マルチエラー分析、統一されたエラー分類がない。 PyMETAは,48,646名の学生が提出した大規模Pythonコードエラー分類データセットで,全サンプルの単一エラーラベルと97名のエキスパートアノテーション付きマルチエラーサンプルの診断サブセットを備える。 データセットは、バイナリエラー/非エラーから、Pythonの公式例外階層に根ざした14のきめ細かいエラータイプまで、3レベルの階層的な分類を使用する。 2つの微調整モデルと4つのLCMを用いたマルチレベル分類タスクの評価を行い、それらの分類性能と実行時コストを比較した。 マルチエラープロンプトでは、最高のモデルであるGemini 2.5 Proが81.8%のマクロF1を達成する。 私たちはそれを観察します。 1) LLMは、まだ微調整されたより小型のモデルに過小評価されている。 2) モデルは、エラータイプ間で大きな相違を示す。 GPT-3.5 は Logic Error Overprediction Rate が最も高く、Gemini 2.5 Pro は最低である。 我々の研究は、データ基盤を確立し、LLMベースのコードエラー研究の洞察を提供する。

関連論文リスト

• Correct Code, Vulnerable Dependencies: A Large Scale Measurement Study of LLM-Specified Library Versions [52.50730821321986]
  大規模言語モデル(LLM)におけるバージョンレベルのリスクの大規模評価を初めて行った。 我々は1000のStack OverflowプログラミングタスクのベンチマークであるPinTrace上で10のLLMを評価した。 LLM バージョン選択は LLM ベース開発における第1級, 以前は見落とされたリスクサーフェスとして確認された。
  論文  参考訳（メタデータ） (2026-05-07T13:52:59Z)
• ErrorLLM: Modeling SQL Errors for Text-to-SQL Refinement [57.98138819417949]
  テキスト・ツー・クエリを明示的にモデル化するフレームワークであるErrorLLMを提案する。 ErrorLLMは、バックボーンの初期生成よりも大幅に改善されていることを示す。 ErrorLLMは、精錬効率を維持しつつ、高い検出F1スコアで両面に対処する。
  論文  参考訳（メタデータ） (2026-03-04T05:27:20Z)
• ErrorMap and ErrorAtlas: Charting the Failure Landscape of Large Language Models [19.07658752853847]
  ErrorMapはLarge Language Models失敗の原因をグラフ化する最初の方法です。 モデルは独自の"障害シグネチャ"を抽出し、ベンチマークの計測値を明確にし、エラー識別を拡張して盲点を減らす。 この手法を35のデータセットと83のモデルに適用すると、モデルエラーの分類であるErrorAtlasを生成し、繰り返し発生する障害パターンを明らかにする。
  論文  参考訳（メタデータ） (2026-01-22T09:52:39Z)
• Where LLM Agents Fail and How They can Learn From Failures [62.196870049524364]
  大規模言語モデル(LLM)エージェントは、複雑なマルチステップタスクの解決において有望であることを示す。 単一ルート原因エラーがその後の決定を通じて伝播する、障害のカスケードに対する脆弱性を増幅する。 現在のシステムは、モジュール的で体系的な方法でエージェントエラーを包括的に理解できるフレームワークを欠いている。 AgentErrorTaxonomyは、メモリ、リフレクション、計画、アクション、システムレベルの操作にまたがる障害モードのモジュール分類である。
  論文  参考訳（メタデータ） (2025-09-29T18:20:27Z)
• Automated Type Annotation in Python Using Large Language Models [2.0686733932673604]
  我々はPythonで型アノテーションを生成するための生成チェック修復パイプラインを開発した。 ManyTypes4Pyベンチマークから6000のコードスニペット上で4つのLLM変種を評価する。 この結果から,汎用性および推論性に最適化されたLCMは一貫性のある型アノテーションを生成するのに有効であることが示された。
  論文  参考訳（メタデータ） (2025-08-01T08:24:14Z)
• GPT-4.1 Sets the Standard in Automated Experiment Design Using Novel Python Libraries [0.649540541957527]
  大規模言語モデル(LLM)は、科学研究におけるコード生成を自動化するツールとして急速に進歩してきた。 本研究では,関数型Pythonコードを生成する上で,最先端のLLMの選択を体系的にベンチマークする。 結果は、モデルの小さなサブセットだけが一貫して正しい実行可能なコードを生成することを示している。
  論文  参考訳（メタデータ） (2025-07-30T13:11:29Z)
• Tgea: An error-annotated dataset and benchmark tasks for text generation from pretrained language models [57.758735361535486]
  TGEAは、事前訓練された言語モデル(PLM)からテキストを生成するためのエラーアノテートデータセットである。 PLM生成文で発生する24種類の誤りを網羅する誤り分類を作成する。 PLM生成テキストに対する包括的なアノテーションを備えた最初のデータセットである。
  論文  参考訳（メタデータ） (2025-03-06T09:14:02Z)
• Error Classification of Large Language Models on Math Word Problems: A Dynamically Adaptive Framework [79.40678802098026]
  数学の単語問題は、大規模言語モデルの推論能力を評価するための重要なベンチマークとなる。 現在のエラー分類法は静的および事前定義されたカテゴリに依存している。 本稿では,共通なエラーパターンを明示的なガイダンスとして組み込んだEAP(Error-Aware Prompting)を提案する。
  論文  参考訳（メタデータ） (2025-01-26T16:17:57Z)
• Language Models are Better Bug Detector Through Code-Pair Classification [0.26107298043931204]
  本稿では,バグギー版とバグギー版の両方をモデルに付与するコードペア分類タスクを提案し,バグギー版とバグギー版を識別する。 実験によると、LLMはバグのないバージョンのコードからバグを拾うことができ、コードペアの分類タスクはスニペットを与え、バグが存在するかどうかを判断するよりもずっと簡単である。
  論文  参考訳（メタデータ） (2023-11-14T07:20:57Z)
• Annotating and Detecting Fine-grained Factual Errors for Dialogue Summarization [34.85353544844499]
  本稿では,DIASUMFACTというファクトエラーアノテーションを用いた最初のデータセットを提案する。 文レベルのマルチラベル分類問題として,ファクト・ファクト・エラー検出を定義する。 事前学習したエンコーダ-デコーダモデルを用いた候補ランキングによる教師なしモデルENDERANKERを提案する。
  論文  参考訳（メタデータ） (2023-05-26T00:18:33Z)
• TACRED Revisited: A Thorough Evaluation of the TACRED Relation Extraction Task [80.38130122127882]
  TACREDはリレーショナル抽出(RE)において最も大きく、最も広く使われているクラウドソースデータセットの1つである パフォーマンスの天井に到達したのか、改善の余地はあるのか? ラベルエラーは絶対F1テストエラーの8%を占めており、例の50%以上を可逆化する必要がある。
  論文  参考訳（メタデータ） (2020-04-30T15:07:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。