論文の概要: Navigating Pitfalls: Evaluating LLMs in Machine Learning Programming Education

• arxiv url: http://arxiv.org/abs/2505.18220v1
• Date: Fri, 23 May 2025 08:39:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.224941
• Title: Navigating Pitfalls: Evaluating LLMs in Machine Learning Programming Education
• Title（参考訳）: 落とし穴をナビゲートする - 機械学習プログラミング教育におけるLLMの評価
• Authors: Smitha Kumar, Michael A. Lones, Manuel Maarek, Hind Zantout,
• Abstract要約: 本研究では,機械学習教育における学習支援における大規模言語モデルの利用について検討する。 機械学習コードにおけるプラクティスの一般的なエラーを識別するLLMの機能と、学習をガイドできるフィードバックを提供する能力に焦点を当てている。
• 参考スコア（独自算出の注目度）: 2.9248916859490173
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid advancement of Large Language Models (LLMs) has opened new avenues in education. This study examines the use of LLMs in supporting learning in machine learning education; in particular, it focuses on the ability of LLMs to identify common errors of practice (pitfalls) in machine learning code, and their ability to provide feedback that can guide learning. Using a portfolio of code samples, we consider four different LLMs: one closed model and three open models. Whilst the most basic pitfalls are readily identified by all models, many common pitfalls are not. They particularly struggle to identify pitfalls in the early stages of the ML pipeline, especially those which can lead to information leaks, a major source of failure within applied ML projects. They also exhibit limited success at identifying pitfalls around model selection, which is a concept that students often struggle with when first transitioning from theory to practice. This questions the use of current LLMs to support machine learning education, and also raises important questions about their use by novice practitioners. Nevertheless, when LLMs successfully identify pitfalls in code, they do provide feedback that includes advice on how to proceed, emphasising their potential role in guiding learners. We also compare the capability of closed and open LLM models, and find that the gap is relatively small given the large difference in model sizes. This presents an opportunity to deploy, and potentially customise, smaller more efficient LLM models within education, avoiding risks around cost and data sharing associated with commercial models.
• Abstract（参考訳）: LLM(Large Language Models)の急速な進歩は、新しい教育の道を開いた。 本研究では、機械学習教育における学習支援におけるLLMの使用について検討し、特に、機械学習コードにおける実践(落とし穴)の一般的な誤りを識別するLLMの機能と、学習をガイドできるフィードバックを提供する能力に焦点を当てた。 コードサンプルのポートフォリオを使用して、私たちは4つの異なるLCM、すなわち1つのクローズドモデルと3つのオープンモデルを検討します。 最も基本的な落とし穴は容易に全てのモデルによって識別されるが、多くの一般的な落とし穴はそうではない。 彼らは特に、MLパイプラインの初期段階、特に応用MLプロジェクトの主要な失敗源である情報漏洩につながる可能性のある落とし穴を特定するのに苦労している。 また、モデル選択に関する落とし穴を特定することには限界があり、これは学生が理論から実践へ移行する際にしばしば苦労する概念である。 このことは、機械学習教育を支援するために現在のLLMを使うことに疑問を投げかけるとともに、初心者の実践者による彼らの使用に関する重要な疑問を提起する。 それでも、LLMがコード内の落とし穴の特定に成功すると、どのように進むべきかというアドバイスを含むフィードバックが提供され、学習者の指導における潜在的な役割を強調します。 また, LLMモデルと閉LLMモデルの比較を行い, モデルサイズに大きな差があることから, 差が比較的小さいことを見出した。 これにより、教育においてより効率のよいLCMモデルをデプロイし、カスタマイズする機会が得られ、商用モデルに関連するコストやデータ共有に関するリスクを回避することができる。

関連論文リスト

• Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs [60.40396361115776]
  本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。 パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。 ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
  論文  参考訳（メタデータ） (2024-02-19T11:11:08Z)
• Beyond Answers: Transferring Reasoning Capabilities to Smaller LLMs Using Multi-Teacher Knowledge Distillation [23.736611338497244]
  TinyLLMは、複数の大規模LLMから小学生のLLMを学ぶための新しい知識蒸留パラダイムである。 そこで本研究では,文脈的に適切なシナリオにおいて,理科が正確で基礎が整っていることを保証するために,文脈内サンプル生成と教師強制型Chain-of-Thought戦略を導入する。 その結果,TinyLLMはモデルサイズがかなり小さいにもかかわらず,大きなLLMよりも優れていた。
  論文  参考訳（メタデータ） (2024-02-07T06:48:24Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• Distilling Rule-based Knowledge into Large Language Models [90.7765003679106]
  私たちは、人間がルールから学習することで、新しいタスクや知識を別の方法で学習できることにインスピレーションを受けています。 まず, LLMの強い文脈内能力を用いて, テキスト規則から知識を抽出する規則蒸留法を提案する。 実験の結果, LLMをルールから学習させることは, サンプルサイズと一般化能力の両方において, サンプルベース学習よりもはるかに効率的であることがわかった。
  論文  参考訳（メタデータ） (2023-11-15T11:42:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。