論文の概要: Navigating Pitfalls: Evaluating LLMs in Machine Learning Programming Education

• arxiv url: http://arxiv.org/abs/2505.18220v1
• Date: Fri, 23 May 2025 08:39:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.224941
• Title: Navigating Pitfalls: Evaluating LLMs in Machine Learning Programming Education
• Title（参考訳）: 落とし穴をナビゲートする - 機械学習プログラミング教育におけるLLMの評価
• Authors: Smitha Kumar, Michael A. Lones, Manuel Maarek, Hind Zantout,
• Abstract要約: 本研究では,機械学習教育における学習支援における大規模言語モデルの利用について検討する。 機械学習コードにおけるプラクティスの一般的なエラーを識別するLLMの機能と、学習をガイドできるフィードバックを提供する能力に焦点を当てている。
• 参考スコア（独自算出の注目度）: 2.9248916859490173
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid advancement of Large Language Models (LLMs) has opened new avenues in education. This study examines the use of LLMs in supporting learning in machine learning education; in particular, it focuses on the ability of LLMs to identify common errors of practice (pitfalls) in machine learning code, and their ability to provide feedback that can guide learning. Using a portfolio of code samples, we consider four different LLMs: one closed model and three open models. Whilst the most basic pitfalls are readily identified by all models, many common pitfalls are not. They particularly struggle to identify pitfalls in the early stages of the ML pipeline, especially those which can lead to information leaks, a major source of failure within applied ML projects. They also exhibit limited success at identifying pitfalls around model selection, which is a concept that students often struggle with when first transitioning from theory to practice. This questions the use of current LLMs to support machine learning education, and also raises important questions about their use by novice practitioners. Nevertheless, when LLMs successfully identify pitfalls in code, they do provide feedback that includes advice on how to proceed, emphasising their potential role in guiding learners. We also compare the capability of closed and open LLM models, and find that the gap is relatively small given the large difference in model sizes. This presents an opportunity to deploy, and potentially customise, smaller more efficient LLM models within education, avoiding risks around cost and data sharing associated with commercial models.
• Abstract（参考訳）: LLM(Large Language Models)の急速な進歩は、新しい教育の道を開いた。 本研究では、機械学習教育における学習支援におけるLLMの使用について検討し、特に、機械学習コードにおける実践(落とし穴)の一般的な誤りを識別するLLMの機能と、学習をガイドできるフィードバックを提供する能力に焦点を当てた。 コードサンプルのポートフォリオを使用して、私たちは4つの異なるLCM、すなわち1つのクローズドモデルと3つのオープンモデルを検討します。 最も基本的な落とし穴は容易に全てのモデルによって識別されるが、多くの一般的な落とし穴はそうではない。 彼らは特に、MLパイプラインの初期段階、特に応用MLプロジェクトの主要な失敗源である情報漏洩につながる可能性のある落とし穴を特定するのに苦労している。 また、モデル選択に関する落とし穴を特定することには限界があり、これは学生が理論から実践へ移行する際にしばしば苦労する概念である。 このことは、機械学習教育を支援するために現在のLLMを使うことに疑問を投げかけるとともに、初心者の実践者による彼らの使用に関する重要な疑問を提起する。 それでも、LLMがコード内の落とし穴の特定に成功すると、どのように進むべきかというアドバイスを含むフィードバックが提供され、学習者の指導における潜在的な役割を強調します。 また, LLMモデルと閉LLMモデルの比較を行い, モデルサイズに大きな差があることから, 差が比較的小さいことを見出した。 これにより、教育においてより効率のよいLCMモデルをデプロイし、カスタマイズする機会が得られ、商用モデルに関連するコストやデータ共有に関するリスクを回避することができる。

関連論文リスト

• PULSE: Practical Evaluation Scenarios for Large Multimodal Model Unlearning [27.16106173526184]
  LMMのための現実的な未学習シナリオのためのPULSEプロトコルを提案する。 そして、これらの次元に沿って既存の未学習手法を評価する。 以上の結果から,いくつかの技術は微調整によって習得した知識を学べるが,事前学習中に学習した情報の除去に苦慮していることが明らかとなった。
  論文  参考訳（メタデータ） (2025-07-02T01:13:08Z)
• Large Language Model Unlearning for Source Code [65.42425213605114]
  PRODは、LLMがコード生成能力を保ちながら、望ましくないコード内容を忘れることができる新しいアンラーニングアプローチである。 本評価は,既存の未学習アプローチと比較して,忘れ品質とモデルユーティリティのバランスが良好であることを示す。
  論文  参考訳（メタデータ） (2025-06-20T16:27:59Z)
• Learnware of Language Models: Specialized Small Language Models Can Do Big [50.285859986475394]
  本稿では,学習用パラダイムを言語モデルに適用するための予備的試みを示す。 我々は,8Bパラメータを持つ特殊SLMの学習装置を約100個構成した学習装置をシミュレートした。 各タスク固有の推論に対して1つの適切な学習ウェアを選択することで、システムは全てのベンチマークでベースSLMよりも優れる。
  論文  参考訳（メタデータ） (2025-05-19T17:54:35Z)
• SEUF: Is Unlearning One Expert Enough for Mixture-of-Experts LLMs? [35.237427998489785]
  我々は,Mixture-of-Experts (MoE) LLMのためのSEUF(Selected-Expert Unlearning Framework)を提案する。 専門家の帰属を通じて、未学習は特定の知識に対する最も活発な専門家に集中する。 SEUFは様々な標準のアンラーニングアルゴリズムと互換性がある。
  論文  参考訳（メタデータ） (2024-11-27T22:46:08Z)
• Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs [60.40396361115776]
  本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。 パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。 ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
  論文  参考訳（メタデータ） (2024-02-19T11:11:08Z)
• Beyond Answers: Transferring Reasoning Capabilities to Smaller LLMs Using Multi-Teacher Knowledge Distillation [23.736611338497244]
  TinyLLMは、複数の大規模LLMから小学生のLLMを学ぶための新しい知識蒸留パラダイムである。 そこで本研究では,文脈的に適切なシナリオにおいて,理科が正確で基礎が整っていることを保証するために,文脈内サンプル生成と教師強制型Chain-of-Thought戦略を導入する。 その結果,TinyLLMはモデルサイズがかなり小さいにもかかわらず,大きなLLMよりも優れていた。
  論文  参考訳（メタデータ） (2024-02-07T06:48:24Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• Distilling Rule-based Knowledge into Large Language Models [90.7765003679106]
  私たちは、人間がルールから学習することで、新しいタスクや知識を別の方法で学習できることにインスピレーションを受けています。 まず, LLMの強い文脈内能力を用いて, テキスト規則から知識を抽出する規則蒸留法を提案する。 実験の結果, LLMをルールから学習させることは, サンプルサイズと一般化能力の両方において, サンプルベース学習よりもはるかに効率的であることがわかった。
  論文  参考訳（メタデータ） (2023-11-15T11:42:41Z)
• Democratizing Reasoning Ability: Tailored Learning from Large Language Model [97.4921006089966]
  そこで我々は,そのような推論能力をより小さなLMに蒸留する,適切な学習手法を提案する。 対話型多ラウンド学習パラダイムを構築することにより,理科教員としてのLLMの可能性を活用する。 より小さなLMの推論可能性を活用するために,学生が自作ミスから学習する動機付けを目的とした自己回帰学習を提案する。
  論文  参考訳（メタデータ） (2023-10-20T07:50:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。