論文の概要: Runtime-Augmented LLMs for Crash Detection and Diagnosis in ML Notebooks

• arxiv url: http://arxiv.org/abs/2602.18537v1
• Date: Fri, 20 Feb 2026 13:19:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-24 17:42:02.150014
• Title: Runtime-Augmented LLMs for Crash Detection and Diagnosis in ML Notebooks
• Title（参考訳）: MLノートにおけるクラッシュ検出・診断のための実行時LLM
• Authors: Yiran Wang, José Antonio Hernández López, Ulf Nilsson, Dániel Varró,
• Abstract要約: CRANE-LLMは,ノートブックカーネル状態から抽出した構造化ランタイム情報を用いて大規模言語モデルを拡張し,クラッシュを検出し診断する手法である。 以前実行されたセルとターゲットセルが与えられた場合、CRANE-LLMは静的コードコンテキストとオブジェクトタイプ、テンソル形状、データ属性を含むランタイム情報を組み合わせて、ターゲットセルがクラッシュするかどうかを予測する。 CRANE-LLM on JunoBench, a benchmark of 222 ML notebooks with 111 pair of crashing and corresponding non-crashing notebooks。
• 参考スコア（独自算出の注目度）: 4.768285672660128
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Jupyter notebooks are widely used for machine learning (ML) development due to their support for interactive and iterative experimentation. However, ML notebooks are highly prone to bugs, with crashes being among the most disruptive. Despite their practical importance, systematic methods for crash detection and diagnosis in ML notebooks remain largely unexplored. We present CRANE-LLM, a novel approach that augments large language models (LLMs) with structured runtime information extracted from the notebook kernel state to detect and diagnose crashes before executing a target cell. Given previously executed cells and a target cell, CRANE-LLM combines static code context with runtime information, including object types, tensor shapes, and data attributes, to predict whether the target cell will crash (detection) and explain the underlying cause (diagnosis). We evaluate CRANE-LLM on JunoBench, a benchmark of 222 ML notebooks comprising 111 pairs of crashing and corresponding non-crashing notebooks across multiple ML libraries and crash root causes. Across three state-of-the-art LLMs (Gemini, Qwen, and GPT-5), runtime information improves crash detection and diagnosis by 7-10 percentage points in accuracy and 8-11 in F1-score, with larger gains for diagnosis. Improvements vary across ML libraries, crash causes, and LLMs, and depends on the integration of complementary categories of runtime information.
• Abstract（参考訳）: Jupyterノートブックは、インタラクティブで反復的な実験をサポートするため、機械学習(ML)開発に広く使用されている。 しかし、MLノートブックはバグが多いため、クラッシュは最も破壊的だ。 その実用的重要性にもかかわらず、MLノートブックのクラッシュ検出と診断の体系的手法はほとんど解明されていない。 CRANE-LLMは,ノートブックカーネル状態から抽出した構造化ランタイム情報を用いて大規模言語モデル(LLM)を拡張して,ターゲットセルの実行前にクラッシュを検出し,診断する手法である。 以前実行されたセルとターゲットセルが与えられた場合、CRANE-LLMは静的コードコンテキストとオブジェクトタイプ、テンソル形状、データ属性などの実行時情報を組み合わせて、ターゲットセルがクラッシュする(検出)かどうかを予測し、根本原因を説明する(診断)。 我々は,複数のMLライブラリにまたがる111対のクラッシュとそれに対応する非クラッシュノートからなる222のMLノートブックのベンチマークであるJunoBench上でのCRANE-LLMを評価する。 3つの最先端LCM(Gemini, Qwen, GPT-5)において、実行時情報により、精度が7-10ポイント、F1スコアが8-11ポイント向上し、診断精度が向上する。 改善はMLライブラリ、クラッシュ原因、LLMによって異なり、実行時の情報を補完するカテゴリの統合に依存している。

関連論文リスト

• Outrunning LLM Cutoffs: A Live Kernel Crash Resolution Benchmark for All [57.23434868678603]
  Live-kBenchは、新たに発見されたカーネルバグのエージェントをスクラップし、評価するセルフ進化ベンチマークの評価フレームワークである。 kEnvは、カーネルのコンパイル、実行、フィードバックのためのエージェントに依存しないクラッシュ解決環境である。 kEnvを用いて3つの最先端エージェントをベンチマークし、最初の試行で74%のクラッシュを解決したことを示す。
  論文  参考訳（メタデータ） (2026-02-02T19:06:15Z)
• InspectCoder: Dynamic Analysis-Enabled Self Repair through interactive LLM-Debugger Collaboration [71.18377595277018]
  大きな言語モデル(LLM)は、診断が難しい複雑なロジックエラーを伴うバグの多いコードを生成することが多い。 対話型デバッガ制御による動的解析を LLM に委ねる初のエージェントプログラム修復システムである InspectCoder を提案する。
  論文  参考訳（メタデータ） (2025-10-21T06:26:29Z)
• JunoBench: A Benchmark Dataset of Crashes in Python Machine Learning Jupyter Notebooks [4.768285672660128]
  JunoBenchは、PythonベースのMLノートブックにおける実世界のクラッシュのベンチマークデータセットである。 JunoBenchには111のキュレーションと再現可能なクラッシュが含まれている。
  論文  参考訳（メタデータ） (2025-10-20T18:46:43Z)
• CRABS: A syntactic-semantic pincer strategy for bounding LLM interpretation of Python notebooks [8.967739950302407]
  再実行によるノートブックの調査は、データとソフトウェアの曖昧さを解決する上での課題のため、現実的ではないことが多い。 我々は,Pythonノートブックの完全な理解を支援するために,限定構文解析を用いた戦略を開発する。 提案手法の有効性を,50個の代表的,高精細なKaggleノートの注釈付きデータセットを用いて評価し,実証した。
  論文  参考訳（メタデータ） (2025-07-15T21:14:08Z)
• Why do Machine Learning Notebooks Crash? An Empirical Study on Public Python Jupyter Notebooks [1.8292110434077904]
  GitHubとKaggleから92,542件のクラッシュを含む64,031件のノートを収集しています。 クラッシュタイプや根本原因など,さまざまな側面にわたる746件のクラッシュのサンプルを分析した。 クラッシュの40%以上は、APIの誤用とノートブック特有の問題によるものです。
  論文  参考訳（メタデータ） (2024-11-25T09:33:08Z)
• KGym: A Platform and Dataset to Benchmark Large Language Models on Linux Kernel Crash Resolution [59.20933707301566]
  大規模言語モデル(LLM)は、ますます現実的なソフトウェア工学(SE)タスクにおいて一貫して改善されている。 現実世界のソフトウェアスタックでは、Linuxカーネルのような基本的なシステムソフトウェアの開発にSEの取り組みが費やされています。 このような大規模システムレベルのソフトウェアを開発する際にMLモデルが有用かどうかを評価するため、kGymとkBenchを紹介する。
  論文  参考訳（メタデータ） (2024-07-02T21:44:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。