論文の概要: Why do Machine Learning Notebooks Crash?

• arxiv url: http://arxiv.org/abs/2411.16795v1
• Date: Mon, 25 Nov 2024 09:33:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:36:44.246739
• Title: Why do Machine Learning Notebooks Crash?
• Title（参考訳）: なぜ機械学習ノートブックがクラッシュするのか?
• Authors: Yiran Wang, Willem Meijer, José Antonio Hernández López, Ulf Nilsson, Dániel Varró,
• Abstract要約: GitHubとKaggleから92,542回のクラッシュを含む64,031のMLノートブックを収集します。 例外タイプや根本原因など,さまざまな側面にわたる746件のクラッシュのサンプルを分析した。 我々の分析によると、クラッシュの87%は、APIの誤用、データ混乱、ノートブック固有の問題、環境問題、実装エラーによって引き起こされている。
• 参考スコア（独自算出の注目度）: 1.8292110434077904
• License:
• Abstract: Jupyter notebooks have become central in data science, integrating code, text and output in a flexible environment. With the rise of machine learning (ML), notebooks are increasingly used for ML prototyping and data analysis. However, due to their dependence on complex ML libraries and the flexible notebook semantics that allow cells to be run in any order, notebooks are susceptible to software bugs that may lead to program crashes. This paper presents a comprehensive empirical study focused on crashes in ML notebooks. We collect 64,031 ML notebooks containing 92,542 crashes from GitHub and Kaggle, and manually analyze a sample of 746 crashes across various aspects, including exception types and root causes. Our analysis highlights unique root causes related to notebook semantics, including out-of-order execution and previous cell error, that have not been thoroughly covered in earlier research. Furthermore, we categorize crashes as ML bugs or general Python bugs and examine how the crashes are distributed across different stages of the ML pipeline. Our analysis reveals that 87% of crashes are caused by API misuse, data confusion, notebook-specific issues, environment problems, and implementation errors. Crashes are more commonly related to ML bugs than general Python bugs, particularly in Kaggle notebooks, where over 70% of crashes are ML-related. The distribution of crashes across ML pipeline stages differs between the two platforms. Additionally, most crashes (58%) occur during data preparation, model training, and evaluation/prediction stages of the ML pipeline. GitHub and Kaggle exhibit different crash distributions across these stages.
• Abstract（参考訳）: Jupyterノートブックはデータサイエンスの中心となり、柔軟性のある環境でコード、テキスト、出力を統合する。 機械学習(ML)の台頭に伴い、ノートブックはますますMLプロトタイピングやデータ分析に使われている。 しかしながら、複雑なMLライブラリへの依存と、任意の順序でセルを実行できるフレキシブルなノートブックセマンティクスのため、ノートブックは、プログラムのクラッシュにつながる可能性のあるソフトウェアのバグの影響を受けやすい。 本稿では,MLノートブックのクラッシュに着目した総合的研究について述べる。 GitHubとKaggleから92,542件のクラッシュを含む64,031件のMLノートブックを収集し、例外タイプやルート原因など、さまざまな側面にわたる746件のクラッシュのサンプルを手動で分析します。 我々の分析では、ノートブックのセマンティクスにまつわるユニークな原因、例えば、アウト・オブ・オー・オー・オー・アウト・実行や、以前のセルエラーが、これまでの研究で完全にカバーされていない点を強調した。 さらに、クラッシュをMLバグまたは一般的なPythonバグに分類し、クラッシュがどのようにMLパイプラインの異なるステージに分散されているかを調べる。 我々の分析によると、クラッシュの87%は、APIの誤用、データ混乱、ノートブック固有の問題、環境問題、実装エラーによって引き起こされている。 クラッシュは一般的なPythonバグよりもMLバグと関連している。特にKaggleノートブックでは、クラッシュの70%以上がML関連である。 MLパイプラインステージ間のクラッシュの分布は、2つのプラットフォームによって異なる。 さらに、ほとんどのクラッシュ(58%)は、データ準備、モデルトレーニング、MLパイプラインの評価/予測段階で発生します。 GitHubとKaggleは、これらのステージでさまざまなクラッシュディストリビューションを見せている。

関連論文リスト

• InternLM2.5-StepProver: Advancing Automated Theorem Proving via Expert Iteration on Large-Scale LEAN Problems [47.93470713879515]
  InternLM2.5-SteperはMiniF2F、Lean-Workbook-Plus、ProofNet、Patnamベンチマークのオープンソースステート・オブ・ザ・アートを実現している。 MiniF2Fテストでは65.9%をパスし、Lean-Workbook-Plusの17.0%の問題を証明(あるいは否定)している。
  論文  参考訳（メタデータ） (2024-10-21T07:18:23Z)
• KGym: A Platform and Dataset to Benchmark Large Language Models on Linux Kernel Crash Resolution [59.20933707301566]
  大規模言語モデル(LLM)は、ますます現実的なソフトウェア工学(SE)タスクにおいて一貫して改善されている。 現実世界のソフトウェアスタックでは、Linuxカーネルのような基本的なシステムソフトウェアの開発にSEの取り組みが費やされています。 このような大規模システムレベルのソフトウェアを開発する際にMLモデルが有用かどうかを評価するため、kGymとkBenchを紹介する。
  論文  参考訳（メタデータ） (2024-07-02T21:44:22Z)
• Learning Traffic Crashes as Language: Datasets, Benchmarks, and What-if Causal Analyses [76.59021017301127]
  我々は,CrashEventという大規模トラフィッククラッシュ言語データセットを提案し,実世界のクラッシュレポート19,340を要約した。 さらに,クラッシュイベントの特徴学習を,新たなテキスト推論問題として定式化し,さらに様々な大規模言語モデル(LLM)を微調整して,詳細な事故結果を予測する。 実験の結果, LLMに基づくアプローチは事故の重大度を予測できるだけでなく, 事故の種類を分類し, 損害を予測できることがわかった。
  論文  参考訳（メタデータ） (2024-06-16T03:10:16Z)
• CrashTranslator: Automatically Reproducing Mobile Application Crashes Directly from Stack Trace [30.48737611250448]
  本稿では,モバイルアプリケーションのクラッシュを自動的にスタックトレースから直接再現するCrashTranslatorという手法を提案する。 CrashTranslatorを58のAndroidアプリを含む75のクラッシュレポートで評価し、61.3%のクラッシュを再現しました。
  論文  参考訳（メタデータ） (2023-10-11T02:00:18Z)
• Can Large Language Models Infer Causation from Correlation? [104.96351414570239]
  大規模言語モデル(LLM)の純粋因果推論スキルをテストする。 相関文の集合を取り、変数間の因果関係を決定する新しいタスクCorr2Causeを定式化する。 これらのモデルがタスクのランダムな性能にほぼ近い結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-09T12:09:15Z)
• What Causes Exceptions in Machine Learning Applications? Mining Machine Learning-Related Stack Traces on Stack Overflow [6.09414932258309]
  Stack Overflow上で7つの人気のあるPython MLライブラリに関連する11,449のスタックトレースを調査した。 スタックトレースを含むML質問は、スタックトレースのない質問よりも人気がある。 サブプロセス呼び出し、外部モジュール実行、リモートAPI呼び出しに関連するパターンは、受け入れられる可能性が低い。
  論文  参考訳（メタデータ） (2023-04-25T14:29:07Z)
• OmniXAI: A Library for Explainable AI [98.07381528393245]
  eXplainable AI(XAI)のオープンソースPythonライブラリであるOmniXAIを紹介する。 オールニウェイで説明可能なAI機能と、さまざまな解釈可能な機械学習技術を提供する。 実践者にとってこのライブラリは、アプリケーションの説明を生成するために、使いやすく統合されたインターフェースを提供する。
  論文  参考訳（メタデータ） (2022-06-01T11:35:37Z)
• Pynblint: a Static Analyzer for Python Jupyter Notebooks [10.190501703364234]
  Pynblintは、Pythonで書かれたJupyterノートブックの静的アナライザである。 経験的に検証されたベストプラクティスのセットで、ノートブック(および周辺のリポジトリ)のコンプライアンスをチェックする。
  論文  参考訳（メタデータ） (2022-05-24T09:56:03Z)
• Large-scale Crash Localization using Multi-Task Learning [3.4383679424643456]
  我々は,スタックトレースにおける非難フレームを識別するための,新しいマルチタスクシーケンスラベリング手法を開発した。 当社のモデルは、4つの人気のあるMicrosoftアプリケーションから100万以上の現実世界のクラッシュで評価しています。
  論文  参考訳（メタデータ） (2021-09-29T10:26:57Z)
• S3M: Siamese Stack (Trace) Similarity Measure [55.58269472099399]
  本稿では、深層学習に基づくスタックトレースの類似性を計算する最初のアプローチであるS3Mを紹介します。 BiLSTMエンコーダと、類似性を計算するための完全接続型分類器をベースとしている。 私たちの実験は、オープンソースデータとプライベートなJetBrainsデータセットの両方において、最先端のアプローチの優位性を示しています。
  論文  参考訳（メタデータ） (2021-03-18T21:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。