論文の概要: Automated Modernization of Machine Learning Engineering Notebooks for Reproducibility
- arxiv url: http://arxiv.org/abs/2602.07195v1
- Date: Fri, 06 Feb 2026 21:03:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-10 20:26:24.496853
- Title: Automated Modernization of Machine Learning Engineering Notebooks for Reproducibility
- Title(参考訳): 再現性のための機械学習工学ノートの自動近代化
- Authors: Bihui Jin, Kaiyuan Wang, Pengyu Nie,
- Abstract要約: 環境侵食は、現代の環境では再現不可能な多くのMLEノートを公表した。
MLEModernizerは、現代環境を固定制約として扱い、ノートコードを近代化して復元するエージェントフレームワークである。
- 参考スコア(独自算出の注目度): 2.9397140047148014
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Interactive computational notebooks (e.g., Jupyter notebooks) are widely used in machine learning engineering (MLE) to program and share end-to-end pipelines, from data preparation to model training and evaluation. However, environment erosion-the rapid evolution of hardware and software ecosystems for machine learning-has rendered many published MLE notebooks non-reproducible in contemporary environments, hindering code reuse and scientific progress. To quantify this gap, we study 12,720 notebooks mined from 79 popular Kaggle competitions: only 35.4% remain reproducible today. Crucially, we find that environment backporting, i.e., downgrading dependencies to match the submission time, does not improve reproducibility but rather introduces additional failure modes. To address environment erosion, we design and implement MLEModernizer, an LLM-driven agentic framework that treats the contemporary environment as a fixed constraint and modernizes notebook code to restore reproducibility. MLEModernizer iteratively executes notebooks, collects execution feedback, and applies targeted fixes in three types: error-repair, runtime-reduction, and score-calibration. Evaluated on 7,402 notebooks that are non-reproducible under the baseline environment, MLEModernizer makes 5,492 (74.2%) reproducible. MLEModernizer enables practitioners to validate, reuse, and maintain MLE artifacts as the hardware and software ecosystems continue to evolve.
- Abstract(参考訳): インタラクティブな計算ノートブック(例えばJupyterノートブック)は、データ準備からモデルトレーニング、評価に至るまで、エンドツーエンドのパイプラインをプログラムし、共有するために機械学習エンジニアリング(MLE)で広く使用されている。
しかし、環境浸食 - 機械学習のためのハードウェアとソフトウェアのエコシステムの急速な進化-は、多くのMLEノートブックを現代の環境では再現できないものにし、コードの再利用や科学的進歩を妨げた。
このギャップを定量化するために、79の人気のあるKaggleコンペティションから採掘された12,720のノートを調査した。
重要なことは、環境のバックポート、すなわち、提出時間に合うように依存関係を格下げすることは、再現性を改善するのではなく、追加の障害モードを導入することである。
環境侵食に対処するため,現代環境を一定の制約として扱い,再現性を取り戻すためにノートコードを近代化するLLM駆動のエージェントフレームワークであるMLEModernizerを設計,実装した。
MLEModernizerはノートブックを反復的に実行し、実行フィードバックを収集し、ターゲットとなる修正を3つのタイプに適用する。
ベースライン環境下では再現できない7,402枚のノートに評価され、MLEModernizerは5,492 (74.2%)の再現性を持つ。
MLEModernizerは、ハードウェアとソフトウェアのエコシステムが進化を続けるにつれて、MLEアーティファクトの検証、再利用、メンテナンスを可能にする。
関連論文リスト
- Environment-Aware Code Generation: How far are We? [52.69113158357018]
大規模言語モデル(LLM)がユーザの特定の環境に適した実行可能コードを確実に生成できるかどうかは不明である。
本稿では,環境対応コード生成(EACG)の最初の体系的研究について述べる。
その結果,現在のLLMは環境固有のコード生成に苦しむ一方で,環境の適合性や実行性も向上していることがわかった。
論文 参考訳(メタデータ) (2026-01-18T04:58:15Z) - When Are Reactive Notebooks Not Reactive? [2.1328771260762758]
リアクティブノートブックシステムは、修正時に最小限のセルを再実行することによって、ノートブック状態を現在のセルコードと同期するように努力する。
本稿では,リアクティブノートシステム内での反応性機能について議論し,評価を行うための詳細なテストスイートであるRexを提案する。
論文 参考訳(メタデータ) (2025-11-27T00:43:27Z) - Bridging the Prototype-Production Gap: A Multi-Agent System for Notebooks Transformation [0.0]
本稿では,JupyterノートブックをPythonコードリポジトリに自動的に変換する,新しいマルチエージェントシステムであるCodelevateを提案する。
私たちのシステムでは,アーキテクチャの一貫性とコード品質を保証するために,アーキテクチャ,開発者,構造という3つの専門エージェントを共用する。
論文 参考訳(メタデータ) (2025-11-10T16:05:10Z) - QiMeng-NeuComBack: Self-Evolving Translation from IR to Assembly Code [52.66657751895655]
大規模言語モデル(LLM)は、ニューラルコンパイルという魅力的な新しいパラダイムを提供する。
本稿では,IR-to-assemblyコンパイル用に設計された新しいベンチマークデータセットであるNeuComBackを紹介する。
LLMの内部的なプロンプト戦略を進化させる自己進化的プロンプト最適化法を提案する。
論文 参考訳(メタデータ) (2025-11-03T03:20:26Z) - PIPer: On-Device Environment Setup via Online Reinforcement Learning [74.52354321028493]
自動化された環境設定メソッドは、任意のリポジトリに対して、手作業なしで完全に構成された環境を提供することで、開発者を支援することができる。
近年の研究では、最先端のLarge Language Models (LLMs) でさえ、このタスクの自動化に限られた成功をおさめていることが明らかになっている。
我々は、正しいスクリプトを生成するための教師付き微調整と、環境設定のタスクに適応するために、Reinforcement Learning with Verifiable Rewards(RLVR)を組み合わせる。
EnvBench-Python では,より大型の Qwen3-32B や GPT-4 と同等に動作可能な Qwen3-8B (コンシューマハードウェア上で動作可能なモデル) を実現する。
論文 参考訳(メタデータ) (2025-09-29T20:03:05Z) - MLE-Dojo: Interactive Environments for Empowering LLM Agents in Machine Learning Engineering [57.156093929365255]
自律型大規模言語モデル(LLM)エージェントを体系的に強化し、評価し、改善するためのガイムスタイルのフレームワーク。
MLE-Dojoは、現実的なエンジニアリングシナリオを反映した、多様でオープンなMLEタスクを慎重にキュレートする。
完全に実行可能な環境は、教師付き微調整と強化学習の両方を通して包括的なエージェントトレーニングをサポートする。
論文 参考訳(メタデータ) (2025-05-12T17:35:43Z) - Suggesting Code Edits in Interactive Machine Learning Notebooks Using Large Language Models [3.2433570328895196]
GitHub上の792の機械学習リポジトリの20,095のリビジョンから得られた48,398のJupyterノートブック編集の最初のデータセットを提示する。
我々のデータセットは、セルレベルとラインレベルの修正の詳細な詳細をキャプチャし、機械学習における現実のメンテナンスパターンを理解する基盤を提供する。
論文 参考訳(メタデータ) (2025-01-16T18:55:38Z) - Boosting Alignment for Post-Unlearning Text-to-Image Generative Models [55.82190434534429]
大規模な生成モデルは、大量のデータによって推進される印象的な画像生成能力を示している。
これはしばしば必然的に有害なコンテンツや不適切なコンテンツを生み出し、著作権の懸念を引き起こす。
学習しない反復ごとに最適なモデル更新を求めるフレームワークを提案し、両方の目的に対して単調な改善を確実にする。
論文 参考訳(メタデータ) (2024-12-09T21:36:10Z) - Untangling Knots: Leveraging LLM for Error Resolution in Computational Notebooks [4.318590074766604]
本稿では,反復型LCMエージェントを用いて,計算ノートブックの誤りを解消するための潜在的解決策を提案する。
本稿では,本手法によって提起された問題について議論し,バグを含む新しい計算ノートブックのデータセットを共有する。
論文 参考訳(メタデータ) (2024-03-26T18:53:17Z) - Context-aware Execution Migration Tool for Data Science Jupyter
Notebooks on Hybrid Clouds [0.22908242575265025]
本稿では,Jupyter拡張として開発された,どのセルを選択するか,どのシナリオで,より適切な実行プラットフォームに移行するべきかを自動選択するソリューションを提案する。
地球科学(リモートセンシング)、画像認識、手書き桁識別(機械学習)のノートブックを用いて、本実験では、ノートブックの状態が最大55倍に低下し、ユーザとノートブックとの対話性が考慮された場合、移行決定が最大3.25倍に向上することを示す。
論文 参考訳(メタデータ) (2021-07-01T02:33:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。