論文の概要: "It Comes in Notebooks": Changes and Challenges when Operationalizing ML Prototypes

• arxiv url: http://arxiv.org/abs/2609.22903v1
• Date: Sat, 19 Sep 2026 09:22:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-24 17:23:28.439164
• Title: "It Comes in Notebooks": Changes and Challenges when Operationalizing ML Prototypes
• Title（参考訳）: ノートブックに出てくる」:MLプロトタイプ運用時の変化と課題
• Abstract要約: コード再構成、データパイプライン開発、テストと検証、パイプラインの自動化、監視と監視の5つのテーマに分けられた23のエンジニアリング変更を特定します。 繰り返し起こるパターンは、計算ノートブックが人間の実践者に対する監視を外部化し、運用時に義務づけられるコストを遅延させることである。 本報告では,これらの緊張感が,低技術プラクティスの症状ではなく,ノートからプロダクションへの移行の特性であることを示す,7つの品質トレードオフを提示する。
• 参考スコア（独自算出の注目度）: 13.914318060865952
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine learning practitioners commonly prototype models in computational notebooks before transitioning them to automated production systems. Despite its prevalence, the concrete engineering work involved in this transition and the software quality concerns that motivate it remain insufficiently characterized. We report on a qualitative study based on semi-structured interviews with 13 ML practitioners from industry and academia. Using reflexive thematic analysis, we identify 23 engineering changes organized into five themes: code restructuring, data pipeline development, testing & validation, pipeline automation, and monitoring & observability. We also identify 20 software quality attributes across the ML development lifecycle and map them to the engineering changes. A recurring pattern in our findings is that computational notebooks externalize oversight to the human practitioner, and defer costs that become obligatory at operationalization time. Operationalization constitutes the repayment of this technical debt accumulated during prototyping, which we refer to as oversight debt. Practitioners do not merely restructure notebook code, but repay this debt by constructing automated substitutes for the interactive oversight that notebooks provide. We further present seven quality trade-offs showing that these tensions are properties of the notebook-to-production transition, rather than symptoms of poor engineering practice. Our findings structure operationalization effort, establish empirical links between engineering changes and software quality concerns, and provide implications for practitioners, tool designers, and researchers working on ML-enabled software systems.
• Abstract（参考訳）: 機械学習の実践者は、通常、それらを自動生産システムに移行する前に、計算ノートブックでモデルをプロトタイプ化する。 この傾向にもかかわらず、この移行に関わる具体的なエンジニアリング作業や、モチベーションを動機付けるソフトウェアの品質に関する懸念は、まだ不十分なままである。 産業・学界の13人のML実践者との半構造化面接に基づく質的研究について報告する。 回帰的テーマ分析を使用して、コード再構成、データパイプライン開発、テストと検証、パイプラインの自動化、監視と監視の5つのテーマにまとめられた23のエンジニアリング変更を特定します。 また、ML開発ライフサイクル全体で20のソフトウェア品質特性を特定し、それらをエンジニアリングの変更にマッピングします。 本研究では, コンピュータノートは, 人間の作業者に対する監視を外部に提供し, 運用時に義務化されるコストを抑えることが確認された。 運用は、プロトタイピング中に蓄積した技術的負債の返済を構成する。 実践者は単にノートコードを再構築するだけでなく、ノートブックが提供するインタラクティブな監視のための自動化された代替品を構築することで、この負債を返済する。 さらに、これらの緊張感が、エンジニアリングプラクティスの悪い兆候ではなく、ノートからプロダクションへの移行の特性であることを示す7つの品質トレードオフを提示する。 本研究は,ML対応ソフトウェアシステムの開発に携わる実践者,ツールデザイナ,研究者に対して,エンジニアリング変更とソフトウェア品質に関する経験的関連性を確立することを目的とする。

関連論文リスト

• Cheap Code, Costly Judgment: A Case Study on Governable Agentic Software Engineering [8.368707686524482]
  エンジニアがアーキテクチャ、ツール、エビデンス、フィードバックループを整理して、AIによる開発が検査可能で、修正可能で、メンテナンス可能であるようにする方法を研究します。 プロセスモデルとして表現されたガバナンス変換の理論を開発し,高速度エージェントの実装がいかに制御可能かを説明する。
  論文  参考訳（メタデータ） (2026-07-01T15:44:15Z)
• From Determinism to Delegation: AI-Native Software Engineering and the Evolution of the Agentic Engineer [0.0]
  ソフトウェアエンジニアリングは、ハイレベルなプログラミング言語の出現以来、最も重要な変革を経験しています。 本稿では、AI-Native Software Engineeringは単なるツールの進歩というよりもパラダイムシフトである、と論じる。 我々は、推論実行ループ、コンテキストエンジニアリング、ツール使用、メモリ、行動ドリフト、構成誤差を含む自律エージェントの中核メカニズムを定義する。
  論文  参考訳（メタデータ） (2026-06-27T07:43:43Z)
• Can Coding Agents Reproduce Findings in Computational Materials Science? [49.254975563645786]
  本稿では,大規模言語モデルの科学的主張を再現する能力を評価するためのベンチマークであるAutoMatを紹介する。 課題を専門とする専門家と緊密に連携することで、実際の材料科学論文からの一連の主張をキュレートし、コーディングエージェントがエンドツーエンドのワークフローを回復し実行できるかどうかを検証します。 結果、現在のLSMベースのエージェントはAutoMatの全体的な成功率を低くし、最も優れた設定は54.1%に過ぎなかった。
  論文  参考訳（メタデータ） (2026-05-01T17:42:12Z)
• Rethinking Software Engineering for Agentic AI Systems [0.0]
  大規模言語モデルとエージェントAIシステムは、自動生成されたコードに前例のない量を生み出している。 本稿では、オーケストレーション、検証、人間とAIのコラボレーションを中心に、この規律を見直しるべきかどうかを検討する。
  論文  参考訳（メタデータ） (2026-04-12T12:08:53Z)
• Revisiting Software Engineering Education in the Era of Large Language Models: A Curriculum Adaptation and Academic Integrity Framework [0.0]
  本稿では、生成AIがコアソフトウェアエンジニアリング能力をどのように変化させるかを分析するための理論的枠組みを提案する。 トルコのコンピュータ工学プログラムに注意が向けられ、中央集権的な規制、大規模なクラスサイズ、試験指向のアセスメントがこれらの課題を増幅している。
  論文  参考訳（メタデータ） (2026-01-06T22:41:47Z)
• Transformers Use Causal World Models in Maze-Solving Tasks [49.67445252528868]
  我々は迷路解決タスクで訓練されたトランスフォーマーで世界モデルを特定する。 機能を抑圧するよりも、機能をアクティベートする方が簡単であることが分かりました。 位置符号化方式は、モデルの残留ストリーム内でのワールドモデルがどのように構成されているかに影響を与えるように見える。
  論文  参考訳（メタデータ） (2024-12-16T15:21:04Z)
• The Hidden Costs of Automation: An Empirical Study on GitHub Actions Workflow Maintenance [45.53834452021771]
  GitHub Actions(GA)は、エンジニアリングタスクの自動実行を合理化するオーケストレーションプラットフォームである。 欠陥の修正、依存関係の更新、あるいは既存のワークフローファイルの修正には、人間の介入が必要である。
  論文  参考訳（メタデータ） (2024-09-04T01:33:16Z)
• Benchmarking Automated Machine Learning Methods for Price Forecasting Applications [58.720142291102135]
  自動機械学習(AutoML)ソリューションで手作業で作成したMLパイプラインを置換する可能性を示す。 CRISP-DMプロセスに基づいて,手動MLパイプラインを機械学習と非機械学習に分割した。 本稿では、価格予測の産業利用事例として、ドメイン知識とAutoMLを組み合わせることで、ML専門家への依存が弱まることを示す。
  論文  参考訳（メタデータ） (2023-04-28T10:27:38Z)
• On the validity of pre-trained transformers for natural language processing in the software engineering domain [78.32146765053318]
  ソフトウェア工学データを用いて訓練されたBERT変換器モデルと一般領域データに基づく変換器との比較を行った。 ソフトウェアエンジニアリングのコンテキストを理解するために必要なタスクに対しては,ソフトウェアエンジニアリングデータの事前学習が重要であることを示す。
  論文  参考訳（メタデータ） (2021-09-10T08:46:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。