論文の概要: Characterizing Feedback Statements in Machine Learning Jupyter Notebooks
- arxiv url: http://arxiv.org/abs/2609.22912v1
- Date: Sat, 19 Sep 2026 09:42:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-24 17:22:47.016317
- Title: Characterizing Feedback Statements in Machine Learning Jupyter Notebooks
- Title（参考訳）: 機械学習Jupyterノートにおけるフィードバック文の特徴付け
- Abstract要約: Jupyterノートブックの機械学習開発は反復的でフィードバック駆動である。
本研究は,無音で通過する障害を負うために,実践者がどのようなチェックを行うかを検討する。
GitHubとKaggleから297,851の公開Python Jupyterノートブックをマイニングし、1,092,780のフィードバック文を抽出しました。
- 参考スコア（独自算出の注目度）: 15.473760311887318
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine learning development in Jupyter notebooks is iterative and feedback-driven. Practitioners author statements that reveal information about program execution and use it to decide what to do next. We call these feedback statements and identify two forms: exploratory statements that display values for visual inspection, and validation statements that enforce conditions programmatically through assertions. Many ML failures do not surface as exceptions and thus escape the crash-based analyses that dominate prior work on ML notebooks. This study examines what practitioners check to catch failures that would otherwise pass silently, by characterizing feedback statements that encode the practitioner's mental model of what the code should do and what could go wrong. We mine 297,851 public Python Jupyter notebooks from GitHub and Kaggle and extract 1,092,780 feedback statements. We sample 816 statements through proportional stratified sampling from semantic clusters obtained from CodeBERT embeddings, and apply grounded theory and open coding to label and analyze each one. We contribute a taxonomy of feedback statements in ML notebooks, organized along the functional intent of the statement and the ML pipeline stage in which it appears. The taxonomy reveals that feedback is overwhelmingly exploratory, and that the two platforms host qualitatively different modes of ML work. Mapping our taxonomy to an existing crash taxonomy shows that it captures defensive practices against silent failures that crash analysis cannot observe. Our findings indicate that notebook source should be treated as a confounder in studies of ML developer practice, surface opportunities for notebook tooling, and motivate empirical study of silent ML failures. We release the corpus of 1,092,780 feedback statements and the codebook to support replication and tooling research.
- Abstract（参考訳）: Jupyterノートブックの機械学習開発は反復的でフィードバック駆動である。
実践者は、プログラムの実行に関する情報を明らかにし、次に何をするかを決定するためにそれを使用するステートメントを作成します。
我々はこれらのフィードバックステートメントを,視覚検査の値を表示する探索的ステートメントと,アサーションを通じてプログラム的に条件を強制する検証ステートメントの2つの形式を識別する。
多くのML障害は例外として現れず、MLノートブックの先行作業を支配しているクラッシュベースの分析から逃れることになる。
本研究は,実践者の心的モデルをコード化したフィードバックステートメントを特徴付けることで,実行者が無音で通過する障害をキャッチするためにチェックする方法について検討する。
GitHubとKaggleから297,851の公開Python Jupyterノートブックをマイニングし、1,092,780のフィードバック文を抽出しました。
CodeBERT埋め込みから得られたセマンティッククラスタからの比例的階層化サンプリングによって816の文をサンプリングし,各単語のラベル付けと解析に基底理論とオープンコーディングを適用した。
我々は,MLノートにフィードバック文の分類に寄与し,文の機能的意図とそれを示すMLパイプラインステージに沿って整理した。
分類学は、フィードバックは圧倒的に探索的であり、2つのプラットフォームがML作業の質的に異なるモードをホストしていることを明らかにしている。
我々の分類を既存のクラッシュ分類にマッピングすると、衝突分析が観察できない無音の失敗に対する防御的慣行を捉えていることがわかる。
その結果,ノートブックソースは,ML開発者の実践,ノートブックツーリングの創始者として扱われるべきであり,サイレントMLの失敗に関する実証的研究を動機づけるべきであることがわかった。
1,092,780のフィードバック文と、レプリケーションとツーリングの研究をサポートするコードブックのコーパスをリリースする。
関連論文リスト
- Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。
コードには手書きのコードはなく、人間による注釈もない。
エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
論文 参考訳（メタデータ） (2026-07-17T17:41:16Z) - LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。
CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
論文 参考訳（メタデータ） (2026-05-02T11:31:33Z) - Learning Software Bug Reports: A Systematic Literature Review [4.019641745947759]
機械学習(ML)は、バグレポートからの情報の理解、抽出、相関を自動化することを目的としている。
その重要性は増しているが、この地域では包括的なレビューは行われていない。
本稿では,1,825件の論文を網羅した体系的な文献レビューを行い,詳細な分析のために204件を選択した。
論文 参考訳（メタデータ） (2025-07-06T15:17:59Z) - LLM Critics Help Catch Bugs in Mathematics: Towards a Better Mathematical Verifier with Natural Language Feedback [71.95402654982095]
本研究では,自然言語フィードバック型検証器Math-Minosを提案する。
実験の結果,少量の自然言語フィードバックが検証器の性能を大幅に向上させることがわかった。
論文 参考訳（メタデータ） (2024-06-20T06:42:27Z) - LeTI: Learning to Generate from Textual Interactions [60.425769582343506]
本稿では,テキストインタラクション(LETI)から学習するLMの可能性を,バイナリラベルによる正当性をチェックするだけでなく,テキストフィードバックを通じて出力中のエラーをピンポイントし,説明する。
私たちの焦点はコード生成タスクであり、そこではモデルが自然言語命令に基づいてコードを生成する。
LETIは、目的のLMを用いて、自然言語命令、LM生成プログラム、テキストフィードバックの結合に基づいて、モデルを反復的に微調整する。
論文 参考訳（メタデータ） (2023-05-17T15:53:31Z) - Towards Understanding Machine Learning Testing in Practise [23.535630175567146]
本稿では,Jupyterノートブックのマイニングによる機械学習パイプラインの可視化について検討する。
まず、より小さなノートのサンプルの質的研究を用いて、一般的な洞察と傾向を収集する。
そして、質的研究から得られた知識を使って、より大きなノートブックのサンプルを使って経験的な研究を設計する。
論文 参考訳（メタデータ） (2023-05-08T18:52:26Z) - Teaching Large Language Models to Self-Debug [62.424077000154945]
大規模言語モデル(LLM)は、コード生成において素晴らしいパフォーマンスを達成した。
本稿では,大規模言語モデルで予測プログラムを数発のデモでデバッグする自己デバッグを提案する。
論文 参考訳（メタデータ） (2023-04-11T10:43:43Z) - Pynblint: a Static Analyzer for Python Jupyter Notebooks [10.190501703364234]
Pynblintは、Pythonで書かれたJupyterノートブックの静的アナライザである。
経験的に検証されたベストプラクティスのセットで、ノートブック(および周辺のリポジトリ)のコンプライアンスをチェックする。
論文 参考訳（メタデータ） (2022-05-24T09:56:03Z) - ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
本稿では,フィードバックを数発の分類として提供するという課題について考察する。
メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。
本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
論文 参考訳（メタデータ） (2021-07-23T22:41:28Z) - Pattern Learning for Detecting Defect Reports and Improvement Requests
in App Reviews [4.460358746823561]
本研究では、レビューを欠陥報告と改善の要求として分類することで、この行動可能な洞察の欠如を狙う新しいアプローチに従う。
我々は,遺伝的プログラミングを通じて語彙・意味パターンを学習できる教師付きシステムを採用している。
自動学習パターンは手作業で生成したパターンよりも優れており、生成可能であることを示す。
論文 参考訳（メタデータ） (2020-04-19T08:13:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。