論文の概要: Understanding Feedback Mechanisms in Machine Learning Jupyter Notebooks

• arxiv url: http://arxiv.org/abs/2408.00153v1
• Date: Wed, 31 Jul 2024 20:31:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-04 22:16:07.745472
• Title: Understanding Feedback Mechanisms in Machine Learning Jupyter Notebooks
• Title（参考訳）: 機械学習Jupyterノートにおけるフィードバックメカニズムの理解
• Authors: Arumoy Shome, Luis Cruz, Diomidis Spinellis, Arie van Deursen,
• Abstract要約: 297.8万のJupyterノートをマイニングし、230万のコードセルを分析します。 我々は、アサーション、プリントステートメント、最後のセルステートメントという3つの重要なフィードバックメカニズムを特定します。
• 参考スコア（独自算出の注目度）: 25.13528943267972
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The machine learning development lifecycle is characterized by iterative and exploratory processes that rely on feedback mechanisms to ensure data and model integrity. Despite the critical role of feedback in machine learning engineering, no prior research has been conducted to identify and understand these mechanisms. To address this knowledge gap, we mine 297.8 thousand Jupyter notebooks and analyse 2.3 million code cells. We identify three key feedback mechanisms -- assertions, print statements and last cell statements -- and further categorize them into implicit and explicit forms of feedback. Our findings reveal extensive use of implicit feedback for critical design decisions and the relatively limited adoption of explicit feedback mechanisms. By conducting detailed case studies with selected feedback instances, we uncover the potential for automated validation of critical assumptions in ML workflows using assertions. Finally, this study underscores the need for improved documentation, and provides practical recommendations on how existing feedback mechanisms in the ML development workflow can be effectively used to mitigate technical debt and enhance reproducibility.
• Abstract（参考訳）: 機械学習開発ライフサイクルは、データとモデルの整合性を保証するためのフィードバックメカニズムに依存する反復的で探索的なプロセスによって特徴づけられる。 機械学習工学におけるフィードバックの重要な役割にもかかわらず、これらのメカニズムを識別し理解するための事前の研究は行われていない。 この知識ギャップに対処するため、297.8000のJupyterノートブックをマイニングし、230万のコードセルを分析しました。 我々は、アサーション、プリントステートメント、最後のセルステートメントという3つの重要なフィードバックメカニズムを特定し、それらを暗黙的かつ明示的なフィードバック形式に分類する。 本研究は,設計決定における暗黙的なフィードバックの活用と,明示的なフィードバック機構の導入が比較的限定されていることを明らかにする。 選択したフィードバックインスタンスで詳細なケーススタディを行うことで、アサーションを用いた機械学習ワークフローにおけるクリティカルな仮定の自動検証の可能性を明らかにする。 最後に、この研究は、改善されたドキュメントの必要性を強調し、ML開発ワークフローにおける既存のフィードバックメカニズムを、技術的負債の軽減と再現性の向上に効果的に利用するための実践的なレコメンデーションを提供する。

関連論文リスト

• Machine Learning Innovations in CPR: A Comprehensive Survey on Enhanced Resuscitation Techniques [52.71395121577439]
  心肺蘇生(CPR)における機械学習(ML)と人工知能(AI)の変革的役割について検討する。 再現結果を改善する上で、予測モデリング、AI強化デバイス、リアルタイムデータ分析の影響を強調している。 本稿は、この新興分野における現在の応用、課題、今後の方向性に関する包括的概要、分類、および批判的分析を提供する。
  論文  参考訳（メタデータ） (2024-11-03T18:01:50Z)
• Verification of Machine Unlearning is Fragile [48.71651033308842]
  両タイプの検証戦略を回避できる2つの新しい非学習プロセスを導入する。 この研究は、機械学習検証の脆弱性と限界を強調し、機械学習の安全性に関するさらなる研究の道を開く。
  論文  参考訳（メタデータ） (2024-08-01T21:37:10Z)
• "Forgetting" in Machine Learning and Beyond: A Survey [0.0]
  この調査は、さまざまな機械学習サブフィールドにまたがる、忘れることの利点とその応用に焦点を当てる。 本稿では,機械学習モデルへの忘れるメカニズムの統合に関する現状の課題,今後の方向性,倫理的考察について論じる。
  論文  参考訳（メタデータ） (2024-05-31T05:10:30Z)
• The Buffer Mechanism for Multi-Step Information Reasoning in Language Models [52.77133661679439]
  大きな言語モデルの内部的推論メカニズムを調べることは、よりよいモデルアーキテクチャとトレーニング戦略を設計するのに役立ちます。 本研究では,トランスフォーマーモデルが垂直思考戦略を採用するメカニズムを解明するために,シンボリックデータセットを構築した。 我々は,GPT-2モデルに必要なトレーニング時間を75%削減し,モデルの推論能力を高めるために,ランダムな行列ベースアルゴリズムを提案した。
  論文  参考訳（メタデータ） (2024-05-24T07:41:26Z)
• Enhancing Generative Class Incremental Learning Performance with Model Forgetting Approach [50.36650300087987]
  本研究は, ジェネレーティブ・クラス・インクリメンタル・ラーニング(GCIL, Generative Class Incremental Learning)への新たなアプローチを提案する。 我々は, 忘れる機構の統合により, 新たな知識獲得におけるモデルの性能が著しく向上することを発見した。
  論文  参考訳（メタデータ） (2024-03-27T05:10:38Z)
• Interpretable and Explainable Machine Learning Methods for Predictive Process Monitoring: A Systematic Literature Review [1.3812010983144802]
  本稿では,機械学習モデル(ML)の予測プロセスマイニングの文脈における説明可能性と解釈可能性について,系統的に検討する。 我々は、様々なアプリケーション領域にまたがる現在の方法論とその応用の概要を概観する。 我々の研究は、プロセス分析のためのより信頼性が高く透明で効果的なインテリジェントシステムの開発と実装方法について、研究者や実践者がより深く理解することを目的としている。
  論文  参考訳（メタデータ） (2023-12-29T12:43:43Z)
• AcME -- Accelerated Model-agnostic Explanations: Fast Whitening of the Machine-Learning Black Box [1.7534486934148554]
  解釈可能性のアプローチは、ユーザが待つことなく、実行可能な洞察を提供するべきです。 本稿では,グローバルレベルとローカルレベルの両方で特徴的重要性のスコアを迅速に提供する解釈可能性アプローチである,アクセレーションモデル非依存説明(AcME)を提案する。 AcMEは機能ランキングを計算しますが、機能値の変化がモデル予測にどのように影響するかを評価するために、What-if分析ツールも提供しています。
  論文  参考訳（メタデータ） (2021-12-23T15:18:13Z)
• Properties from Mechanisms: An Equivariance Perspective on Identifiable Representation Learning [79.4957965474334]
  教師なし表現学習の主な目標は、データ生成プロセスが潜在プロパティを回復するために「反転」することである。 この論文は「進化を支配するメカニズムの知識を活用して潜伏特性を識別するのか?」と問う。 我々は、可能なメカニズムの集合に関する知識が異なるため、不特定性の原因の完全な特徴づけを提供する。
  論文  参考訳（メタデータ） (2021-10-29T14:04:08Z)
• Multilingual Multi-Aspect Explainability Analyses on Machine Reading Comprehension Models [76.48370548802464]
  本稿では,マルチヘッド自己注意と最終MRCシステム性能の関係を検討するために,一連の解析実験を実施することに焦点を当てる。 問合せ及び問合せ理解の注意が問合せプロセスにおいて最も重要なものであることが判明した。 包括的可視化とケーススタディを通じて、注意マップに関するいくつかの一般的な知見も観察し、これらのモデルがどのように問題を解くかを理解するのに役立ちます。
  論文  参考訳（メタデータ） (2021-08-26T04:23:57Z)
• Explainable AI Enabled Inspection of Business Process Prediction Models [2.5229940062544496]
  本稿では,モデル説明を用いて,機械学習の予測によって適用された推論を解析する手法を提案する。 本手法の新たな貢献は,解釈可能な機械学習機構によって生成された説明と,過去のプロセス実行を記録するイベントログから抽出された文脈的,あるいはドメイン的知識の両方を活用するモデル検査の提案である。
  論文  参考訳（メタデータ） (2021-07-16T06:51:18Z)
• Unsupervised Explanation Generation for Machine Reading Comprehension [36.182335120466895]
  本稿では,機械読解作業のための自己説明可能なフレームワークを提案する。 提案システムでは,パス全体を用いたシステムと比較して,パス情報が少なく,同様の結果が得られるよう試みている。 提案手法を人体評価において従来の注意機構と比較した結果,提案方式は後者に比べて顕著な優位性があることが判明した。
  論文  参考訳（メタデータ） (2020-11-13T02:58:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。