論文の概要: Pynblint: a Static Analyzer for Python Jupyter Notebooks
- arxiv url: http://arxiv.org/abs/2205.11934v1
- Date: Tue, 24 May 2022 09:56:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-25 15:19:57.077082
- Title: Pynblint: a Static Analyzer for Python Jupyter Notebooks
- Title(参考訳): pynblint: python jupyterノートブック用の静的アナライザ
- Authors: Luigi Quaranta, Fabio Calefato, Filippo Lanubile
- Abstract要約: Pynblintは、Pythonで書かれたJupyterノートブックの静的アナライザである。
経験的に検証されたベストプラクティスのセットで、ノートブック(および周辺のリポジトリ)のコンプライアンスをチェックする。
- 参考スコア(独自算出の注目度): 10.190501703364234
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Jupyter Notebook is the tool of choice of many data scientists in the early
stages of ML workflows. The notebook format, however, has been criticized for
inducing bad programming practices; indeed, researchers have already shown that
open-source repositories are inundated by poor-quality notebooks. Low-quality
output from the prototypical stages of ML workflows constitutes a clear
bottleneck towards the productization of ML models. To foster the creation of
better notebooks, we developed Pynblint, a static analyzer for Jupyter
notebooks written in Python. The tool checks the compliance of notebooks (and
surrounding repositories) with a set of empirically validated best practices
and provides targeted recommendations when violations are detected.
- Abstract(参考訳): Jupyter Notebookは、MLワークフローの初期段階における多くのデータサイエンティストの選択ツールである。
しかし、ノートブックのフォーマットは悪いプログラミングプラクティスを誘発していると批判されている。
MLワークフローの原型段階からの低品質な出力は、MLモデルの製品化に向けた明らかなボトルネックとなる。
より良いノートブックの作成を促進するため、Pythonで書かれたJupyterノートブックの静的アナライザであるPynblintを開発した。
このツールは、経験的に検証されたベストプラクティスのセットでノートブック(および周辺のリポジトリ)のコンプライアンスをチェックし、違反が検出されたときにターゲットとした推奨を提供する。
関連論文リスト
- Untangling Knots: Leveraging LLM for Error Resolution in Computational Notebooks [4.318590074766604]
本稿では,反復型LCMエージェントを用いて,計算ノートブックの誤りを解消するための潜在的解決策を提案する。
本稿では,本手法によって提起された問題について議論し,バグを含む新しい計算ノートブックのデータセットを共有する。
論文 参考訳(メタデータ) (2024-03-26T18:53:17Z) - DataDreamer: A Tool for Synthetic Data Generation and Reproducible LLM Workflows [72.40917624485822]
我々は、研究者が強力な大規模言語モデルを実装することができるオープンソースのPythonライブラリであるDataDreamerを紹介した。
DataDreamerはまた、オープンサイエンスを促進するために提案するベストプラクティスに研究者が従うのを助ける。
論文 参考訳(メタデータ) (2024-02-16T00:10:26Z) - Jup2Kub: algorithms and a system to translate a Jupyter Notebook
pipeline to a fault tolerant distributed Kubernetes deployment [0.9790236766474201]
科学は計算、データ操作、時には科学的データ分析のための可視化ステップを促進する。
Jupyterノートブックは、より大きなデータセットでスケールするのに苦労し、耐障害性がなく、基盤となるツールやパッケージの安定性に大きく依存している。
Jup2KupはJupyterノートブックから分散された高性能環境に変換し、フォールトトレランスを向上させる。
論文 参考訳(メタデータ) (2023-11-21T02:54:06Z) - Julearn: an easy-to-use library for leakage-free evaluation and
inspection of ML models [0.23301643766310373]
我々は、Julearnの設計の背景にある理論的根拠と、その中核となる特徴を提示し、以前に公表された研究プロジェクトの3つの例を示す。
Julearnは、最も一般的なMLの落とし穴に対して、ガードを組み込んだ使いやすい環境を提供することで、機械学習の世界への参入を単純化することを目指している。
論文 参考訳(メタデータ) (2023-10-19T08:21:12Z) - PEOPL: Characterizing Privately Encoded Open Datasets with Public Labels [59.66777287810985]
プライバシとユーティリティのための情報理論スコアを導入し、不誠実なユーザの平均パフォーマンスを定量化する。
次に、ランダムなディープニューラルネットワークの使用を動機付ける符号化スキームのファミリーを構築する際のプリミティブを理論的に特徴づける。
論文 参考訳(メタデータ) (2023-03-31T18:03:53Z) - Fault-Aware Neural Code Rankers [64.41888054066861]
サンプルプログラムの正しさを予測できる故障認識型ニューラルネットワークローダを提案する。
我々のフォールト・アウェア・ローダは、様々なコード生成モデルのpass@1精度を大幅に向上させることができる。
論文 参考訳(メタデータ) (2022-06-04T22:01:05Z) - PyGOD: A Python Library for Graph Outlier Detection [56.33769221859135]
PyGODは、グラフデータの外れ値を検出するオープンソースライブラリである。
外れ値検出のための主要なグラフベースのメソッドを幅広くサポートしています。
PyGODはBSD 2-Clauseライセンスの下でhttps://pygod.orgとPython Package Index (PyPI)でリリースされている。
論文 参考訳(メタデータ) (2022-04-26T06:15:21Z) - Missing Data Infill with Automunge [0.0]
データ不足はデータサイエンスの実践における基本的な障害である。
本稿では,Automungeオープンソースpythonライブラリプラットフォームで利用可能な,インキュベーションに関するいくつかの規約について調査する。
論文 参考訳(メタデータ) (2022-02-19T00:49:30Z) - Scikit-dimension: a Python package for intrinsic dimension estimation [58.8599521537]
この技術ノートは、固有次元推定のためのオープンソースのPythonパッケージであるtextttscikit-dimensionを紹介している。
textttscikit-dimensionパッケージは、Scikit-learnアプリケーションプログラミングインターフェイスに基づいて、既知のID推定子のほとんどを均一に実装する。
パッケージを簡潔に記述し、実生活と合成データにおけるID推定手法の大規模(500以上のデータセット)ベンチマークでその使用を実証する。
論文 参考訳(メタデータ) (2021-09-06T16:46:38Z) - FedML: A Research Library and Benchmark for Federated Machine Learning [55.09054608875831]
フェデレート・ラーニング(Federated Learning, FL)は、機械学習の分野で急速に成長している研究分野である。
既存のFLライブラリは多様なアルゴリズム開発を適切にサポートできない。
FLアルゴリズムの開発と公正な性能比較を容易にするための,オープンな研究ライブラリとベンチマークであるFedMLを紹介する。
論文 参考訳(メタデータ) (2020-07-27T13:02:08Z) - ReproduceMeGit: A Visualization Tool for Analyzing Reproducibility of
Jupyter Notebooks [0.0]
本稿では、Jupyter NotebooksのGitHubを分析する可視化ツールであるReproduceMeGitを紹介する。
このツールは、再現可能なノートブックの数、例外となったノートブック数、オリジナルのノートブックと異なる結果を得たノートブック数などの情報を提供する。
論文 参考訳(メタデータ) (2020-06-22T10:05:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。