論文の概要: Similarity-Based Assessment of Computational Reproducibility in Jupyter Notebooks
- arxiv url: http://arxiv.org/abs/2509.23645v1
- Date: Sun, 28 Sep 2025 05:01:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-07 16:58:27.829484
- Title: Similarity-Based Assessment of Computational Reproducibility in Jupyter Notebooks
- Title（参考訳）: ジュピターノートの類似性に基づく計算再現性の評価
- Authors: A S M Shahadat Hossain, Colin Brown, David Koop, Tanu Malik,
- Abstract要約: Jupyter Notebookの再実行は、さまざまな要因によって必ずしも同じ結果を生成するとは限らない。
本稿では,類似度に基づく再現性指標(SRI)を紹介する。
SRIは、異なるタイプのPythonオブジェクトに特有の類似度メトリクスに基づいた、新しいメソッドを採用している。
- 参考スコア（独自算出の注目度）: 2.3157475769949625
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Computational reproducibility refers to obtaining consistent results when rerunning an experiment. Jupyter Notebook, a web-based computational notebook application, facilitates running, publishing, and sharing computational experiments along with their results. However, rerunning a Jupyter Notebook may not always generate identical results due to various factors, such as randomness, changes in library versions, or variations in the computational environment. This paper introduces the Similarity-based Reproducibility Index (SRI) -- a metric for assessing the reproducibility of results in Jupyter Notebooks. SRI employs novel methods developed based on similarity metrics specific to different types of Python objects to compare rerun outputs against original outputs. For every cell generating an output in a rerun notebook, SRI reports a quantitative score in the range [0, 1] as well as some qualitative insights to assess reproducibility. The paper also includes a case study in which the proposed metric is applied to a set of Jupyter Notebooks, demonstrating how various similarity metrics can be leveraged to quantify computational reproducibility.
- Abstract（参考訳）: 計算再現性(英: Computational reproducibility)とは、実験を再実行する際に一貫した結果を得ることである。
Jupyter Notebookはウェブベースの計算ノートブックアプリケーションで、計算実験の実行、公開、共有と結果の共有を容易にする。
しかし、Jupyter Notebookの再実行は、ランダム性、ライブラリのバージョンの変更、計算環境のバリエーションなど、さまざまな要因により、必ずしも同じ結果を生成するとは限らない。
本稿では、Jupyter Notebooksにおける再現性を評価するための指標であるSRI(Simisity-based Reproducibility Index)を紹介する。
SRIは、異なるタイプのPythonオブジェクトに特有の類似度指標に基づいて開発された新しい手法を用いて、再実行出力と元の出力を比較する。
再実行ノートブックの出力を生成するすべてのセルに対して、SRIは、再現性を評価するための質的な洞察とともに、[0, 1]の範囲の定量的スコアを報告します。
また,提案手法をJupyter Notebookの集合に適用し,計算再現性を定量化するために,様々な類似性指標をどのように活用できるかを示すケーススタディも含む。
関連論文リスト
- AllMetrics: A Unified Python Library for Standardized Metric Evaluation and Robust Data Validation in Machine Learning [2.325084918639609]
さまざまな機械学習タスクのメトリクス評価を標準化するために設計された,オープンソースの統一PythonライブラリであるAllMetricsを紹介した。
このライブラリは、すべてのユースケースをカバーするパラメータを通して、マルチクラスタスクのクラス固有のレポートを実装している。
医療、金融、不動産といった分野のさまざまなデータセットを私たちのライブラリに適用し、Python、Matlab、Rコンポーネントと比較しました。
論文 参考訳（メタデータ） (2025-05-21T18:36:05Z) - Semiparametric conformal prediction [79.6147286161434]
ベクトル値の非整合性スコアの結合相関構造を考慮した共形予測セットを構築する。
スコアの累積分布関数(CDF)を柔軟に推定する。
提案手法は,現実の回帰問題に対して,所望のカバレッジと競争効率をもたらす。
論文 参考訳（メタデータ） (2024-11-04T14:29:02Z) - Noisy Pair Corrector for Dense Retrieval [59.312376423104055]
ノイズペアコレクタ(NPC)と呼ばれる新しい手法を提案する。
NPCは検出モジュールと修正モジュールから構成される。
我々は,テキスト検索ベンチマークのNatural QuestionとTriviaQA,コード検索ベンチマークのStaQCとSO-DSで実験を行った。
論文 参考訳（メタデータ） (2023-11-07T08:27:14Z) - The NCI Imaging Data Commons as a platform for reproducible research in
computational pathology [0.0773931605896092]
再現性は、計算病理学(CompPath)における機械学習(ML)ベースのソリューション開発における大きな課題である
NCI Imaging Data Commons (IDC)は、FAIR原則に従って120以上のがんイメージコレクションを提供し、クラウドMLサービスで使用するように設計されている。
肺腫瘍組織を分類する代表的ML法を訓練し,異なるデータセットで評価する2つの実験を行った。
論文 参考訳（メタデータ） (2023-03-16T14:32:50Z) - CARMS: Categorical-Antithetic-REINFORCE Multi-Sample Gradient Estimator [60.799183326613395]
本稿では, 相互に負に相関した複数のサンプルに基づく分類的確率変数の非バイアス推定器を提案する。
CARMSは、ReINFORCEとコプラベースのサンプリングを組み合わせることで、重複サンプルを回避し、その分散を低減し、重要サンプリングを使用して推定器を偏りなく維持する。
我々は、生成的モデリングタスクと構造化された出力予測タスクに基づいて、いくつかのベンチマークデータセット上でCARMSを評価し、強力な自己制御ベースラインを含む競合する手法より優れていることを示す。
論文 参考訳（メタデータ） (2021-10-26T20:14:30Z) - Scikit-dimension: a Python package for intrinsic dimension estimation [58.8599521537]
この技術ノートは、固有次元推定のためのオープンソースのPythonパッケージであるtextttscikit-dimensionを紹介している。
textttscikit-dimensionパッケージは、Scikit-learnアプリケーションプログラミングインターフェイスに基づいて、既知のID推定子のほとんどを均一に実装する。
パッケージを簡潔に記述し、実生活と合成データにおけるID推定手法の大規模(500以上のデータセット)ベンチマークでその使用を実証する。
論文 参考訳（メタデータ） (2021-09-06T16:46:38Z) - S3M: Siamese Stack (Trace) Similarity Measure [55.58269472099399]
本稿では、深層学習に基づくスタックトレースの類似性を計算する最初のアプローチであるS3Mを紹介します。
BiLSTMエンコーダと、類似性を計算するための完全接続型分類器をベースとしている。
私たちの実験は、オープンソースデータとプライベートなJetBrainsデータセットの両方において、最先端のアプローチの優位性を示しています。
論文 参考訳（メタデータ） (2021-03-18T21:10:41Z) - Knowledge transfer across cell lines using Hybrid Gaussian Process
models with entity embedding vectors [62.997667081978825]
生物化学的プロセスを開発するために、多数の実験が実施されている。
既に開発されたプロセスのデータを利用して、新しいプロセスの予測を行い、必要な実験の数を大幅に削減できるだろうか。
論文 参考訳（メタデータ） (2020-11-27T17:38:15Z) - A First Step Towards Distribution Invariant Regression Metrics [1.370633147306388]
分類において、F-Measure や Accuracy のようなパフォーマンス指標は、クラス分布に大きく依存していると繰り返し述べられている。
ロボットアプリケーションにおけるオドメトリパラメータの分布は,例えば,異なるセッション間で大きく異なる可能性がある。
ここでは、すべての関数値に対して等しく機能する回帰アルゴリズムや、高速のような特定の境界領域にフォーカスする回帰アルゴリズムが必要です。
論文 参考訳（メタデータ） (2020-09-10T23:40:46Z) - Class-Similarity Based Label Smoothing for Confidence Calibration [2.055949720959582]
信頼性校正を改善するため,新しいラベルスムーシング方式を提案する。
異なるクラスは固有の類似性が異なるため、より類似したクラスは最終的な出力においてより近い確率値をもたらす。
これは、ラベル値が参照クラスと類似性に基づいている新しいスムーズなラベルの開発を動機付けている。
論文 参考訳（メタデータ） (2020-06-24T20:26:22Z) - Mimicry: Towards the Reproducibility of GAN Research [0.0]
我々は、人気の高い最先端のGANと評価指標の実装を提供する軽量PyTorchライブラリであるMimicryを紹介する。
我々は、これらのGANを同じ条件下でトレーニングし、同じ手順を用いて3つの一般的なGANメトリクスにわたって評価することにより、異なるGANの総合的なベースライン性能を7つの広く使用されているデータセット上で提供する。
論文 参考訳（メタデータ） (2020-05-05T21:07:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。