論文の概要: Software Testing Meets Bayesian Workflow: A Literature-Driven Artifact Study of Probabilistic Programs

• arxiv url: http://arxiv.org/abs/2610.16594v1
• Date: Mon, 12 Oct 2026 11:16:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 22:21:55.318477
• Title: Software Testing Meets Bayesian Workflow: A Literature-Driven Artifact Study of Probabilistic Programs
• Title（参考訳）: ベイジアンワークフローとソフトウェアテスティング - 確率的プログラムに関する文献駆動のアーティファクトスタディ
• Abstract要約: 確率モデルの検証可能な正性特性を推論し、実装し、研究する。 各プロパティに対して、テストオラクルを選択して実装し、そのユーティリティを自動テストするために研究する。 フレキネスの理論的可能性にもかかわらず、ほとんどのテストは実際にはフレキではないことが観察された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automated testing is an effective software quality assurance method, but it is rarely used for probabilistic models. This is despite the heavy use of probabilistic programming for data analytics in research and engineering, where the consequences of errors are dire. A key obstacle is the specification of testable correctness properties for probabilistic models, known as the oracle problem. Like machine learning, probabilistic programming is used precisely where no analytical specification exists: had we been able to write one, we would have written an algorithm instead of fitting a model. An alternative is partial, proxy correctness specifications. The statistics literature already offers many, but as quality guidelines that require human judgment: comparing plots, visually analyzing shapes of distributions, assessing whether parameter values are ''far'' or ''close enough''. These guidelines are not systematically automated. In this work, we elicit, implement, and study testable correctness properties of probabilistic models. We extract 17 broadly applicable properties for probabilistic models from one of the most widely used textbooks in Bayesian data analysis, Statistical Rethinking by McElreath. For each property, we select and implement a test oracle, and study its utility for automatic testing, using a population of 59 probabilistic models from academic and industrial sources. We find realistic use cases (models under test) for all the properties. We observe that the vast majority of tests are not flaky in practice, despite the theoretical potential for flakiness. To the best of our knowledge, we are the first to investigate the effectiveness of mutation testing for probabilistic models, showing that standard mutation operators do not capture faults tracked by the probabilistic properties.
• Abstract（参考訳）: 自動テストは効果的なソフトウェア品質保証手法であるが、確率モデルにはほとんど使われない。 これは、研究とエンジニアリングにおけるデータ分析に確率的プログラミングが多用されているにもかかわらず、エラーの結果は希薄である。 鍵となる障害は、オラクル問題(英語版)として知られる確率モデルに対するテスト可能な正性特性の仕様である。 機械学習と同様に、確率的プログラミングは、分析的な仕様が存在しない場所で正確に使用される。 代替案として、部分的、プロキシの正確性仕様がある。 統計文献は、既に多くのものを提供しているが、人間の判断を必要とする品質ガイドラインとして、プロットを比較し、分布の形状を視覚的に分析し、パラメータ値が'far'なのか'close enough'なのかを評価する。 これらのガイドラインは体系的に自動化されていない。 本研究では,確率的モデルの検証可能な正性特性を導出し,実装し,研究する。 我々はベイジアンデータ分析において最も広く使われている教科書の一つであるMcElreathによる統計的再考から、確率モデルに対して広く適用可能な17の特性を抽出する。 それぞれの特性について,学術的・産業的資料から59の確率モデルを用いて,テストオラクルを選択し,実装し,その有効性を検証した。 すべてのプロパティに対して現実的なユースケース(テスト中のモデル)を見つけます。 フレキネスの理論的可能性にもかかわらず、ほとんどのテストは実際にはフレキではないことが観察された。 我々の知る限り、我々は確率論的モデルに対する突然変異試験の有効性を最初に調査し、標準突然変異演算子は確率論的特性によって追跡される欠陥を捉えないことを示した。

関連論文リスト

• Optimal Algorithms for Augmented Testing of Discrete Distributions [25.818433126197036]
  予測器は3つのプロパティテストタスクすべてに必要なサンプル数を実際に削減できることを示す。 我々のアルゴリズムの重要な利点は、予測の精度への適応性である。 アルゴリズムによって達成されるサンプルの複雑さの改善は、情報理論的に最適であることを示すために、より低い境界を提供する。
  論文  参考訳（メタデータ） (2024-12-01T21:31:22Z)
• Reliability analysis of discrete-state performance functions via adaptive sequential sampling with detection of failure surfaces [0.0]
  本稿では,レアイベント確率推定のための新しい効率的でロバストな手法を提案する。 この手法は、複数の障害タイプの確率を推定することができる。 この情報に対応して、推定確率の精度を高めることができる。
  論文  参考訳（メタデータ） (2022-08-04T05:59:25Z)
• Learning to Increase the Power of Conditional Randomization Tests [8.883733362171032]
  モデル-X条件ランダム化テストは、条件独立性テストのための一般的なフレームワークである。 本稿では,モデルXテストのパワー向上を目的とした新しいモデル適合方式を提案する。
  論文  参考訳（メタデータ） (2022-07-03T12:29:25Z)
• Masked prediction tasks: a parameter identifiability view [49.533046139235466]
  マスク付きトークンの予測に広く用いられている自己教師型学習手法に着目する。 いくつかの予測タスクは識別可能性をもたらすが、他のタスクはそうではない。
  論文  参考訳（メタデータ） (2022-02-18T17:09:32Z)
• Uncertainty Modeling for Out-of-Distribution Generalization [56.957731893992495]
  特徴統計を適切に操作することで、ディープラーニングモデルの一般化能力を向上させることができると論じる。 一般的な手法では、特徴統計を学習した特徴から測定された決定論的値とみなすことが多い。 我々は、学習中に合成された特徴統計を用いて、領域シフトの不確かさをモデル化することにより、ネットワークの一般化能力を向上させる。
  論文  参考訳（メタデータ） (2022-02-08T16:09:12Z)
• Conformal Prediction Under Feedback Covariate Shift for Biomolecular Design [56.86533144730384]
  本稿では,トレーニングデータとテストデータが統計的に依存した環境での予測不確実性を定量化する手法を提案する。 モチベーション・ユースケースとして,本手法が設計したタンパク質の適合性予測の不確かさを定量化する方法を実データで示す。
  論文  参考訳（メタデータ） (2022-02-08T02:59:12Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)
• A Robust Test for Elliptical Symmetry [2.030567625639093]
  楕円性GoFテストは通常分析が困難であり、統計力は特に強くないことが多い。 デ・フィネッティが導入した交換可能な確率変数計算に基づく新しいフレームワークを開発する。
  論文  参考訳（メタデータ） (2020-06-05T08:51:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。