論文の概要: Equivalence testing and run-count design for stochastic machine-learning experiments

• arxiv url: http://arxiv.org/abs/2610.23700v1
• Date: Fri, 16 Oct 2026 16:28:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:08.020238
• Title: Equivalence testing and run-count design for stochastic machine-learning experiments
• Title（参考訳）: 確率的機械学習実験のための等価テストとランカウント設計
• Abstract要約: 2つのトレーニングメソッドが同等に実行されているという主張は、メソッド毎に2つまたは3つの実行の間に重要な違いがないことに起因することが多い。 本研究では,実測値と実測値との等価性を証明するためのプロトコルを,そのパワー理論を用いて開発する。
• 参考スコア（独自算出の注目度）: 2.1127261244588156
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Claims that two training methods perform equally well often rest on a non-significant difference between two or three runs per method. We develop a protocol, with its power theory, for certifying practical equivalence in per-run metrics such as the AUROC (area under the receiver operating characteristic curve). It rests on a two-level (seed x item) variance model separating between-run dispersion from item-level noise. Equivalence within a pre-specified margin is tested by two one-sided tests (TOST), equivalently by a confidence interval inside the margin; a two-level bootstrap covers composite statistics. A closed-form formula converts a margin and a target power into runs per method; its shifted-t refinement is calibrated against the realised two-level process. Simulations on a 270-cell grid and under non-Gaussian seed laws confirm the formula within its design-relevant range, from five runs per method. For four published runs of a joint energy-based model, the failure to certify equivalence was largely decided by design: with the variance calibrated to those runs, two per method certify with probability near three per cent, whereas certifying 0.01 AUROC at 80 per cent power needs twelve even under exact equality. A second case study on a thousand-seed CIFAR-10 zoo and the MultiBERTs checks the formula against real seed laws (within 0.05 in that range) and resolves comparisons that two or three runs leave undecided. In a two-stage design (pilot, then formula), our experiments suggest that an upper confidence bound on the pilot variance substantially reduces the undersizing seen with its point estimate.
• Abstract（参考訳）: 2つのトレーニングメソッドが同等に実行されているという主張は、メソッド毎に2つまたは3つの実行の間に重要な違いがないことに起因することが多い。 本研究では,AUROC(受信機動作特性曲線の下での領域)などの実行単位の等価性を検証するためのプロトコルを開発した。 これは2レベル(シードxアイテム)の分散モデルに基づいており、アイテムレベルのノイズからラン分散を分離する。 予め特定されたマージン内の等価性は、2つの片側試験(TOST)によってテストされ、同様に、マージン内の信頼区間によって検証される。 閉形式式はマージンと目標電力を1つの方法ごとに変換し、シフトtの精製は実現された2段階のプロセスに対して校正される。 270セルグリッドと非ガウスシード法の下でのシミュレーションでは、1メソッドあたり5ランから設計関連範囲内の式を確認する。 共同エネルギーベースモデルの4つの実行において、等価性の証明に失敗したことは、設計によって大きく決定された: それらの実行に校正された分散により、各手法が3パーセント近い確率で認証されるのに対し、0.01 AUROCを80%の出力で認証するには、正確に等しく12の値を必要とする。 千種CIFAR-10動物園とMultiBERTsの2回目のケーススタディでは、実際の種子法則(その範囲で0.05)と比較し、2つまたは3つのランが未決定のままであることを示す。 2段階の設計(パイロット, 定式化)では, パイロットの分散に束縛された上位の信頼度が, 点推定値のアンダーサイズを著しく減少させることを示した。

関連論文リスト

• Two-Sample Testing via Generative Processes [60.42943145582429]
  生成輸送は、2つのサンプルが同じ分布から来るかどうかを決定する新しい方法を提供する。 2つのサンプルの間に直接補間体を構築し、対称スケジュールでは、その法則が時間反射の下で不変であることを観察する。 したがって、t と 1-t の辺辺が、Jensen-Shannon の発散を計算することで一致するかどうかをテストする。
  論文  参考訳（メタデータ） (2026-10-06T12:48:27Z)
• Two-Sample Testing via Path-based Inference [54.590623065123076]
  2サンプルテストは、同じ分布が2つの有限データセットを生成するかどうかを決定する問題である。 補間子を用いて、両分布を共有ガウスボトルネックに接続する。 ゼロ仮説は、集団が、または同等に、2つのハーフの速度場が、任意のノイズレベルに一致する場合にのみ成立することを示す。
  論文  参考訳（メタデータ） (2026-10-05T01:56:28Z)
• Characterizing a Configuration Where Inference-Time PRM-Pruned Fragment Grafting Is Inert: Evidence from Three Reasoning LMs [0.0]
  PRM-Pruned Fragment Graftingは、クロス軌道ステップレベルの転送の最小化である。 322回のステージング・ルール・インジェクション・イベントの4ビット分類では、真に苦闘しているチェーンを標的にしたのはわずか14%であった。 後近のオラクルは、独立な +0.13 pp で PPFG を選択することで、プロブレム当たりの利得を制限している。
  論文  参考訳（メタデータ） (2026-09-03T11:06:07Z)
• Zero-Flow Two-Sample Tests [47.04254380987003]
  そこで本研究では,2組のサンプルが同一分布から抽出されるか否かを判定するための2サンプル試験手法を提案する。 この試験はゼロフロー整合性(ゼロフロー整合性)(ZFD)というゼロフロー整合性(ゼロフロー整合性)に基づく統計的整合性の上に構築される。 我々はZFDの有効性を証明し、ゼロフロー2サンプルテスト(ZF2ST)と呼ばれる実用的な試験手順を提案する。
  論文  参考訳（メタデータ） (2026-07-23T17:27:23Z)
• The FID Lottery: Quantifying Hidden Randomness in Generative-Model Evaluation [55.62875959637507]
  本研究では,FIDを2軸パネル上のランダムな変数として扱う。 クラス条件の ImageNet 256x256 でトレーニングした数百の SiT ネットワーク上で,その分散を直接測定する。
  論文  参考訳（メタデータ） (2026-06-18T17:49:32Z)
• PAIR-CI: Calibrated Conditional Independence Testing for Causal Discovery with Incomplete Data [0.0]
  PAIR-CIは非パラメトリック条件独立(CI)テストであり,複数の命令を直接推論手順に統合することによりキャリブレーションを回復する。 確率的に一貫した分散推定器は、クロスバリデーションと多重計算による不確かさを共同で説明する。
  論文  参考訳（メタデータ） (2026-05-06T12:34:37Z)
• Towards Self-Supervised Covariance Estimation in Deep Heteroscedastic Regression [102.24287051757469]
  深部異方性回帰における自己教師付き共分散推定について検討する。 正規分布の間の2-ワッサーシュタイン距離の上界を導出する。 幅広い合成データセットと実データセットに対する実験により、提案された2-ワッサーシュタインと擬似ラベルアノテーションが結合した結果、計算的に安価で正確な深部ヘテロ代用回帰が導かれることが示された。
  論文  参考訳（メタデータ） (2025-02-14T22:37:11Z)
• A Kernel-Based Conditional Two-Sample Test Using Nearest Neighbors (with Applications to Calibration, Regression Curves, and Simulation-Based Inference) [3.622435665395788]
  本稿では,2つの条件分布の違いを検出するカーネルベースの尺度を提案する。 2つの条件分布が同じである場合、推定はガウス極限を持ち、その分散はデータから容易に推定できる単純な形式を持つ。 また、条件付き適合性問題に適用可能な推定値を用いた再サンプリングベースのテストも提供する。
  論文  参考訳（メタデータ） (2024-07-23T15:04:38Z)
• Nonparametric Conditional Local Independence Testing [69.31200003384122]
  条件付き局所独立は、連続的な時間プロセス間の独立関係である。 条件付き地域独立の非パラメトリックテストは行われていない。 二重機械学習に基づく非パラメトリックテストを提案する。
  論文  参考訳（メタデータ） (2022-03-25T10:31:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。