論文の概要: Reducing cross-sample prediction churn in scientific machine learning

• arxiv url: http://arxiv.org/abs/2605.13826v1
• Date: Wed, 13 May 2026 17:50:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-14 23:30:28.217227
• Title: Reducing cross-sample prediction churn in scientific machine learning
• Title（参考訳）: 科学機械学習におけるクロスサンプル予測精度の低下
• Authors: Gordan Prastalo, Kevin Maik Jablonka,
• Abstract要約: クロスサンプル予測は、科学的-MLベンチマークレポートでは、パラメータ側とデータ側メソッドが実際に異なるメトリックで区別できないため、予測性能と並行してカラムに値する。
• 参考スコア（独自算出の注目度）: 0.155963096715749
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Scientific machine learning reports predictive performance. It does not report whether the same prediction would survive a different draw of training data. Across $9$ chemistry benchmarks, two classifiers trained on independent bootstraps of the same training set agree on aggregate accuracy to within $1.3\text{--}4.2$ percentage points but disagree on the class label of $8.0\text{--}21.8\%$ of test molecules. We call this gap \emph{cross-sample prediction churn}. The standard parameter-side techniques (deep ensembles, MC dropout, stochastic weight averaging) do not reduce this gap; two data-side methods do. The first is $K$-bootstrap bagging, which cuts the rate $40\text{--}54\%$ on every dataset at no accuracy cost ($K{\times}$-ERM compute). The second is \emph{twin-bootstrap}, our proposal: two networks trained jointly on independent bootstraps with a sym-KL consistency loss between their predictions, which at matched $2{\times}$-ERM compute reduces churn a further median $45\%$ beyond bagging-$K{=}2$. Cross-sample prediction churn deserves a column alongside predictive performance in scientific-ML benchmark reports, because without it the parameter-side and data-side methods are indistinguishable on the metric they actually differ on.
• Abstract（参考訳）: 科学機械学習は予測性能を報告します。 同じ予測が異なるトレーニングデータの引き分けを生き残るかどうかは報告されていない。 9ドルの化学ベンチマークで、同じトレーニングセットの独立ブートストラップで訓練された2つの分類器は、合計精度が1.3\text{--}4.2$%の範囲内であることに同意するが、テスト分子の8.0\text{-}21.8\%のクラスラベルには同意しない。 このギャップを "emph{cross-sample prediction churn}" と呼ぶ。 標準パラメーター側技術(ディープアンサンブル、MCドロップアウト、確率的ウェイト平均化)はこのギャップを減らさない。 1つは$K$-bootstrap baggingで、正確性のないコストでデータセット毎に$40\text{-}54\%$を値下げする(K{\times}$-ERM計算)。 ふたつのネットワークは独立ブートストラップでトレーニングされ、予測間の同期-KLの整合性を損なう。この2つのネットワークは、一致した2ドル{\times}$-ERM計算によって、バッグング-$K{=}2$以上の中央値45\%のチャーンを減少させる。 科学とMLのベンチマークレポートでは、パラメータサイドとデータサイドのメソッドが実際に異なるメトリックで区別できないため、クロスサンプルの予測シューンは予測性能に相応しい。

関連論文リスト

• Blackbox Dataset Inference for LLM [27.02176845242058]
  大規模言語モデルのトレーニングには、個人識別可能な情報と著作権のある資料が含まれる。 本稿では、被疑者モデルがトレーニングに$mathcalD$という犠牲データセットを使用したかどうかを検知することを目的としたテキストデータセット推論について検討する。
  論文  参考訳（メタデータ） (2025-07-04T14:45:41Z)
• Conformal Predictions under Markovian Data [50.24983453990065]
  マルコフデータに適用した場合の分割等角予測法について検討する。 データ間の相関によって引き起こされる被覆率の差を定量化する。 K$-split CP は鎖の混合特性に適応する手法である。
  論文  参考訳（メタデータ） (2024-07-21T22:01:09Z)
• Semidefinite programming relaxations and debiasing for MAXCUT-based clustering [1.9761774213809036]
  2つのガウス分布を$mathbbRp$で混合して引き出す小さなデータサンプルを$n$で分割する問題を考察する。 グラフ上の最大カットを求めるように定式化された整数二次プログラムの半定値プログラミング緩和を用いる。
  論文  参考訳（メタデータ） (2024-01-16T03:14:24Z)
• Kernel-Based Tests for Likelihood-Free Hypothesis Testing [21.143798051525646]
  2つのバランスの取れたクラスから$n$の観測が与えられたとき、追加の$m$入力をラベル付けするタスクを考える。 この問題の特別なケースはよく知られており、$m=1$はバイナリ分類に対応し、$mapprox n$は2サンプルテストに相当する。 最近の研究で、$m$と$n$の間に根本的なトレードオフがあることが判明した。
  論文  参考訳（メタデータ） (2023-08-17T15:24:03Z)
• Statistical Learning under Heterogeneous Distribution Shift [71.8393170225794]
  ground-truth predictor is additive $mathbbE[mathbfz mid mathbfx,mathbfy] = f_star(mathbfx) +g_star(mathbfy)$.
  論文  参考訳（メタデータ） (2023-02-27T16:34:21Z)
• Beyond Invariance: Test-Time Label-Shift Adaptation for Distributions with "Spurious" Correlations [44.99833362998488]
  テスト時のデータ分散の変化は、予測モデルのパフォーマンスに有害な影響を及ぼす可能性がある。 本研究では,未ラベルサンプルに適用したEMを用いて,共同分布の$p(y, z)$の変化に適応するテストタイムラベルシフト補正を提案する。
  論文  参考訳（メタデータ） (2022-11-28T18:52:33Z)
• Bias Mimicking: A Simple Sampling Approach for Bias Mitigation [57.17709477668213]
  本稿では,新しいクラス条件サンプリング手法であるBias Mimickingを紹介する。 Bias Mimickingは、4つのベンチマークで3%の精度でサンプリングの精度を向上する。
  論文  参考訳（メタデータ） (2022-09-30T17:33:00Z)
• Mediated Uncoupled Learning: Learning Functions without Direct Input-output Correspondences [80.95776331769899]
  ペア化されたデータがない場合、$X$から$Y$を予測するタスクを考えます。 単純なアプローチは、$S_X$で$U$から$U$を予測し、$S_Y$で$U$から$Y$を予測することである。 我々は$U$を予測しない新しい方法を提案するが、$f(X)$と$S_X$をトレーニングすることで$Y = f(X)$を直接学習し、$h(U)$を予測する。
  論文  参考訳（メタデータ） (2021-07-16T22:13:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。