論文の概要: Statistical Hypothesis Testing Based on Machine Learning: Large
Deviations Analysis
- arxiv url: http://arxiv.org/abs/2207.10939v1
- Date: Fri, 22 Jul 2022 08:30:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-25 12:34:40.470825
- Title: Statistical Hypothesis Testing Based on Machine Learning: Large
Deviations Analysis
- Title（参考訳）: 機械学習に基づく統計的仮説テスト:大規模偏差解析
- Authors: Paolo Braca, Leonardo M. Millefiori, Augusto Aubry, Stefano Marano,
Antonio De Maio and Peter Willett
- Abstract要約: 機械学習(ML)分類手法の性能、特に誤差確率がゼロに収束する速度について検討する。
例えば $sim expleft(-n,I + o(n) right) のように指数関数的に消滅する誤差確率を示すMLの数学的条件を提供する。
言い換えれば、分類誤差確率はゼロに収束し、その速度はトレーニング用に利用可能なデータセットの一部で計算できる。
- 参考スコア（独自算出の注目度）: 15.605887551756933
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the performance -- and specifically the rate at which the error
probability converges to zero -- of Machine Learning (ML) classification
techniques. Leveraging the theory of large deviations, we provide the
mathematical conditions for a ML classifier to exhibit error probabilities that
vanish exponentially, say $\sim \exp\left(-n\,I + o(n) \right)$, where $n$ is
the number of informative observations available for testing (or another
relevant parameter, such as the size of the target in an image) and $I$ is the
error rate. Such conditions depend on the Fenchel-Legendre transform of the
cumulant-generating function of the Data-Driven Decision Function (D3F, i.e.,
what is thresholded before the final binary decision is made) learned in the
training phase. As such, the D3F and, consequently, the related error rate $I$,
depend on the given training set, which is assumed of finite size.
Interestingly, these conditions can be verified and tested numerically
exploiting the available dataset, or a synthetic dataset, generated according
to the available information on the underlying statistical model. In other
words, the classification error probability convergence to zero and its rate
can be computed on a portion of the dataset available for training. Coherently
with the large deviations theory, we can also establish the convergence, for
$n$ large enough, of the normalized D3F statistic to a Gaussian distribution.
This property is exploited to set a desired asymptotic false alarm probability,
which empirically turns out to be accurate even for quite realistic values of
$n$. Furthermore, approximate error probability curves $\sim \zeta_n
\exp\left(-n\,I \right)$ are provided, thanks to the refined asymptotic
derivation (often referred to as exact asymptotics), where $\zeta_n$ represents
the most representative sub-exponential terms of the error probabilities.
- Abstract（参考訳）: 機械学習(ml)分類手法の性能(特にエラー確率がゼロに収束する率)について検討する。
大きな偏差の理論を利用して、ml分類器が指数関数的に消滅するエラー確率を示すための数学的条件、例えば$\sim \exp\left(-n\,i + o(n) \right)$ を提供する。
このような条件は、トレーニングフェーズで学習したデータ駆動決定関数(d3f、つまり最終二分決定が行われる前にしきい値となるもの)の累積生成関数のfenchel-legendre変換に依存する。
したがって、D3F および従って、関連する誤差レート $I$ は、与えられたトレーニングセットに依存し、有限サイズと仮定される。
興味深いことに、これらの条件は、基礎となる統計モデルで利用可能な情報に基づいて生成された利用可能なデータセット、または合成データセットを数値的に検証し、検証することができる。
言い換えれば、ゼロへの分類誤差確率収束とそのレートは、トレーニングに利用可能なデータセットの一部で計算できる。
大きな偏差理論と整合して、正規化された d3f 統計量からガウス分布への収束を十分に確立することができる。
この性質は所望の漸近的な誤報確率を設定するために利用され、非常に現実的な値である$n$でも経験的に正確であることが分かる。
さらに、近似誤差確率曲線 $\sim \zeta_n \exp\left(-n\,I \right)$ は、洗練された漸近微分(しばしば正確な漸近と呼ばれる)のおかげで与えられる。
関連論文リスト
- A Sharp Convergence Theory for The Probability Flow ODEs of Diffusion Models [45.60426164657739]
拡散型サンプリング器の非漸近収束理論を開発する。
我々は、$d/varepsilon$がターゲット分布を$varepsilon$トータル偏差距離に近似するのに十分であることを証明した。
我々の結果は、$ell$のスコア推定誤差がデータ生成プロセスの品質にどのように影響するかも特徴付ける。
論文 参考訳（メタデータ） (2024-08-05T09:02:24Z) - Doubly Robust Conditional Independence Testing with Generative Neural Networks [8.323172773256449]
本稿では、第3の確率ベクトル$Z$を与えられた2つのジェネリックランダムベクトル$X$と$Y$の条件独立性をテストする問題に対処する。
条件分布を明示的に推定しない新しい非パラメトリック試験法を提案する。
論文 参考訳（メタデータ） (2024-07-25T01:28:59Z) - Scaling Laws in Linear Regression: Compute, Parameters, and Data [86.48154162485712]
無限次元線形回帰セットアップにおけるスケーリング法則の理論について検討する。
テストエラーの再現可能な部分は$Theta(-(a-1) + N-(a-1)/a)$であることを示す。
我々の理論は経験的ニューラルスケーリング法則と一致し、数値シミュレーションによって検証される。
論文 参考訳（メタデータ） (2024-06-12T17:53:29Z) - Convergence Analysis of Probability Flow ODE for Score-based Generative Models [5.939858158928473]
確率フローODEに基づく決定論的サンプリング器の収束特性を理論的・数値的両面から検討する。
連続時間レベルでは、ターゲットと生成されたデータ分布の総変動を$mathcalO(d3/4delta1/2)$で表すことができる。
論文 参考訳（メタデータ） (2024-04-15T12:29:28Z) - Byzantine-resilient Federated Learning With Adaptivity to Data Heterogeneity [54.145730036889496]
本稿では、ビザンツの悪意ある攻撃データの存在下でのグラディエント・ラーニング(FL)を扱う。
Average Algorithm (RAGA) が提案され、ロバストネスアグリゲーションを活用してデータセットを選択することができる。
論文 参考訳（メタデータ） (2024-03-20T08:15:08Z) - Large Deviations for Classification Performance Analysis of Machine
Learning Systems [16.74271332025289]
適切な条件下では、sim expleft(-n,I + o(n) right)$, $I$はエラー率、$n$はテストで利用可能な観測回数である。
理論的な結果は、MNISTデータセットを使って最終的に検証される。
論文 参考訳（メタデータ） (2023-01-16T10:48:12Z) - How Does Pseudo-Labeling Affect the Generalization Error of the
Semi-Supervised Gibbs Algorithm? [73.80001705134147]
擬似ラベル付き半教師付き学習(SSL)におけるGibsアルゴリズムによる予測一般化誤差(ゲンエラー)を正確に評価する。
ゲンエラーは、出力仮説、擬ラベルデータセット、ラベル付きデータセットの間の対称性付きKL情報によって表現される。
論文 参考訳（メタデータ） (2022-10-15T04:11:56Z) - Understanding the Under-Coverage Bias in Uncertainty Estimation [58.03725169462616]
量子レグレッションは、現実の望ましいカバレッジレベルよりもアンファンダーカバー(enmphunder-cover)する傾向がある。
我々は、量子レグレッションが固有のアンダーカバーバイアスに悩まされていることを証明している。
我々の理論は、この過大被覆バイアスが特定の高次元パラメータ推定誤差に起因することを明らかにしている。
論文 参考訳（メタデータ） (2021-06-10T06:11:55Z) - SLOE: A Faster Method for Statistical Inference in High-Dimensional
Logistic Regression [68.66245730450915]
実用データセットに対する予測の偏見を回避し、頻繁な不確実性を推定する改善された手法を開発している。
私たちの主な貢献は、推定と推論の計算時間をマグニチュードの順序で短縮する収束保証付き信号強度の推定器SLOEです。
論文 参考訳（メタデータ） (2021-03-23T17:48:56Z) - A Random Matrix Analysis of Random Fourier Features: Beyond the Gaussian
Kernel, a Precise Phase Transition, and the Corresponding Double Descent [85.77233010209368]
本稿では、データサンプルの数が$n$である現実的な環境で、ランダムフーリエ(RFF)回帰の正確さを特徴付けます。
この分析はまた、大きな$n,p,N$のトレーニングとテスト回帰エラーの正確な推定も提供する。
論文 参考訳（メタデータ） (2020-06-09T02:05:40Z) - Error bounds in estimating the out-of-sample prediction error using
leave-one-out cross validation in high-dimensions [19.439945058410203]
高次元状態におけるサンプル外リスク推定の問題について検討する。
広範囲にわたる経験的証拠は、アウト・ワン・アウト・クロス・バリデーションの正確さを裏付ける。
この理論の技術的利点の1つは、拡張可能な近似LOに関する最近の文献から得られたいくつかの結果を明確化し、接続することができることである。
論文 参考訳（メタデータ） (2020-03-03T20:07:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。