Fugu-MT 論文翻訳(概要): Large Deviations for Classification Performance Analysis of Machine Learning Systems

論文の概要: Large Deviations for Classification Performance Analysis of Machine Learning Systems

arxiv url: http://arxiv.org/abs/2301.07104v1
Date: Mon, 16 Jan 2023 10:48:12 GMT
ステータス: 処理完了
システム内更新日: 2023-01-19 17:39:20.182531
Title: Large Deviations for Classification Performance Analysis of Machine Learning Systems
Title（参考訳）: 機械学習システムの分類性能解析のための大きな偏差
Authors: Paolo Braca, Leonardo M. Millefiori, Augusto Aubry, Antonio De Maio, Peter Willett
Abstract要約: 適切な条件下では、sim expleft(-n,I + o(n) right)$, $I$はエラー率、$n$はテストで利用可能な観測回数である。理論的な結果は、MNISTデータセットを使って最終的に検証される。
参考スコア（独自算出の注目度）: 16.74271332025289
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We study the performance of machine learning binary classification techniques in terms of error probabilities. The statistical test is based on the Data-Driven Decision Function (D3F), learned in the training phase, i.e., what is thresholded before the final binary decision is made. Based on large deviations theory, we show that under appropriate conditions the classification error probabilities vanish exponentially, as $\sim \exp\left(-n\,I + o(n) \right)$, where $I$ is the error rate and $n$ is the number of observations available for testing. We also propose two different approximations for the error probability curves, one based on a refined asymptotic formula (often referred to as exact asymptotics), and another one based on the central limit theorem. The theoretical findings are finally tested using the popular MNIST dataset.
Abstract（参考訳）: エラー確率の観点から機械学習バイナリ分類手法の性能について検討する。データ駆動決定関数(Data-Driven Decision Function, D3F)は、データ駆動決定関数(Data-Driven Decision Function, D3F)をベースとする統計テストである。大規模な偏差理論に基づき、適切な条件下で分類誤差確率は指数関数的に消えることを示し、$\sim \exp\left(-n\,I + o(n) \right)$、$I$は誤差率、$n$はテストで利用できる観測数である。また、誤差確率曲線に対する2つの異なる近似を提案し、一つは洗練された漸近式(しばしば完全漸近式と呼ばれる)に基づくもので、もう一つは中心極限定理に基づくものである。理論的な結果は、MNISTデータセットを使って最終的に検証される。

関連論文リスト

A Sharp Convergence Theory for The Probability Flow ODEs of Diffusion Models [45.60426164657739]
拡散型サンプリング器の非漸近収束理論を開発する。我々は、$d/varepsilon$がターゲット分布を$varepsilon$トータル偏差距離に近似するのに十分であることを証明した。我々の結果は、$ell$のスコア推定誤差がデータ生成プロセスの品質にどのように影響するかも特徴付ける。
論文参考訳（メタデータ） (2024-08-05T09:02:24Z)
Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
論文参考訳（メタデータ） (2023-06-15T16:30:08Z)
Improved Analysis of Score-based Generative Modeling: User-Friendly Bounds under Minimal Smoothness Assumptions [9.953088581242845]
2次モーメントを持つ任意のデータ分布に対して,コンバージェンス保証と複雑性を提供する。我々の結果は、対数共空性や機能的不等式を前提としない。我々の理論解析は、異なる離散近似の比較を提供し、実際の離散化点の選択を導くかもしれない。
論文参考訳（メタデータ） (2022-11-03T15:51:00Z)
Asymptotic Statistical Analysis of $f$-divergence GAN [13.587087960403199]
GAN(Generative Adversarial Networks)は、データ生成において大きな成功を収めている。 GANの一般$f$-divergence定式化の統計的挙動を考察する。得られた推定方法は、Adversarial Gradient Estimation (AGE)と呼ばれる。
論文参考訳（メタデータ） (2022-09-14T18:08:37Z)
Statistical Hypothesis Testing Based on Machine Learning: Large Deviations Analysis [15.605887551756933]
機械学習(ML)分類手法の性能、特に誤差確率がゼロに収束する速度について検討する。例えば $sim expleft(-n,I + o(n) right) のように指数関数的に消滅する誤差確率を示すMLの数学的条件を提供する。言い換えれば、分類誤差確率はゼロに収束し、その速度はトレーニング用に利用可能なデータセットの一部で計算できる。
論文参考訳（メタデータ） (2022-07-22T08:30:10Z)
Understanding the Under-Coverage Bias in Uncertainty Estimation [58.03725169462616]
量子レグレッションは、現実の望ましいカバレッジレベルよりもアンファンダーカバー(enmphunder-cover)する傾向がある。我々は、量子レグレッションが固有のアンダーカバーバイアスに悩まされていることを証明している。我々の理論は、この過大被覆バイアスが特定の高次元パラメータ推定誤差に起因することを明らかにしている。
論文参考訳（メタデータ） (2021-06-10T06:11:55Z)
Evaluating State-of-the-Art Classification Models Against Bayes Optimality [106.50867011164584]
正規化フローを用いて学習した生成モデルのベイズ誤差を正確に計算できることを示す。われわれの手法を用いて、最先端の分類モデルについて徹底的な調査を行う。
論文参考訳（メタデータ） (2021-06-07T06:21:20Z)
Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文参考訳（メタデータ） (2021-06-06T19:08:53Z)
Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
論文参考訳（メタデータ） (2020-06-22T21:12:31Z)
A Random Matrix Analysis of Random Fourier Features: Beyond the Gaussian Kernel, a Precise Phase Transition, and the Corresponding Double Descent [85.77233010209368]
本稿では、データサンプルの数が$n$である現実的な環境で、ランダムフーリエ(RFF)回帰の正確さを特徴付けます。この分析はまた、大きな$n,p,N$のトレーニングとテスト回帰エラーの正確な推定も提供する。
論文参考訳（メタデータ） (2020-06-09T02:05:40Z)
Error bounds in estimating the out-of-sample prediction error using leave-one-out cross validation in high-dimensions [19.439945058410203]
高次元状態におけるサンプル外リスク推定の問題について検討する。広範囲にわたる経験的証拠は、アウト・ワン・アウト・クロス・バリデーションの正確さを裏付ける。この理論の技術的利点の1つは、拡張可能な近似LOに関する最近の文献から得られたいくつかの結果を明確化し、接続することができることである。
論文参考訳（メタデータ） (2020-03-03T20:07:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。