論文の概要: Optimal Learning
- arxiv url: http://arxiv.org/abs/2203.15994v1
- Date: Wed, 30 Mar 2022 02:05:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-01 01:58:40.920516
- Title: Optimal Learning
- Title（参考訳）: 最適学習
- Authors: Peter Binev, Andrea Bonito, Ronald DeVore, and Guergana Petrova
- Abstract要約: 本稿では、与えられたデータから未知の関数を$f$で学習する問題を考察する。
学習問題は、データから$f$の値を予測する近似$hat f$ to $f$を与えることである。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper studies the problem of learning an unknown function $f$ from given
data about $f$. The learning problem is to give an approximation $\hat f$ to
$f$ that predicts the values of $f$ away from the data. There are numerous
settings for this learning problem depending on (i) what additional information
we have about $f$ (known as a model class assumption), (ii) how we measure the
accuracy of how well $\hat f$ predicts $f$, (iii) what is known about the data
and data sites, (iv) whether the data observations are polluted by noise. A
mathematical description of the optimal performance possible (the smallest
possible error of recovery) is known in the presence of a model class
assumption. Under standard model class assumptions, it is shown in this paper
that a near optimal $\hat f$ can be found by solving a certain discrete
over-parameterized optimization problem with a penalty term. Here, near optimal
means that the error is bounded by a fixed constant times the optimal error.
This explains the advantage of over-parameterization which is commonly used in
modern machine learning. The main results of this paper prove that
over-parameterized learning with an appropriate loss function gives a near
optimal approximation $\hat f$ of the function $f$ from which the data is
collected. Quantitative bounds are given for how much over-parameterization
needs to be employed and how the penalization needs to be scaled in order to
guarantee a near optimal recovery of $f$. An extension of these results to the
case where the data is polluted by additive deterministic noise is also given.
- Abstract（参考訳）: 本稿では、与えられたデータから未知の関数を$f$で学習する問題を考察する。
学習問題は、データから$f$の値を予測する$\hat f$から$f$の近似を与えることである。
この学習問題には、多くの設定がある。
(i)$f$に関する追加情報(モデルクラスの仮定として知られる)
(ii)$\hat f$が$f$をいかに正確に予測するかを測定する方法
(iii)データ及びデータサイトについて知られているもの
(iv)データ観測がノイズによって汚染されるかどうか。
最適性能の数学的記述(回復の最小限の誤差)はモデルクラス仮定の存在下で知られている。
標準モデルクラス仮定の下では、ペナルティ項によってある離散的超パラメータ最適化問題を解いて、ほぼ最適の$\hat f$を求めることができる。
ここで、最適に近いことは、誤差が最適誤差の一定倍の定数で区切られることを意味する。
これは、現代の機械学習で一般的に使用される過剰パラメータ化の利点を説明する。
本論文の主な結果は、適切な損失関数を持つ過小パラメータ学習が、データ収集を行う関数 $f$ のほぼ最適近似 $\hat f$ を与えることを示している。
量的境界は、オーバーパラメータ化がどの程度必要か、ペナリゼーションがいかにスケールされ、ほぼ最適の回復値が$f$であるかを保証するために与えられる。
これらの結果を、加法的決定論的ノイズによってデータが汚染される場合にも拡張する。
関連論文リスト
- Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。
このような問題は医学、物理学、機械学習で発生する。
両種類の雑音下で提案アルゴリズムの収束保証を行う。
論文 参考訳（メタデータ） (2024-11-21T10:26:17Z) - Inverse Entropic Optimal Transport Solves Semi-supervised Learning via Data Likelihood Maximization [65.8915778873691]
条件分布は機械学習の中心的な問題です
ペアデータとペアデータの両方を統合する新しい学習パラダイムを提案する。
我々のアプローチはまた、興味深いことに逆エントロピー最適輸送(OT)と結びついている。
論文 参考訳（メタデータ） (2024-10-03T16:12:59Z) - Online non-parametric likelihood-ratio estimation by Pearson-divergence
functional minimization [55.98760097296213]
iid 観測のペア $(x_t sim p, x'_t sim q)$ が時間の経過とともに観測されるような,オンラインな非パラメトリック LRE (OLRE) のための新しいフレームワークを提案する。
本稿では,OLRE法の性能に関する理論的保証と,合成実験における実証的検証について述べる。
論文 参考訳（メタデータ） (2023-11-03T13:20:11Z) - A Near-Optimal Algorithm for Univariate Zeroth-Order Budget Convex
Optimization [4.608510640547952]
我々は、Dy Searchのほぼ最適最適化誤差を保証する。
誤差境界における大域リプシッツ定数への古典的依存は、予算の粒度のアーティファクトであることを示す。
論文 参考訳（メタデータ） (2022-08-13T19:57:04Z) - Statistical Hypothesis Testing Based on Machine Learning: Large
Deviations Analysis [15.605887551756933]
機械学習(ML)分類手法の性能、特に誤差確率がゼロに収束する速度について検討する。
例えば $sim expleft(-n,I + o(n) right) のように指数関数的に消滅する誤差確率を示すMLの数学的条件を提供する。
言い換えれば、分類誤差確率はゼロに収束し、その速度はトレーニング用に利用可能なデータセットの一部で計算できる。
論文 参考訳（メタデータ） (2022-07-22T08:30:10Z) - Memorize to Generalize: on the Necessity of Interpolation in High
Dimensional Linear Regression [6.594338220264161]
機械学習問題における最適な予測リスクを達成するには、トレーニングデータを補間する必要がある。
この設定では、トレーニングエラーで予測(テスト)エラーが必ずスケールするかを特徴付ける。
最適な性能には、問題の固有のノイズフロアよりもかなり高い精度でトレーニングデータを取り付ける必要がある。
論文 参考訳（メタデータ） (2022-02-20T18:51:45Z) - High Dimensional Differentially Private Stochastic Optimization with
Heavy-tailed Data [8.55881355051688]
本研究では,高次元空間における重み付きデータを用いたDP-SCOの問題に関する最初の研究を行う。
損失関数が滑らかで、その勾配が第二次モーメントに有界ならば、$epsilon$-DPモデルで$tildeO(fraclog d(nepsilon)frac13)$の(高い確率)誤差境界(過剰な集団リスク)を得ることが可能である。
論文の第2部では,重み付きデータを用いたスパース学習について検討した。
論文 参考訳（メタデータ） (2021-07-23T11:03:21Z) - Lockout: Sparse Regularization of Neural Networks [0.0]
パラメータ $w$ の値に制約 $P(w)leq t$ を置き、精度を向上させるために正規化を適用する。
我々は、任意の微分可能関数$f$と損失$L$に対してそのようなすべての解を提供する高速アルゴリズムと、各パラメータの絶対値の単調関数である任意の制約$P$を提案する。
論文 参考訳（メタデータ） (2021-07-15T07:17:20Z) - SLOE: A Faster Method for Statistical Inference in High-Dimensional
Logistic Regression [68.66245730450915]
実用データセットに対する予測の偏見を回避し、頻繁な不確実性を推定する改善された手法を開発している。
私たちの主な貢献は、推定と推論の計算時間をマグニチュードの順序で短縮する収束保証付き信号強度の推定器SLOEです。
論文 参考訳（メタデータ） (2021-03-23T17:48:56Z) - Finding Global Minima via Kernel Approximations [90.42048080064849]
関数評価のみに基づく滑らかな関数のグローバル最小化を考える。
本稿では,近似関数を共同でモデル化し,大域的最小値を求める手法を検討する。
論文 参考訳（メタデータ） (2020-12-22T12:59:30Z) - Piecewise Linear Regression via a Difference of Convex Functions [50.89452535187813]
本稿では,データに対する凸関数(DC関数)の差を利用した線形回帰手法を提案する。
実際に実装可能であることを示すとともに,実世界のデータセット上で既存の回帰/分類手法に匹敵する性能を有することを実証的に検証した。
論文 参考訳（メタデータ） (2020-07-05T18:58:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。