論文の概要: A Universal Law of Robustness via Isoperimetry

• arxiv url: http://arxiv.org/abs/2105.12806v1
• Date: Wed, 26 May 2021 19:49:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-29 12:53:17.676644
• Title: A Universal Law of Robustness via Isoperimetry
• Title（参考訳）: isoperimetry によるロバストネスの普遍的法則
• Authors: S\'ebastien Bubeck, Mark Sellke
• Abstract要約: スムースには単なるパラメータ以上の$d$が必要で、$d$は周囲のデータ次元である。 この普遍的なロバスト性則を、大きさの重みを持つ任意の滑らかなパラメトリケート関数クラスに対して証明する。
• 参考スコア（独自算出の注目度）: 1.484852576248587
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Classically, data interpolation with a parametrized model class is possible as long as the number of parameters is larger than the number of equations to be satisfied. A puzzling phenomenon in deep learning is that models are trained with many more parameters than what this classical theory would suggest. We propose a theoretical explanation for this phenomenon. We prove that for a broad class of data distributions and model classes, overparametrization is necessary if one wants to interpolate the data smoothly. Namely we show that smooth interpolation requires $d$ times more parameters than mere interpolation, where $d$ is the ambient data dimension. We prove this universal law of robustness for any smoothly parametrized function class with polynomial size weights, and any covariate distribution verifying isoperimetry. In the case of two-layers neural networks and Gaussian covariates, this law was conjectured in prior work by Bubeck, Li and Nagaraj.
• Abstract（参考訳）: 古典的には、パラメータの数が満たすべき方程式の数よりも大きい限り、パラメータ化されたモデルクラスとのデータの補間が可能である。 ディープラーニングにおけるファズリング現象は、モデルが古典理論が示唆するよりも多くのパラメータで訓練されていることである。 我々はこの現象の理論的説明を提案する。 広範にわたるデータ分散とモデルクラスでは、データをスムーズに補間したい場合、過剰パラメータ化が必要であることを証明します。 つまり、スムーズな補間には単なる補間よりも$d$のパラメータが必要であり、$d$は周囲のデータ次元である。 多項式サイズの重みを持つ滑らかなパラメトリケート関数クラスと、同値性を検証する共変量分布の普遍的なロバスト性法則を証明する。 2層ニューラルネットワークとガウス共変量の場合、この法則はbubeck、li、nagarajによって先行研究で予想された。

関連論文リスト

• Highly Adaptive Ridge [84.38107748875144]
  直交可積分な部分微分を持つ右連続函数のクラスにおいて,$n-2/3$自由次元L2収束率を達成する回帰法を提案する。 Harは、飽和ゼロオーダーテンソル積スプライン基底展開に基づいて、特定のデータ適応型カーネルで正確にカーネルリッジレグレッションを行う。 我々は、特に小さなデータセットに対する最先端アルゴリズムよりも経験的性能が優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-03T17:06:06Z)
• Scaling Laws in Linear Regression: Compute, Parameters, and Data [86.48154162485712]
  無限次元線形回帰セットアップにおけるスケーリング法則の理論について検討する。 テストエラーの再現可能な部分は$Theta(-(a-1) + N-(a-1)/a)$であることを示す。 我々の理論は経験的ニューラルスケーリング法則と一致し、数値シミュレーションによって検証される。
  論文  参考訳（メタデータ） (2024-06-12T17:53:29Z)
• Implicit Manifold Gaussian Process Regression [49.0787777751317]
  ガウス過程の回帰は、よく校正された不確実性推定を提供するために広く用いられている。 これは、データが実際に存在する暗黙の低次元多様体のため、高次元データに苦しむ。 本稿では,データ(ラベル付きおよびラベルなし)から直接暗黙構造を完全に微分可能な方法で推定できる手法を提案する。
  論文  参考訳（メタデータ） (2023-10-30T09:52:48Z)
• Distribution learning via neural differential equations: a nonparametric statistical perspective [1.4436965372953483]
  この研究は、確率変換によって訓練されたODEモデルによる分布学習のための最初の一般統計収束解析を確立する。 後者はクラス $mathcal F$ の$C1$-metric entropy で定量化できることを示す。 次に、この一般フレームワークを$Ck$-smoothターゲット密度の設定に適用し、関連する2つの速度場クラスに対する最小最適収束率を$mathcal F$:$Ck$関数とニューラルネットワークに設定する。
  論文  参考訳（メタデータ） (2023-09-03T00:21:37Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• A Law of Robustness beyond Isoperimetry [84.33752026418045]
  我々は、任意の分布上でニューラルネットワークパラメータを補間する頑健性の低い$Omega(sqrtn/p)$を証明した。 次に、$n=mathrmpoly(d)$のとき、スムーズなデータに対する過度なパラメータ化の利点を示す。 我々は、$n=exp(omega(d))$ のとき、$O(1)$-Lipschitz の頑健な補間関数の存在を否定する。
  論文  参考訳（メタデータ） (2022-02-23T16:10:23Z)
• Post-mortem on a deep learning contest: a Simpson's paradox and the complementary roles of scale metrics versus shape metrics [61.49826776409194]
  我々は、ニューラルネットワーク(NN)モデルの一般化精度を予測するために、コンテストで公に利用可能にされたモデルのコーパスを分析する。 メトリクスが全体としてよく機能するが、データのサブパーティションではあまり機能しない。 本稿では,データに依存しない2つの新しい形状指標と,一連のNNのテスト精度の傾向を予測できるデータ依存指標を提案する。
  論文  参考訳（メタデータ） (2021-06-01T19:19:49Z)
• Fitting Elephants [0.0]
  最新の機械学習(ML)アプローチ、cf。 deep nets (dnns) はノイズの多いデータを補間しながらもうまく一般化する。 これは統計的補間(SCI)によって理解できる。 SCIは、純粋に経験的なアプローチがうまく予測できることを示している。 しかし、データは理論的洞察を提供しておらず、トレーニングデータ要件は禁止される可能性がある。
  論文  参考訳（メタデータ） (2021-03-31T05:50:39Z)
• Fitting very flexible models: Linear regression with large numbers of parameters [0.0]
  リニアフィッティングはデータの一般化とデノライゼーションに使用される。 この基底関数のフィッティングについて, 通常の最小二乗とその拡張を用いて論じる。 無限パラメータの限界を取ることさえ可能であり、基礎と正規化が正しく選択された場合、最小の正方形の適合はプロセスの平均になります。
  論文  参考訳（メタデータ） (2021-01-15T21:08:34Z)
• Sparse Gaussian Processes with Spherical Harmonic Features [14.72311048788194]
  領域間変分ガウス過程(GP)の新たなクラスを導入する。 我々の推論スキームは変分フーリエの特徴に匹敵するが、次元の呪いに苦しむことはない。 実験の結果,本モデルでは,600万項目のデータセットに対して,2桁の精度で回帰モデルを適合させることができることがわかった。
  論文  参考訳（メタデータ） (2020-06-30T10:19:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。