論文の概要: Interpolating Classifiers Make Few Mistakes

• arxiv url: http://arxiv.org/abs/2101.11815v1
• Date: Thu, 28 Jan 2021 04:51:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-01-31 17:57:31.685972
• Title: Interpolating Classifiers Make Few Mistakes
• Title（参考訳）: 補間分類器は間違いが少ない
• Authors: Tengyuan Liang, Benjamin Recht
• Abstract要約: 最小ノルム補間分類器(MNIC)の誤りを導出する。 MNIC は補間解のノルムに比例して一般化されることを示す。 また,人口階層の条件分布が全変量で十分に分離可能である限り,MNICは急速に一般化することを示した。
• 参考スコア（独自算出の注目度）: 32.317571566131335
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper provides elementary analyses of the regret and generalization of minimum-norm interpolating classifiers (MNIC). The MNIC is the function of smallest Reproducing Kernel Hilbert Space norm that perfectly interpolates a label pattern on a finite data set. We derive a mistake bound for MNIC and a regularized variant that holds for all data sets. This bound follows from elementary properties of matrix inverses. Under the assumption that the data is independently and identically distributed, the mistake bound implies that MNIC generalizes at a rate proportional to the norm of the interpolating solution and inversely proportional to the number of data points. This rate matches similar rates derived for margin classifiers and perceptrons. We derive several plausible generative models where the norm of the interpolating classifier is bounded or grows at a rate sublinear in $n$. We also show that as long as the population class conditional distributions are sufficiently separable in total variation, then MNIC generalizes with a fast rate.
• Abstract（参考訳）: 本稿では,最小ノルム補間分類器 (MNIC) の後悔と一般化に関する基礎的検討を行う。 MNICは、有限データセット上のラベルパターンを完全に補間する最小のKernel Hilbert Spaceノルムの関数である。 我々は、MNIC と全てのデータセットを保持する正規化された変種に対する誤りを導出する。 この境界は行列逆数の基本的性質から従う。 データが独立かつ同一に分散しているという仮定の下で、誤り境界は、mnicが補間解のノルムに比例し、データ点の数に逆比例する速度で一般化することを意味する。 このレートは、マージン分類器とパーセプトロンの類似率と一致する。 補間分類器のノルムが有界であるか、あるいは$n$のレートサブ線形で成長する可算生成モデルを導出する。 また,人口階層の条件分布が全変量で十分に分離可能である限り,MNICは急速に一般化することを示した。

関連論文リスト

• Generalization error of min-norm interpolators in transfer learning [2.7309692684728617]
  最小ノルム補間器は、現代の機械学習アルゴリズムの暗黙の正規化限界として自然に現れる。 多くのアプリケーションでは、トレーニング中に限られた量のテストデータが利用できるが、この設定におけるmin-normの特性は十分に理解されていない。 我々はこれらの特徴を達成するために、新しい異方性局所法を確立した。
  論文  参考訳（メタデータ） (2024-06-20T02:23:28Z)
• Entrywise error bounds for low-rank approximations of kernel matrices [55.524284152242096]
  切り抜き固有分解を用いて得られたカーネル行列の低ランク近似に対するエントリーワイド誤差境界を導出する。 重要な技術的革新は、小さな固有値に対応するカーネル行列の固有ベクトルの非局在化結果である。 我々は、合成および実世界のデータセットの集合に関する実証的研究により、我々の理論を検証した。
  論文  参考訳（メタデータ） (2024-05-23T12:26:25Z)
• Precise Asymptotic Generalization for Multiclass Classification with Overparameterized Linear Models [4.093769373833101]
  Subramanian et al.'22 の予想では、データポイント、特徴、クラスの数はすべて一緒になる。 我々の新しい下限は情報理論の強い逆に似ており、それらは誤分類率が0か1に近づくことを証明している。 厳密な解析の鍵はハンソン・ライトの不等式の新しい変種であり、スパースラベルの多重クラス問題に広く有用である。
  論文  参考訳（メタデータ） (2023-06-23T00:59:15Z)
• The Implicit Bias of Batch Normalization in Linear Models and Two-layer Linear Convolutional Neural Networks [117.93273337740442]
  勾配勾配勾配は、exp(-Omega(log2 t))$収束率でトレーニングデータ上の一様マージン分類器に収束することを示す。 また、バッチ正規化はパッチワイドの均一なマージンに対して暗黙の偏りを持つことを示す。
  論文  参考訳（メタデータ） (2023-06-20T16:58:00Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• Gaussian Universality of Linear Classifiers with Random Labels in High-Dimension [24.503842578208268]
  高次元における生成モデルから得られるデータは、ガウスデータと対応するデータ共分散の最小限の訓練損失を持つことを示す。 特に,同質なガウス雲と多モード生成ニューラルネットワークの任意の混合によって生成されたデータについて述べる。
  論文  参考訳（メタデータ） (2022-05-26T12:25:24Z)
• Information-Theoretic Generalization Bounds for Iterative Semi-Supervised Learning [81.1071978288003]
  特に,情報理論の原理を用いて,反復型SSLアルゴリズムのエミュレータ一般化誤差の振る舞いを理解することを目的とする。 我々の理論的結果は、クラス条件分散があまり大きくない場合、一般化誤差の上限は反復数とともに単調に減少するが、すぐに飽和することを示している。
  論文  参考訳（メタデータ） (2021-10-03T05:38:49Z)
• Uniform Convergence of Interpolators: Gaussian Width, Norm Bounds, and Benign Overfitting [35.78863301525758]
  任意の仮説クラスにおける補間子の一般化誤差に対して一様収束を保証する。 ユークリッド標準球への一般境界の適用は、最小ノルム補間器に対するBartlett et al. (2020) の一貫性を回復する。 我々は、少なくともいくつかの設定において、ノルムベースの一般化境界がどのように説明され、良性過剰適合の分析に使用されるかを示す。
  論文  参考訳（メタデータ） (2021-06-17T06:58:10Z)
• Dimension Free Generalization Bounds for Non Linear Metric Learning [61.193693608166114]
  我々はスパース体制と非スパース体制という2つの体制に対して一様一般化境界を提供する。 解の異なる新しい性質を頼りにすることで、次元自由一般化保証を提供することができることを示す。
  論文  参考訳（メタデータ） (2021-02-07T14:47:00Z)
• Information-Theoretic Limits for the Matrix Tensor Product [8.206394018475708]
  本稿では,ランダム行列の行列テンソル積を含む高次元推論問題について検討する。 本稿では,高次元行列保存信号の解析のための新しい手法を紹介する。
  論文  参考訳（メタデータ） (2020-05-22T17:03:48Z)
• Generalizing Convolutional Neural Networks for Equivariance to Lie Groups on Arbitrary Continuous Data [52.78581260260455]
  任意の特定のリー群からの変換に同値な畳み込み層を構築するための一般的な方法を提案する。 同じモデルアーキテクチャを画像、ボール・アンド・スティック分子データ、ハミルトン力学系に適用する。
  論文  参考訳（メタデータ） (2020-02-25T17:40:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。