論文の概要: Two Phases of Scaling Laws for Nearest Neighbor Classifiers
- arxiv url: http://arxiv.org/abs/2308.08247v1
- Date: Wed, 16 Aug 2023 09:28:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-17 14:03:25.488290
- Title: Two Phases of Scaling Laws for Nearest Neighbor Classifiers
- Title（参考訳）: 最も近傍の分類器のスケーリング法則の2相
- Authors: Pengkun Yang, Jingzhao Zhang
- Abstract要約: 高速スケーリング法則は、データとモデルサイズを単純に増やすことで、機械学習の問題を解決することができることを意味している。
第1段階では、一般化誤差はデータ次元に指数関数的に依存し、急速に減少する。
- 参考スコア（独自算出の注目度）: 18.93620861346151
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: A scaling law refers to the observation that the test performance of a model
improves as the number of training data increases. A fast scaling law implies
that one can solve machine learning problems by simply boosting the data and
the model sizes. Yet, in many cases, the benefit of adding more data can be
negligible. In this work, we study the rate of scaling laws of nearest neighbor
classifiers. We show that a scaling law can have two phases: in the first
phase, the generalization error depends polynomially on the data dimension and
decreases fast; whereas in the second phase, the error depends exponentially on
the data dimension and decreases slowly. Our analysis highlights the complexity
of the data distribution in determining the generalization error. When the data
distributes benignly, our result suggests that nearest neighbor classifier can
achieve a generalization error that depends polynomially, instead of
exponentially, on the data dimension.
- Abstract（参考訳）: スケーリング法則は、トレーニングデータの数が増加するにつれて、モデルの試験性能が向上することを示す。
高速スケーリングの法則は、データとモデルのサイズを単純に増やすことで、機械学習の問題を解決できることを意味する。
しかし、多くの場合、より多くのデータを追加する利点は無視できる。
本研究では,近傍の分類器のスケーリング法則について検討する。
第1相では、一般化誤差はデータ次元に多項式依存し、急速に減少するが、第2相では、誤差はデータ次元に指数関数的に依存し、ゆっくりと減少する。
本分析は,一般化誤差を決定する際のデータ分布の複雑さを明らかにする。
この結果から,近傍の分類器は指数関数的ではなく多項式的にデータ次元に依存する一般化誤差を達成できることが示唆された。
関連論文リスト
- Understanding Scaling Laws with Statistical and Approximation Theory for Transformer Neural Networks on Intrinsically Low-dimensional Data [4.481230230086981]
ディープニューラルネットワークでは、モデルのサイズとデータサイズの両方に依存するパワースケーリング法則に従うために、モデルの一般化誤差がしばしば観察される。
本理論は, 一般化誤差とトレーニングデータサイズと変圧器のネットワークサイズとの間のパワー則を予測する。
多様体仮説の下で低次元のデータ構造を利用することにより、データ幾何学を尊重する方法でトランスフォーマースケーリング法則を説明することができる。
論文 参考訳（メタデータ） (2024-11-11T01:05:28Z) - Information-Theoretic Foundations for Neural Scaling Laws [20.617552198581024]
我々は、ニューラルスケーリング法則のための情報理論の基礎を開発する。
データとモデルサイズの間の最適関係は、対数的要因まで線形であることが観察された。
論文 参考訳（メタデータ） (2024-06-28T02:20:54Z) - Scaling Laws in Linear Regression: Compute, Parameters, and Data [86.48154162485712]
無限次元線形回帰セットアップにおけるスケーリング法則の理論について検討する。
テストエラーの再現可能な部分は$Theta(-(a-1) + N-(a-1)/a)$であることを示す。
我々の理論は経験的ニューラルスケーリング法則と一致し、数値シミュレーションによって検証される。
論文 参考訳（メタデータ） (2024-06-12T17:53:29Z) - Scaling Laws for the Value of Individual Data Points in Machine Learning [55.596413470429475]
個々のデータポイントの値のスケーリング行動を調べることによって、新しい視点を導入する。
スケーリング法則を支持するための学習理論を提供し、それが様々なモデルクラスにまたがっていることを実証的に観察する。
私たちの研究は、個々のデータポイントの値のスケーリング特性を理解し、活用するための第一歩です。
論文 参考訳（メタデータ） (2024-05-30T20:10:24Z) - Precise Learning Curves and Higher-Order Scaling Limits for Dot Product
Kernel Regression [41.48538038768993]
本稿では,ドット積カーネルのカーネルリッジ回帰問題に焦点をあてる。
我々は、任意の整数$r$に対して$m approx dr/r!$が常に学習曲線のピークを観測し、複数のサンプルワイズと非自明な振る舞いを複数のスケールで達成する。
論文 参考訳（メタデータ） (2022-05-30T04:21:31Z) - Shape complexity in cluster analysis [0.0]
クラスタ分析において、一般的な第一歩は、データをクラスタに分割することを目的として、データをスケールすることだ。
ここでは,クラスタリングに先立って使用するスケーリング係数の獲得を目的として,データの多次元形状の利用について検討する。
いくつかの象徴的なデータセットで、新しいアプローチの強みと潜在的な弱点を強調します。
論文 参考訳（メタデータ） (2022-05-17T01:33:15Z) - Data Scaling Laws in NMT: The Effect of Noise and Architecture [59.767899982937756]
ニューラルネットワーク翻訳(NMT)のデータスケーリング特性に及ぼすアーキテクチャとトレーニングデータ品質の影響について検討する。
データスケーリング指数は最小限の影響を受けており、より多くのデータを追加することで、極端に悪いアーキテクチャやトレーニングデータの補償が可能になることを示唆しています。
論文 参考訳（メタデータ） (2022-02-04T06:53:49Z) - Toeplitz Least Squares Problems, Fast Algorithms and Big Data [1.3535770763481905]
最近の2つのアルゴリズムは、大容量時系列データに自己回帰モデルを適用するためにランダム化された数値線形代数手法を適用している。
本研究では,これら2つの近似アルゴリズムの大規模合成データと実世界のデータの品質について検討・比較する。
両方のアルゴリズムは合成データセットに匹敵する結果を示すが、実世界の時系列データに適用するとLSARアルゴリズムはより堅牢であるように見える。
論文 参考訳（メタデータ） (2021-12-24T08:32:09Z) - Information-Theoretic Generalization Bounds for Iterative
Semi-Supervised Learning [81.1071978288003]
特に,情報理論の原理を用いて,反復型SSLアルゴリズムのエミュレータ一般化誤差の振る舞いを理解することを目的とする。
我々の理論的結果は、クラス条件分散があまり大きくない場合、一般化誤差の上限は反復数とともに単調に減少するが、すぐに飽和することを示している。
論文 参考訳（メタデータ） (2021-10-03T05:38:49Z) - SreaMRAK a Streaming Multi-Resolution Adaptive Kernel Algorithm [60.61943386819384]
既存のKRRの実装では、すべてのデータがメインメモリに格納される必要がある。
KRRのストリーミング版であるStreaMRAKを提案する。
本稿では,2つの合成問題と2重振り子の軌道予測について紹介する。
論文 参考訳（メタデータ） (2021-08-23T21:03:09Z) - Interpolation and Learning with Scale Dependent Kernels [91.41836461193488]
非パラメトリックリッジレス最小二乗の学習特性について検討する。
スケール依存カーネルで定義される推定器の一般的な場合を考える。
論文 参考訳（メタデータ） (2020-06-17T16:43:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。