論文の概要: Benefit of Interpolation in Nearest Neighbor Algorithms
- arxiv url: http://arxiv.org/abs/2202.11817v1
- Date: Wed, 23 Feb 2022 22:47:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-26 07:46:56.244480
- Title: Benefit of Interpolation in Nearest Neighbor Algorithms
- Title（参考訳）: 近接近傍アルゴリズムにおける補間の利点
- Authors: Yue Xing, Qifan Song, Guang Cheng
- Abstract要約: いくつかの研究では、過度にパラメータ化されたディープニューラルネットワークは、トレーニングエラーがほぼゼロであっても、小さなテストエラーを達成することが観察されている。
私たちは、データメカニズムを通じて(過度なパラメータ化なしに)トレーニングエラーをゼロにする別の方法に変わります。
- 参考スコア（独自算出の注目度）: 21.79888306754263
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In some studies \citep[e.g.,][]{zhang2016understanding} of deep learning, it
is observed that over-parametrized deep neural networks achieve a small testing
error even when the training error is almost zero. Despite numerous works
towards understanding this so-called "double descent" phenomenon
\citep[e.g.,][]{belkin2018reconciling,belkin2019two}, in this paper, we turn
into another way to enforce zero training error (without over-parametrization)
through a data interpolation mechanism. Specifically, we consider a class of
interpolated weighting schemes in the nearest neighbors (NN) algorithms. By
carefully characterizing the multiplicative constant in the statistical risk,
we reveal a U-shaped performance curve for the level of data interpolation in
both classification and regression setups. This sharpens the existing result
\citep{belkin2018does} that zero training error does not necessarily jeopardize
predictive performances and claims a counter-intuitive result that a mild
degree of data interpolation actually {\em strictly} improve the prediction
performance and statistical stability over those of the (un-interpolated)
$k$-NN algorithm. In the end, the universality of our results, such as change
of distance measure and corrupted testing data, will also be discussed.
- Abstract（参考訳）: 深層学習の「citep[e.g.][]{zhang2016understanding}」研究では、過度にパラメータ化された深部ニューラルネットワークは、トレーニングエラーがほぼゼロである場合でも、小さなテストエラーを達成している。
いわゆる「二重降下」現象の理解に向けて多くの研究がなされているが、この論文ではデータ補間機構によって(過度なパラメトリゼーションを伴わずに)ゼロトレーニング誤差を強制する別の方法に目を向ける。
具体的には、近辺のNNアルゴリズムにおける補間重み付け方式のクラスについて検討する。
統計的リスクの乗法定数を慎重に特徴付けることにより,分類と回帰の両設定におけるデータ補間レベルに対するu字型性能曲線を明らかにした。
これにより、既存の結果 \citep{belkin2018does} は、ゼロトレーニングエラーが必ずしも予測性能を損なうとは限らないことを証明し、データ補間の軽度が(非補間)$k$-NNアルゴリズムよりも正確に予測性能と統計的安定性を改善するという反直感的な結果を主張している。
最後に、距離測定値の変更や破損したテストデータなど、結果の普遍性についても論じる。
関連論文リスト
- Adaptive $k$-nearest neighbor classifier based on the local estimation of the shape operator [49.87315310656657]
我々は, 局所曲率をサンプルで探索し, 周辺面積を適応的に定義する適応型$k$-nearest(kK$-NN)アルゴリズムを提案する。
多くの実世界のデータセットから、新しい$kK$-NNアルゴリズムは、確立された$k$-NN法と比較してバランスの取れた精度が優れていることが示されている。
論文 参考訳（メタデータ） (2024-09-08T13:08:45Z) - A Mirror Descent-Based Algorithm for Corruption-Tolerant Distributed Gradient Descent [57.64826450787237]
本研究では, 分散勾配降下アルゴリズムの挙動を, 敵対的腐敗の有無で解析する方法を示す。
汚職耐性の分散最適化アルゴリズムを設計するために、(怠慢な)ミラー降下からアイデアをどう使うかを示す。
MNISTデータセットの線形回帰、サポートベクトル分類、ソフトマックス分類に基づく実験は、我々の理論的知見を裏付けるものである。
論文 参考訳（メタデータ） (2024-07-19T08:29:12Z) - Deep learning from strongly mixing observations: Sparse-penalized regularization and minimax optimality [0.0]
ディープニューラルネットワーク予測器のスパースペナル化正規化について検討する。
正方形と幅広い損失関数を扱う。
論文 参考訳（メタデータ） (2024-06-12T15:21:51Z) - A new approach to generalisation error of machine learning algorithms:
Estimates and convergence [0.0]
本稿では,(一般化)誤差の推定と収束に対する新しいアプローチを提案する。
本研究の結果は,ニューラルネットワークの構造的仮定を伴わない誤差の推定を含む。
論文 参考訳（メタデータ） (2023-06-23T20:57:31Z) - Robustification of Online Graph Exploration Methods [59.50307752165016]
我々は、古典的で有名なオンライングラフ探索問題の学習強化版について研究する。
本稿では,予測をよく知られたNearest Neighbor(NN)アルゴリズムに自然に統合するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-12-10T10:02:31Z) - Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。
ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。
本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文 参考訳（メタデータ） (2021-06-06T19:08:53Z) - Predict then Interpolate: A Simple Algorithm to Learn Stable Classifiers [59.06169363181417]
Predict then Interpolate (PI) は環境全体にわたって安定な相関関係を学習するためのアルゴリズムである。
正しい予測と間違った予測の分布を補間することにより、不安定な相関が消えるオラクル分布を明らかにすることができる。
論文 参考訳（メタデータ） (2021-05-26T15:37:48Z) - Fast Learning of Graph Neural Networks with Guaranteed Generalizability:
One-hidden-layer Case [93.37576644429578]
グラフニューラルネットワーク(GNN)は、グラフ構造化データから実際に学習する上で、近年大きな進歩を遂げている。
回帰問題と二項分類問題の両方に隠れ層を持つGNNの理論的に基底的な一般化可能性解析を行う。
論文 参考訳（メタデータ） (2020-06-25T00:45:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。