論文の概要: Benefit of Interpolation in Nearest Neighbor Algorithms
- arxiv url: http://arxiv.org/abs/2202.11817v1
- Date: Wed, 23 Feb 2022 22:47:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-26 07:46:56.244480
- Title: Benefit of Interpolation in Nearest Neighbor Algorithms
- Title(参考訳): 近接近傍アルゴリズムにおける補間の利点
- Authors: Yue Xing, Qifan Song, Guang Cheng
- Abstract要約: いくつかの研究では、過度にパラメータ化されたディープニューラルネットワークは、トレーニングエラーがほぼゼロであっても、小さなテストエラーを達成することが観察されている。
私たちは、データメカニズムを通じて(過度なパラメータ化なしに)トレーニングエラーをゼロにする別の方法に変わります。
- 参考スコア(独自算出の注目度): 21.79888306754263
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In some studies \citep[e.g.,][]{zhang2016understanding} of deep learning, it
is observed that over-parametrized deep neural networks achieve a small testing
error even when the training error is almost zero. Despite numerous works
towards understanding this so-called "double descent" phenomenon
\citep[e.g.,][]{belkin2018reconciling,belkin2019two}, in this paper, we turn
into another way to enforce zero training error (without over-parametrization)
through a data interpolation mechanism. Specifically, we consider a class of
interpolated weighting schemes in the nearest neighbors (NN) algorithms. By
carefully characterizing the multiplicative constant in the statistical risk,
we reveal a U-shaped performance curve for the level of data interpolation in
both classification and regression setups. This sharpens the existing result
\citep{belkin2018does} that zero training error does not necessarily jeopardize
predictive performances and claims a counter-intuitive result that a mild
degree of data interpolation actually {\em strictly} improve the prediction
performance and statistical stability over those of the (un-interpolated)
$k$-NN algorithm. In the end, the universality of our results, such as change
of distance measure and corrupted testing data, will also be discussed.
- Abstract(参考訳): 深層学習の「citep[e.g.][]{zhang2016understanding}」研究では、過度にパラメータ化された深部ニューラルネットワークは、トレーニングエラーがほぼゼロである場合でも、小さなテストエラーを達成している。
いわゆる「二重降下」現象の理解に向けて多くの研究がなされているが、この論文ではデータ補間機構によって(過度なパラメトリゼーションを伴わずに)ゼロトレーニング誤差を強制する別の方法に目を向ける。
具体的には、近辺のNNアルゴリズムにおける補間重み付け方式のクラスについて検討する。
統計的リスクの乗法定数を慎重に特徴付けることにより,分類と回帰の両設定におけるデータ補間レベルに対するu字型性能曲線を明らかにした。
これにより、既存の結果 \citep{belkin2018does} は、ゼロトレーニングエラーが必ずしも予測性能を損なうとは限らないことを証明し、データ補間の軽度が(非補間)$k$-NNアルゴリズムよりも正確に予測性能と統計的安定性を改善するという反直感的な結果を主張している。
最後に、距離測定値の変更や破損したテストデータなど、結果の普遍性についても論じる。
関連論文リスト
- A new approach to generalisation error of machine learning algorithms:
Estimates and convergence [0.0]
本稿では,(一般化)誤差の推定と収束に対する新しいアプローチを提案する。
本研究の結果は,ニューラルネットワークの構造的仮定を伴わない誤差の推定を含む。
論文 参考訳(メタデータ) (2023-06-23T20:57:31Z) - Interpolation-based Correlation Reduction Network for Semi-Supervised
Graph Learning [49.94816548023729]
補間型相関低減ネットワーク(ICRN)と呼ばれる新しいグラフコントラスト学習手法を提案する。
提案手法では,決定境界のマージンを大きくすることで,潜在特徴の識別能力を向上させる。
この2つの設定を組み合わせることで、豊富なラベル付きノードと稀に価値あるラベル付きノードから豊富な監視情報を抽出し、離散表現学習を行う。
論文 参考訳(メタデータ) (2022-06-06T14:26:34Z) - Robustification of Online Graph Exploration Methods [59.50307752165016]
我々は、古典的で有名なオンライングラフ探索問題の学習強化版について研究する。
本稿では,予測をよく知られたNearest Neighbor(NN)アルゴリズムに自然に統合するアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-12-10T10:02:31Z) - Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。
ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。
本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文 参考訳(メタデータ) (2021-06-06T19:08:53Z) - Predict then Interpolate: A Simple Algorithm to Learn Stable Classifiers [59.06169363181417]
Predict then Interpolate (PI) は環境全体にわたって安定な相関関係を学習するためのアルゴリズムである。
正しい予測と間違った予測の分布を補間することにより、不安定な相関が消えるオラクル分布を明らかにすることができる。
論文 参考訳(メタデータ) (2021-05-26T15:37:48Z) - Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。
破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-02-07T14:19:07Z) - Expectation propagation on the diluted Bayesian classifier [0.0]
本稿では,二項分類の文脈におけるスパース特徴選択の問題に対処する統計力学にインスパイアされた戦略を導入する。
予測伝搬(EP)として知られる計算スキームは、分類規則を学習する連続重みの知覚を訓練するために用いられる。
EPは、変数選択特性、推定精度、計算複雑性の点で頑健で競争力のあるアルゴリズムである。
論文 参考訳(メタデータ) (2020-09-20T23:59:44Z) - Fast Learning of Graph Neural Networks with Guaranteed Generalizability:
One-hidden-layer Case [93.37576644429578]
グラフニューラルネットワーク(GNN)は、グラフ構造化データから実際に学習する上で、近年大きな進歩を遂げている。
回帰問題と二項分類問題の両方に隠れ層を持つGNNの理論的に基底的な一般化可能性解析を行う。
論文 参考訳(メタデータ) (2020-06-25T00:45:52Z) - An Empirical Study of Incremental Learning in Neural Network with Noisy
Training Set [0.0]
我々は,アルゴリズムの精度が誤差の割合よりも誤差の位置に依存することを数値的に示す。
その結果,誤差位置の精度依存性はアルゴリズムとは無関係であることが判明した。
論文 参考訳(メタデータ) (2020-05-07T06:09:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。