論文の概要: kNet: A Deep kNN Network To Handle Label Noise

• arxiv url: http://arxiv.org/abs/2107.09735v1
• Date: Tue, 20 Jul 2021 19:12:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-23 00:16:32.320398
• Title: kNet: A Deep kNN Network To Handle Label Noise
• Title（参考訳）: kNet:ラベルノイズを処理するディープkNNネットワーク
• Authors: Itzik Mizrahi, Shai Avidan
• Abstract要約: 我々は、kNNを実行することを学習する、kNetと呼ばれるニューラルネットワークを提案する。 我々は、kNetがkNNのスムーズな近似を与え、kNNが提示できるサンプル間のシャープなラベル変更を処理できないことを発見した。 実際には、kNetは、すべてのラベルノイズレシエーションにおいて、すべての予備ネットワークの結果を最大3%改善している。
• 参考スコア（独自算出の注目度）: 25.86435513157795
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep Neural Networks require large amounts of labeled data for their training. Collecting this data at scale inevitably causes label noise.Hence,the need to develop learning algorithms that are robust to label noise. In recent years, k Nearest Neighbors (kNN) emerged as a viable solution to this problem. Despite its success, kNN is not without its problems. Mainly, it requires a huge memory footprint to store all the training samples and it needs an advanced data structure to allow for fast retrieval of the relevant examples, given a query sample. We propose a neural network, termed kNet, that learns to perform kNN. Once trained, we no longer need to store the training data, and processing a query sample is a simple matter of inference. To use kNet, we first train a preliminary network on the data set, and then train kNet on the penultimate layer of the preliminary network.We find that kNet gives a smooth approximation of kNN,and cannot handle the sharp label changes between samples that kNN can exhibit. This indicates that currently kNet is best suited to approximate kNN with a fairly large k. Experiments on two data sets show that this is the regime in which kNN works best,and can therefore be replaced by kNet.In practice, kNet consistently improve the results of all preliminary networks, in all label noise regimes, by up to 3%.
• Abstract（参考訳）: Deep Neural Networksはトレーニングのために大量のラベル付きデータを必要とする。 このデータを大規模に収集することは必然的にラベルノイズを引き起こし、ラベルノイズに頑健な学習アルゴリズムを開発する必要がある。 近年、k Nearest Neighbors (kNN) がこの問題の有効な解決策として浮上している。 この成功にもかかわらず、kNNには問題はない。 主に、トレーニングサンプルをすべて格納するために巨大なメモリフットプリントが必要で、クエリサンプルを考慮すれば、関連するサンプルの高速検索を可能にする高度なデータ構造が必要です。 我々は、knetと呼ばれるknの実行を学習するニューラルネットワークを提案する。 トレーニングが終わると、トレーニングデータを格納する必要がなくなり、クエリサンプルの処理は単純な推論の問題になります。 kNetを利用するには、まずデータセット上で予備ネットワークをトレーニングし、次に予備ネットワークの最後層上でkNetをトレーニングし、kNetはkNNの滑らかな近似を与えるが、kNNが提示できるサンプル間のシャープなラベル変更には対応できない。 現在、kNet は kNN をかなり大きな k で近似するのに最適であることを示している。 2 つのデータセットの実験では、kNN が最適であり、kNet に置き換えることができる。

関連論文リスト

• Classifying Nodes in Graphs without GNNs [50.311528896010785]
  本稿では,完全GNNフリーなノード分類手法を提案する。 本手法は, 滑らかさ制約, 擬似ラベル反復, 近傍ラベルヒストグラムの3つの主要成分からなる。
  論文  参考訳（メタデータ） (2024-02-08T18:59:30Z)
• Information Modified K-Nearest Neighbor [4.916646834691489]
  K-Nearest Neighbors (KNN) は、隣人によるサンプルの分類である。 多くのKNN手法は、従来のKNNを著しく上回らない複雑なアルゴリズムを導入している。 KNNアルゴリズムの性能向上のための情報修正KNN(IMKNN)を提案する。 12の広く使われているデータセットの実験を行い、11.05%、12.42%、精度12.07%、精度12.07%、リコール性能をそれぞれ達成した。
  論文  参考訳（メタデータ） (2023-12-04T16:10:34Z)
• Bayesian Neural Networks: A Min-Max Game Framework [1.8032347672439046]
  我々は、決定論的ニューラルネットワーク$f$とサンプリングネットワーク$f + xi$または$f + r*xi$の間のゲーム理論を介してBNNを定式化する。 以前の BNN と比較すると、BNN は中心 $f$ とサンプリング点 $f + r*xi$ の間のあるギャップ内で解空間を学習する。 f$ と $f + r*xi$ の間の最小点が安定になるのは、その部分空間次元が十分に大きく、十分に訓練されたモデル $f$ が成り立つときである。
  論文  参考訳（メタデータ） (2023-11-18T17:17:15Z)
• You Can Have Better Graph Neural Networks by Not Training Weights at All: Finding Untrained GNNs Tickets [105.24703398193843]
  グラフニューラルネットワーク(GNN)の未訓練作業はまだ謎のままだ。 得られた未学習作品によって,GNNの過度なスムース化問題を大幅に軽減できることを示す。 また,そのような未学習作業が,入力摂動の分布外検出と堅牢性に優れていることも観察した。
  論文  参考訳（メタデータ） (2022-11-28T14:17:36Z)
• Adaptive Nearest Neighbor Machine Translation [60.97183408140499]
  kNN-MTは、事前訓練されたニューラルネットワーク翻訳とトークンレベルのk-nearest-neighbor検索を組み合わせる。 従来のkNNアルゴリズムは、ターゲットトークンごとに同じ数の近傍を検索する。 ターゲットトークン毎のk個数を動的に決定する適応的kNN-MTを提案する。
  論文  参考訳（メタデータ） (2021-05-27T09:27:42Z)
• S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration [74.5509794733707]
  本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。 提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。 提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
  論文  参考訳（メタデータ） (2021-02-17T18:59:28Z)
• KNN-enhanced Deep Learning Against Noisy Labels [4.765948508271371]
  Deep Neural Networks(DNN)の監視学習は、データ空腹である。 本研究では,ラベルクリーンアップに深いKNNを適用することを提案する。 ニューラルネットワークを反復的にトレーニングし、ラベルを更新し、ラベル回復率の向上と分類性能の向上を同時に進める。
  論文  参考訳（メタデータ） (2020-12-08T05:21:29Z)
• Self-Competitive Neural Networks [0.0]
  ディープニューラルネットワーク(DNN)は、多くのアプリケーションにおける分類問題の精度を改善している。 DNNをトレーニングする際の課題の1つは、その正確性を高め、過度な適合に苦しむことを避けるために、豊富なデータセットによって供給される必要があることである。 近年,データ拡張手法の提案が盛んに行われている。 本稿では,各クラスのドメイン・オブ・アトラクション(DoAs)を洗練させるために,逆データを生成します。このアプローチでは,各段階において,プライマリデータと生成された逆データ(その段階まで)から学習したモデルを用いて,プライマリデータを複雑な方法で操作する。
  論文  参考訳（メタデータ） (2020-08-22T12:28:35Z)
• OSLNet: Deep Small-Sample Classification with an Orthogonal Softmax Layer [77.90012156266324]
  本稿では,ニューラルネットワークのサブスペースを見つけることを目的としている。 そこで本研究では,Orthogonal Softmax Layer (OSL) を提案する。 実験結果から,提案OSLは4つの小サンプルベンチマークデータセットとの比較に用いた手法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2020-04-20T02:41:01Z)
• Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks [52.972605601174955]
  本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。 Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
  論文  参考訳（メタデータ） (2019-03-24T19:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。