論文の概要: Rethinking Nearest Neighbors for Visual Classification

• arxiv url: http://arxiv.org/abs/2112.08459v1
• Date: Wed, 15 Dec 2021 20:15:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-17 15:53:25.065572
• Title: Rethinking Nearest Neighbors for Visual Classification
• Title（参考訳）: 視覚分類のための近距離近傍の再考
• Authors: Menglin Jia, Bor-Chun Chen, Zuxuan Wu, Claire Cardie, Serge Belongie, Ser-Nam Lim
• Abstract要約: k-NNは、トレーニングセット内のテストイメージとトップk隣人間の距離を集約する遅延学習手法である。 我々は,教師付き手法と自己監督型手法のいずれでも,事前学習した視覚表現を持つk-NNを2つのステップで採用する。 本研究は,幅広い分類タスクに関する広範な実験により,k-NN統合の汎用性と柔軟性を明らかにした。
• 参考スコア（独自算出の注目度）: 56.00783095670361
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural network classifiers have become the de-facto choice for current "pre-train then fine-tune" paradigms of visual classification. In this paper, we investigate $k$-Nearest-Neighbor (k-NN) classifiers, a classical model-free learning method from the pre-deep learning era, as an augmentation to modern neural network based approaches. As a lazy learning method, k-NN simply aggregates the distance between the test image and top-k neighbors in a training set. We adopt k-NN with pre-trained visual representations produced by either supervised or self-supervised methods in two steps: (1) Leverage k-NN predicted probabilities as indications for easy \vs~hard examples during training. (2) Linearly interpolate the k-NN predicted distribution with that of the augmented classifier. Via extensive experiments on a wide range of classification tasks, our study reveals the generality and flexibility of k-NN integration with additional insights: (1) k-NN achieves competitive results, sometimes even outperforming a standard linear classifier. (2) Incorporating k-NN is especially beneficial for tasks where parametric classifiers perform poorly and / or in low-data regimes. We hope these discoveries will encourage people to rethink the role of pre-deep learning, classical methods in computer vision. Our code is available at: https://github.com/KMnP/nn-revisit.
• Abstract（参考訳）: ニューラルネットワーク分類器は、現在の視覚分類の"pre-train then fine-tune"パラダイムのデファクト選択となっている。 本稿では,先進学習時代の古典的モデルフリー学習手法であるk$-Nearest-Neighbor (k-NN)分類器を,現代のニューラルネットワークに基づくアプローチの拡張として検討する。 遅延学習方法として、k-NNは、テスト画像とトップk隣人の距離をトレーニングセットで集約する。 我々は, 教師付き手法と自己指導型手法のどちらによっても生成される事前学習された視覚表現を持つk-NNを2段階に分けて導入する。 2) k-NN予測分布と拡張分類器の分布を線形に補間する。 そこで本研究では,k-NN統合の汎用性と柔軟性について,(1)k-NNが標準的な線形分類器よりも優れ,競争的な結果が得られることを示す。 2)k-NNを組み込むことはパラメトリック分類器の動作が悪く,/または低データ体制下では特に有益である。 これらの発見によって、コンピュータビジョンにおける深層学習、古典的手法の役割が再考されることを願っている。 私たちのコードは、https://github.com/KMnP/nn-revisit.comで利用可能です。

関連論文リスト

• On adversarial training and the 1 Nearest Neighbor classifier [8.248839892711478]
  対人訓練の性能を,単純な1NN(Nearest Neighbor)分類器と比較した。 CIFAR10、MNIST、Fashion-MNISTから得られた135種類のバイナリ画像分類問題の実験。 1NNはトレーニング中に使用したものとわずかに異なる摂動に対する堅牢性という点で、ほとんどすべてに優れています。
  論文  参考訳（メタデータ） (2024-04-09T13:47:37Z)
• Exploring Learned Representations of Neural Networks with Principal Component Analysis [1.0923877073891446]
  ある層では、高い精度の分類には中間的特徴空間分散の20%しか必要としない。 本研究は神経崩壊と相関し, 中間神経崩壊の関連現象の部分的証拠を提供する。
  論文  参考訳（メタデータ） (2023-09-27T00:18:25Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Revisiting k-NN for Fine-tuning Pre-trained Language Models [25.105882538429743]
  我々は PLM ベースの分類器を強化するために k-Nearest-Neighbor (kNN) 分類器を再検討する。 我々のアプローチの核心は、予測結果を簡単な例と難しい例の指標として扱うkNN校正トレーニングの実装である。 我々は、微調整、急速調整、ゼロショット、少数ショット、完全教師付き設定に関する広範な実験を行う。
  論文  参考訳（メタデータ） (2023-04-18T15:28:47Z)
• Do We Really Need a Learnable Classifier at the End of Deep Neural Network? [118.18554882199676]
  本研究では、ニューラルネットワークを学習して分類器をランダムにETFとして分類し、訓練中に固定する可能性について検討する。 実験結果から,バランスの取れたデータセットの画像分類において,同様の性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-03-17T04:34:28Z)
• KNN-BERT: Fine-Tuning Pre-Trained Models with KNN Classifier [61.063988689601416]
  事前学習されたモデルは、クロスエントロピー損失によって最適化された線形分類器を用いて、微調整された下流タスクに広く利用されている。 これらの問題は、同じクラスの類似点と、予測を行う際の矛盾点に焦点を当てた表現を学習することで改善することができる。 本稿では、事前訓練されたモデル微調整タスクにおけるKNearest Neighborsについて紹介する。
  論文  参考訳（メタデータ） (2021-10-06T06:17:05Z)
• S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration [74.5509794733707]
  本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。 提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。 提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
  論文  参考訳（メタデータ） (2021-02-17T18:59:28Z)
• One Versus all for deep Neural Network Incertitude (OVNNI) quantification [12.734278426543332]
  本稿では,データの疫学的不確実性を容易に定量化するための新しい手法を提案する。 本手法は,1つのクラス対他のクラス(OVA)を分類するために訓練されたDNNのアンサンブルの予測と,オール対オール(AVA)分類を実行するために訓練された標準DNNの予測とを混合して構成する。
  論文  参考訳（メタデータ） (2020-06-01T14:06:12Z)
• Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks [52.972605601174955]
  本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。 Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
  論文  参考訳（メタデータ） (2019-03-24T19:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。