論文の概要: Revisiting k-NN for Fine-tuning Pre-trained Language Models

• arxiv url: http://arxiv.org/abs/2304.09058v2
• Date: Sun, 18 Jun 2023 02:51:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-22 02:53:20.794281
• Title: Revisiting k-NN for Fine-tuning Pre-trained Language Models
• Title（参考訳）: 微調整事前学習言語モデルのためのk-NNの再検討
• Authors: Lei Li, Jing Chen, Bozhong Tian, Ningyu Zhang
• Abstract要約: 我々は PLM ベースの分類器を強化するために k-Nearest-Neighbor (kNN) 分類器を再検討する。 我々のアプローチの核心は、予測結果を簡単な例と難しい例の指標として扱うkNN校正トレーニングの実装である。 我々は、微調整、急速調整、ゼロショット、少数ショット、完全教師付き設定に関する広範な実験を行う。
• 参考スコア（独自算出の注目度）: 25.105882538429743
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-trained Language Models (PLMs), as parametric-based eager learners, have become the de-facto choice for current paradigms of Natural Language Processing (NLP). In contrast, k-Nearest-Neighbor (kNN) classifiers, as the lazy learning paradigm, tend to mitigate over-fitting and isolated noise. In this paper, we revisit kNN classifiers for augmenting the PLMs-based classifiers. From the methodological level, we propose to adopt kNN with textual representations of PLMs in two steps: (1) Utilize kNN as prior knowledge to calibrate the training process. (2) Linearly interpolate the probability distribution predicted by kNN with that of the PLMs' classifier. At the heart of our approach is the implementation of kNN-calibrated training, which treats predicted results as indicators for easy versus hard examples during the training process. From the perspective of the diversity of application scenarios, we conduct extensive experiments on fine-tuning, prompt-tuning paradigms and zero-shot, few-shot and fully-supervised settings, respectively, across eight diverse end-tasks. We hope our exploration will encourage the community to revisit the power of classical methods for efficient NLP. Code and datasets are available in https://github.com/zjunlp/Revisit-KNN.
• Abstract（参考訳）: パラメトリックベースの熱心な学習者であるプレトレーニング言語モデル(PLM)は、現在の自然言語処理(NLP)のパラダイムにおいて事実上の選択肢となっている。 対照的に、k-Nearest-Neighbor(kNN)分類器は遅延学習パラダイムであり、過度なフィットと孤立したノイズを軽減する傾向がある。 本稿では, PLM に基づく分類器の拡張のために kNN 分類器を再検討する。 方法論的なレベルでは,(1)kNNを事前知識として活用してトレーニングプロセスの校正を行う,という2つのステップで,PLMのテキスト表現を持つkNNを採用することを提案する。 2) kNNで予測される確率分布とPLMの分類器の確率分布を線形に補間する。 私たちのアプローチの核心は、kNN校正トレーニングの実装です。これは、トレーニングプロセスにおいて、予測結果を簡単な例と難しい例の指標として扱います。 アプリケーションシナリオの多様性の観点から、我々は8つのエンドタスクに対して、微調整、急速調整、ゼロショット、少数ショット、完全教師付き設定に関する広範な実験を行います。 我々は,NLPを効率的にするための古典的手法の力をコミュニティに再考させることを願っている。 コードとデータセットはhttps://github.com/zjunlp/Revisit-KNNで公開されている。

関連論文リスト

• Learning with Noisy Labels Using Collaborative Sample Selection and Contrastive Semi-Supervised Learning [76.00798972439004]
  Collaborative Sample Selection (CSS)は、特定されたクリーンセットからノイズの多いサンプルを削除する。 半教師付き学習において、対照的な損失を伴う協調学習機構を導入する。
  論文  参考訳（メタデータ） (2023-10-24T05:37:20Z)
• Scalable Learning of Latent Language Structure With Logical Offline Cycle Consistency [71.42261918225773]
  概念的には、LOCCOは、トレーニング対象のセマンティクスを使用してラベルなしテキストのアノテーションを生成する、自己学習の一形態と見なすことができる。 追加ボーナスとして、LOCCOによって生成されたアノテーションは、神経テキスト生成モデルをトレーニングするために自明に再利用することができる。
  論文  参考訳（メタデータ） (2023-05-31T16:47:20Z)
• Nearest Neighbor Zero-Shot Inference [68.56747574377215]
  kNN-Promptは、言語モデル(LM)を用いたゼロショット推論のためのk-nearest neighbor (kNN)検索拡張手法である。 ファジィ動詞化器は、各分類ラベルを自然言語トークンのセットに自動的に関連付けることで、下流タスクのスパースkNN分布を利用する。 実験により,kNN-Promptはドメイン適応に有効であり,さらに,kNN検索に使用するモデルのサイズに応じて,検索のメリットが増加することが示された。
  論文  参考訳（メタデータ） (2022-05-27T07:00:59Z)
• Rethinking Nearest Neighbors for Visual Classification [56.00783095670361]
  k-NNは、トレーニングセット内のテストイメージとトップk隣人間の距離を集約する遅延学習手法である。 我々は,教師付き手法と自己監督型手法のいずれでも,事前学習した視覚表現を持つk-NNを2つのステップで採用する。 本研究は,幅広い分類タスクに関する広範な実験により,k-NN統合の汎用性と柔軟性を明らかにした。
  論文  参考訳（メタデータ） (2021-12-15T20:15:01Z)
• KNN-BERT: Fine-Tuning Pre-Trained Models with KNN Classifier [61.063988689601416]
  事前学習されたモデルは、クロスエントロピー損失によって最適化された線形分類器を用いて、微調整された下流タスクに広く利用されている。 これらの問題は、同じクラスの類似点と、予測を行う際の矛盾点に焦点を当てた表現を学習することで改善することができる。 本稿では、事前訓練されたモデル微調整タスクにおけるKNearest Neighborsについて紹介する。
  論文  参考訳（メタデータ） (2021-10-06T06:17:05Z)
• Adaptive Nearest Neighbor Machine Translation [60.97183408140499]
  kNN-MTは、事前訓練されたニューラルネットワーク翻訳とトークンレベルのk-nearest-neighbor検索を組み合わせる。 従来のkNNアルゴリズムは、ターゲットトークンごとに同じ数の近傍を検索する。 ターゲットトークン毎のk個数を動的に決定する適応的kNN-MTを提案する。
  論文  参考訳（メタデータ） (2021-05-27T09:27:42Z)
• Multi-Sample Online Learning for Probabilistic Spiking Neural Networks [43.8805663900608]
  スパイキングニューラルネットワーク(SNN)は、推論と学習のための生物学的脳の効率の一部をキャプチャする。 本稿では,一般化予測最大化(GEM)に基づくオンライン学習ルールを提案する。 標準ニューロモルフィックデータセットにおける構造化された出力記憶と分類実験の結果,ログの類似性,精度,キャリブレーションの点で大きな改善が見られた。
  論文  参考訳（メタデータ） (2020-07-23T10:03:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。