論文の概要: Less is More: Parameter-Free Text Classification with Gzip
- arxiv url: http://arxiv.org/abs/2212.09410v1
- Date: Mon, 19 Dec 2022 12:40:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-20 16:37:31.265385
- Title: Less is More: Parameter-Free Text Classification with Gzip
- Title（参考訳）: less is more:gzipによるパラメータフリーテキスト分類
- Authors: Zhiying Jiang, Matthew Y.R. Yang, Mikhail Tsirlin, Raphael Tang, Jimmy
Lin
- Abstract要約: ディープニューラルネットワーク(DNN)は通常、高いレベルの精度を達成するため、テキスト分類タスクにしばしば使用される。
テキスト分類において,DNNの非パラメトリックな代替手段を提案する。
本手法は,6つの非分散データセット上で,事前制約のないディープラーニング手法と競合する結果を得る。
- 参考スコア（独自算出の注目度）: 47.63077023698568
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep neural networks (DNNs) are often used for text classification tasks as
they usually achieve high levels of accuracy. However, DNNs can be
computationally intensive with billions of parameters and large amounts of
labeled data, which can make them expensive to use, to optimize and to transfer
to out-of-distribution (OOD) cases in practice. In this paper, we propose a
non-parametric alternative to DNNs that's easy, light-weight and universal in
text classification: a combination of a simple compressor like gzip with a
$k$-nearest-neighbor classifier. Without any training, pre-training or
fine-tuning, our method achieves results that are competitive with
non-pretrained deep learning methods on six in-distributed datasets. It even
outperforms BERT on all five OOD datasets, including four low-resource
languages. Our method also performs particularly well in few-shot settings
where labeled data are too scarce for DNNs to achieve a satisfying accuracy.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)は通常、高いレベルの精度を達成するため、テキスト分類タスクにしばしば使用される。
しかし、DNNは数十億のパラメータと大量のラベル付きデータで計算集約されるため、実際に利用するために費用がかかり、最適化され、配布外(OOD)のケースに転送される。
本稿では,gzipのような単純な圧縮機と$k$-nearest-neighborの分類器を組み合わせることで,テキスト分類におけるDNNの非パラメトリックな代替手段を提案する。
トレーニングや事前トレーニング,微調整を行なわないことで,6つの分散データセットで非トレーニングディープラーニング手法と競合する結果が得られる。
さらに、4つの低リソース言語を含む5つのOODデータセットでBERTを上回ります。
また,DNNにおいてラベル付きデータが不足しすぎて満足な精度が得られない場合において,本手法は特に良好に機能する。
関連論文リスト
- Few-Shot Non-Parametric Learning with Deep Latent Variable Model [50.746273235463754]
遅延変数を用いた圧縮による非パラメトリック学習(NPC-LV)を提案する。
NPC-LVは、ラベルなしデータが多いがラベル付きデータはほとんどないデータセットの学習フレームワークである。
我々は,NPC-LVが低データ構造における画像分類における3つのデータセットの教師あり手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-06-23T09:35:03Z) - Adaptive Nearest Neighbor Machine Translation [60.97183408140499]
kNN-MTは、事前訓練されたニューラルネットワーク翻訳とトークンレベルのk-nearest-neighbor検索を組み合わせる。
従来のkNNアルゴリズムは、ターゲットトークンごとに同じ数の近傍を検索する。
ターゲットトークン毎のk個数を動的に決定する適応的kNN-MTを提案する。
論文 参考訳（メタデータ） (2021-05-27T09:27:42Z) - Evaluating Deep Neural Network Ensembles by Majority Voting cum
Meta-Learning scheme [3.351714665243138]
新しいデータインスタンスのために,7つの独立したディープニューラルネットワーク(DNN)のアンサンブルを提案する。
残りのサンプルからブートストラップサンプリングによってデータの7分の1を削除して補充する。
この論文のすべてのアルゴリズムは5つのベンチマークデータセットでテストされている。
論文 参考訳（メタデータ） (2021-05-09T03:10:56Z) - KNN-enhanced Deep Learning Against Noisy Labels [4.765948508271371]
Deep Neural Networks(DNN)の監視学習は、データ空腹である。
本研究では,ラベルクリーンアップに深いKNNを適用することを提案する。
ニューラルネットワークを反復的にトレーニングし、ラベルを更新し、ラベル回復率の向上と分類性能の向上を同時に進める。
論文 参考訳（メタデータ） (2020-12-08T05:21:29Z) - Combining Label Propagation and Simple Models Out-performs Graph Neural
Networks [52.121819834353865]
多くの標準的なトランスダクティブノード分類ベンチマークでは、最先端のGNNの性能を超えたり、一致させることができる。
これをC&S(Correct and Smooth)と呼ぶ。
我々のアプローチは、様々なベンチマークで最先端のGNNの性能を上回るか、ほぼ一致している。
論文 参考訳（メタデータ） (2020-10-27T02:10:52Z) - Self-Competitive Neural Networks [0.0]
ディープニューラルネットワーク(DNN)は、多くのアプリケーションにおける分類問題の精度を改善している。
DNNをトレーニングする際の課題の1つは、その正確性を高め、過度な適合に苦しむことを避けるために、豊富なデータセットによって供給される必要があることである。
近年,データ拡張手法の提案が盛んに行われている。
本稿では,各クラスのドメイン・オブ・アトラクション(DoAs)を洗練させるために,逆データを生成します。このアプローチでは,各段階において,プライマリデータと生成された逆データ(その段階まで)から学習したモデルを用いて,プライマリデータを複雑な方法で操作する。
論文 参考訳（メタデータ） (2020-08-22T12:28:35Z) - Temporal Calibrated Regularization for Robust Noisy Label Learning [60.90967240168525]
ディープニューラルネットワーク(DNN)は、大規模な注釈付きデータセットの助けを借りて、多くのタスクで大きな成功を収めている。
しかし、大規模なデータのラベル付けは非常にコストがかかりエラーが発生しやすいため、アノテーションの品質を保証することは困難である。
本稿では,従来のラベルと予測を併用したTCR(Temporal Calibrated Regularization)を提案する。
論文 参考訳（メタデータ） (2020-07-01T04:48:49Z) - OSLNet: Deep Small-Sample Classification with an Orthogonal Softmax
Layer [77.90012156266324]
本稿では,ニューラルネットワークのサブスペースを見つけることを目的としている。
そこで本研究では,Orthogonal Softmax Layer (OSL) を提案する。
実験結果から,提案OSLは4つの小サンプルベンチマークデータセットとの比較に用いた手法よりも優れた性能を示した。
論文 参考訳（メタデータ） (2020-04-20T02:41:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。