論文の概要: The Document Vectors Using Cosine Similarity Revisited
- arxiv url: http://arxiv.org/abs/2205.13357v1
- Date: Thu, 26 May 2022 13:36:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-27 22:08:33.771113
- Title: The Document Vectors Using Cosine Similarity Revisited
- Title（参考訳）: コサイン類似性を用いた文書ベクトルの再検討
- Authors: Zhang Bingyu and Nikolay Arefyev
- Abstract要約: IMDBの映画レビューデータセットの現在の最先端テスト精度(97.42%)は、2019年の『citetthongtan-phienthrakul』センチメントによって報告された。
これまでに報告された97.42%の検定精度は無効であり、93.68%に補正されるべきである。
- 参考スコア（独自算出の注目度）: 0.48733623015338234
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The current state-of-the-art test accuracy (97.42\%) on the IMDB movie
reviews dataset was reported by \citet{thongtan-phienthrakul-2019-sentiment}
and achieved by the logistic regression classifier trained on the Document
Vectors using Cosine Similarity (DV-ngrams-cosine) proposed in their paper and
the Bag-of-N-grams (BON) vectors scaled by Naive Bayesian weights. While large
pre-trained Transformer-based models have shown SOTA results across many
datasets and tasks, the aforementioned model has not been surpassed by them,
despite being much simpler and pre-trained on the IMDB dataset only.
In this paper, we describe an error in the evaluation procedure of this
model, which was found when we were trying to analyze its excellent performance
on the IMDB dataset. We further show that the previously reported test accuracy
of 97.42\% is invalid and should be corrected to 93.68\%. We also analyze the
model performance with different amounts of training data (subsets of the IMDB
dataset) and compare it to the Transformer-based RoBERTa model. The results
show that while RoBERTa has a clear advantage for larger training sets, the
DV-ngrams-cosine performs better than RoBERTa when the labelled training set is
very small (10 or 20 documents). Finally, we introduce a sub-sampling scheme
based on Naive Bayesian weights for the training process of the
DV-ngrams-cosine, which leads to faster training and better quality.
- Abstract（参考訳）: IMDB 映画レビューデータセットの最先端テスト精度 (97.42\%) は \citet{thongtan-phienthrakul-2019-sentiment} によって報告され,コサイン類似性 (DV-ngrams-cosine) を用いた文書ベクトルで訓練されたロジスティック回帰分類器と,ネイブ・ベイズによって拡張されたバグ・オブ・N-grams (BON) ベクターを用いて達成された。
トレーニング済みのTransformerベースの大規模なモデルでは、多くのデータセットやタスクにわたるSOTA結果が示されているが、前述のモデルは、IMDBデータセットでのみトレーニングされた、はるかにシンプルであるにもかかわらず、それらを上回るものではない。
本稿では,このモデルの評価手順におけるエラーについて述べるとともに,その優れた性能をimdbデータセット上で解析しようとした際に見いだした。
さらに、以前報告した97.42\%の検査精度は無効であり、93.68\%に補正されるべきであることを示す。
また、異なる量のトレーニングデータ(imdbデータセットのサブセット)を用いてモデル性能を分析し、トランスフォーマベースのrobertaモデルと比較する。
その結果,ラベル付きトレーニングセットが非常に小さい(10～20文書)場合には,dv-ngrams-cosineはrobertaよりも優れたパフォーマンスを示すことがわかった。
最後に,dv-ngrams-cosineのトレーニングプロセスにおいて,ナイーブ・ベイズ重みに基づくサブサンプリング方式を導入することで,トレーニングの高速化と品質の向上を実現する。
関連論文リスト
- Efficient Grammatical Error Correction Via Multi-Task Training and
Optimized Training Schedule [55.08778142798106]
原文と修正文のアライメントを利用する補助タスクを提案する。
我々は,各タスクをシーケンス・ツー・シーケンス問題として定式化し,マルチタスク・トレーニングを行う。
トレーニングに使用されるデータセットの順序や、データセット内の個々のインスタンスでさえ、最終的なパフォーマンスに重要な影響を与える可能性があることが分かりました。
論文 参考訳（メタデータ） (2023-11-20T14:50:12Z) - Alleviating the Effect of Data Imbalance on Adversarial Training [26.36714114672729]
長い尾の分布に従うデータセットの逆トレーニングについて検討する。
我々は、新しい対人訓練フレームワーク、Re-balancing Adversarial Training (REAT)を提案する。
論文 参考訳（メタデータ） (2023-07-14T07:01:48Z) - Effective Robustness against Natural Distribution Shifts for Models with
Different Training Data [113.21868839569]
効果的ロバスト性」は、分配内(ID)性能から予測できる以上の余分な分配外ロバスト性を測定する。
異なるデータに基づいてトレーニングされたモデルの有効ロバスト性を評価・比較するための新しい評価指標を提案する。
論文 参考訳（メタデータ） (2023-02-02T19:28:41Z) - You Only Need a Good Embeddings Extractor to Fix Spurious Correlations [26.23962870932271]
GroupDROは、サブグループラベルを使ってエンドツーエンドでモデルをトレーニングする必要がある。
トレーニングセットのサブグループ情報を用いることなく,最大90%の精度が得られることを示す。
論文 参考訳（メタデータ） (2022-12-12T21:42:33Z) - SynBench: Task-Agnostic Benchmarking of Pretrained Representations using
Synthetic Data [78.21197488065177]
近年、下流のタスクで大規模なデータで事前訓練された微調整大型モデルが成功し、ディープラーニングにおける重要なパラダイムシフトにつながった。
本稿では,合成データを用いて事前学習した表現の質を測定するためのタスク非依存フレームワークであるtextitSynBenchを提案する。
論文 参考訳（メタデータ） (2022-10-06T15:25:00Z) - Learning to be a Statistician: Learned Estimator for Number of Distinct
Values [54.629042119819744]
列内の異なる値の数(NDV)を推定することは、データベースシステムにおける多くのタスクに有用である。
本研究では、ランダム(オンライン/オフライン)サンプルから正確なNDV推定を導出する方法に焦点を当てる。
教師付き学習フレームワークにおいて,NDV推定タスクを定式化し,モデルを推定対象として学習することを提案する。
論文 参考訳（メタデータ） (2022-02-06T15:42:04Z) - GI-NNet \& RGI-NNet: Development of Robotic Grasp Pose Models, Trainable
with Large as well as Limited Labelled Training Datasets, under supervised
and semi supervised paradigms [0.0]
私たちは、ロボットが適切な把握を素早く生成し実行することを学ぶのを助けるために、ディープラーニング技術を使用します。
我々は、見えない物体だけでなく、見えない物体にも対足ロボットの把握を生成できるジェネレーティブ・インセプション・ニューラル・ニューラルネットワーク(GI-NNet)モデルを開発した。
論文 参考訳（メタデータ） (2021-07-15T16:55:49Z) - Comparing Test Sets with Item Response Theory [53.755064720563]
我々は,18の事前学習トランスフォーマーモデルから予測した29のデータセットを個別のテスト例で評価した。
Quoref、HellaSwag、MC-TACOは最先端のモデルを区別するのに最適である。
また、QAMRやSQuAD2.0のようなQAデータセットに使用されるスパン選択タスク形式は、強いモデルと弱いモデルとの差別化に有効である。
論文 参考訳（メタデータ） (2021-06-01T22:33:53Z) - Evaluating Prediction-Time Batch Normalization for Robustness under
Covariate Shift [81.74795324629712]
我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。
予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。
この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
論文 参考訳（メタデータ） (2020-06-19T05:08:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。