論文の概要: Comparative Study of Machine Learning Models and BERT on SQuAD
- arxiv url: http://arxiv.org/abs/2005.11313v1
- Date: Fri, 22 May 2020 17:58:30 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-30 08:13:25.995129
- Title: Comparative Study of Machine Learning Models and BERT on SQuAD
- Title(参考訳): SQuADにおける機械学習モデルとBERTの比較検討
- Authors: Devshree Patel, Param Raval, Ratnam Parikh, Yesha Shastri
- Abstract要約: BERTモデルはかつてSQuADで最先端であった。
BERTは100サンプルしか使用していない場合でも、実行時間が長くなります。
予備的な機械学習モデルの場合、全データの実行時間は低くなりますが、精度は損なわれます。
- 参考スコア(独自算出の注目度): 0.716879432974126
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This study aims to provide a comparative analysis of performance of certain
models popular in machine learning and the BERT model on the Stanford Question
Answering Dataset (SQuAD). The analysis shows that the BERT model, which was
once state-of-the-art on SQuAD, gives higher accuracy in comparison to other
models. However, BERT requires a greater execution time even when only 100
samples are used. This shows that with increasing accuracy more amount of time
is invested in training the data. Whereas in case of preliminary machine
learning models, execution time for full data is lower but accuracy is
compromised.
- Abstract(参考訳): 本研究の目的は、SQuAD(Stanford Question Answering Dataset)における機械学習とBERTモデルの性能の比較分析を行うことである。
解析の結果,かつてSQuADの最先端技術であったBERTモデルは,他のモデルと比較して精度が高いことがわかった。
しかし、BERTは100サンプルしか使用していない場合でも、実行時間が長くなります。
これは精度が向上するにつれて、データのトレーニングにより多くの時間が費やされることを示している。
予備的な機械学習モデルの場合とは異なり、完全なデータの実行時間は低く、精度は損なわれる。
関連論文リスト
- Replication Study and Benchmarking of Real-Time Object Detection Models [0.0]
複数のグラフィクスカードにおける物体検出モデルの精度と推論速度を比較した。
本稿では,MMDetectionの機能に基づく統合トレーニングと評価パイプラインを提案し,モデルの比較を改良する。
結果は精度と速度の間に強いトレードオフを示し、アンカーフリーモデルが優勢である。
論文 参考訳(メタデータ) (2024-05-11T04:47:50Z) - Synthetic Model Combination: An Instance-wise Approach to Unsupervised
Ensemble Learning [92.89846887298852]
ラベル付きデータのトレーニングセットから学ぶ機会のない、新しいテストデータに対する予測を検討する。
専門家モデルのセットと予測へのアクセスと、トレーニングに使用するデータセットに関する制限された情報を提供すること。
論文 参考訳(メタデータ) (2022-10-11T10:20:31Z) - Quality of Data in Machine Learning [3.9998518782208774]
この研究は、開始前提に反論し、この場合のデータの重要性は、データの量ではなく、データの品質にあることを述べ続けている。
論文 参考訳(メタデータ) (2021-12-17T09:22:46Z) - SSSE: Efficiently Erasing Samples from Trained Machine Learning Models [103.43466657962242]
サンプル消去のための効率的かつ効率的なアルゴリズムSSSEを提案する。
ある場合、SSSEは、許可されたデータだけで新しいモデルをスクラッチからトレーニングする最適な、しかし実用的でない金の標準と同様に、サンプルをほぼ消去することができる。
論文 参考訳(メタデータ) (2021-07-08T14:17:24Z) - Comparing Test Sets with Item Response Theory [53.755064720563]
我々は,18の事前学習トランスフォーマーモデルから予測した29のデータセットを個別のテスト例で評価した。
Quoref、HellaSwag、MC-TACOは最先端のモデルを区別するのに最適である。
また、QAMRやSQuAD2.0のようなQAデータセットに使用されるスパン選択タスク形式は、強いモデルと弱いモデルとの差別化に有効である。
論文 参考訳(メタデータ) (2021-06-01T22:33:53Z) - Manual Evaluation Matters: Reviewing Test Protocols of Distantly
Supervised Relation Extraction [61.48964753725744]
2つのDS-REデータセット(NYT10とWiki20)に対して手動でアノテートしたテストセットを構築し、いくつかの競合モデルを徹底的に評価する。
その結果,手動による評価は,自動的な評価とは全く異なる結論を示すことがわかった。
論文 参考訳(メタデータ) (2021-05-20T06:55:40Z) - Are Larger Pretrained Language Models Uniformly Better? Comparing
Performance at the Instance Level [38.64433236359172]
BERT-Largeは、MNLI、SST-2、QQPのインスタンスの少なくとも1~4%でBERT-Miniよりも悪い。
ファインタニングノイズはモデルサイズとともに増加し、そのインスタンスレベルの精度は運動量を持つ。
以上の結果から,インスタンスレベルの予測は豊富な情報源を提供することが示唆された。
論文 参考訳(メタデータ) (2021-05-13T01:10:51Z) - ALT-MAS: A Data-Efficient Framework for Active Testing of Machine
Learning Algorithms [58.684954492439424]
少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。
ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
論文 参考訳(メタデータ) (2021-04-11T12:14:04Z) - A Comparison of LSTM and BERT for Small Corpus [0.0]
NLP分野の最近の進歩は、スクラッチから始めるのではなく、事前学習されたモデルを調整することによって、新しいタスクの最先端結果を達成するのに、トランスファーラーニングが役立つことを示している。
本稿では、学術と産業の科学者が頻繁に直面する現実的なシナリオに焦点を当てる。小さなデータセットがあれば、BERTのような大規模な事前学習モデルを使用して、単純なモデルよりも優れた結果を得ることができるか?
実験の結果,2方向LSTMモデルは小データセットのBERTモデルよりもはるかに高い結果が得られることが示され,これらの単純なモデルは事前学習したモデルよりもはるかに少ない時間で訓練されることがわかった。
論文 参考訳(メタデータ) (2020-09-11T14:01:14Z) - Fast, Accurate, and Simple Models for Tabular Data via Augmented
Distillation [97.42894942391575]
本研究では、FAST-DADを用いて、任意の複雑なアンサンブル予測を、高木、無作為林、深層ネットワークなどの個々のモデルに抽出する。
我々の個々の蒸留モデルは、H2O/AutoSklearnのようなAutoMLツールが生成するアンサンブル予測よりも10倍高速で精度が高い。
論文 参考訳(メタデータ) (2020-06-25T09:57:47Z) - A Time Series Analysis-Based Stock Price Prediction Using Machine
Learning and Deep Learning Models [0.0]
我々は、統計的、機械学習、ディープラーニングモデルの集合から成り立つ、非常に堅牢で正確な株価予測の枠組みを提示する。
当社は、インドの国立証券取引所(NSE)に上場している非常に有名な企業の、毎日の株価データを5分間隔で収集しています。
統計,機械学習,深層学習を組み合わせたモデル構築の凝集的アプローチは,株価データの揮発性およびランダムな動きパターンから極めて効果的に学習できる,と我々は主張する。
論文 参考訳(メタデータ) (2020-04-17T19:41:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。