論文の概要: Birds have four legs?! NumerSense: Probing Numerical Commonsense
Knowledge of Pre-trained Language Models
- arxiv url: http://arxiv.org/abs/2005.00683v2
- Date: Fri, 18 Sep 2020 00:42:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-07 11:40:34.888274
- Title: Birds have four legs?! NumerSense: Probing Numerical Commonsense
Knowledge of Pre-trained Language Models
- Title（参考訳）: 鳥の足は4本?
NumerSense:事前訓練された言語モデルの数値コモンセンス知識の探索
- Authors: Bill Yuchen Lin, Seyeon Lee, Rahul Khanna, Xiang Ren
- Abstract要約: 近年の研究では、事前学習言語モデル(PTLM)がある種の常識と事実的知識を持っていることが示されている。
驚くべきことに、これは数値コモンセンスの知識には役に立たないかもしれない。
本稿では,13.6kのマスク付き単語予測プローブを含む診断データセットであるNumerSenseを用いた新しい探索タスクを提案する。
- 参考スコア（独自算出の注目度）: 34.957869519291535
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent works show that pre-trained language models (PTLMs), such as BERT,
possess certain commonsense and factual knowledge. They suggest that it is
promising to use PTLMs as "neural knowledge bases" via predicting masked words.
Surprisingly, we find that this may not work for numerical commonsense
knowledge (e.g., a bird usually has two legs). In this paper, we investigate
whether and to what extent we can induce numerical commonsense knowledge from
PTLMs as well as the robustness of this process. To study this, we introduce a
novel probing task with a diagnostic dataset, NumerSense, containing 13.6k
masked-word-prediction probes (10.5k for fine-tuning and 3.1k for testing). Our
analysis reveals that: (1) BERT and its stronger variant RoBERTa perform poorly
on the diagnostic dataset prior to any fine-tuning; (2) fine-tuning with
distant supervision brings some improvement; (3) the best supervised model
still performs poorly as compared to human performance (54.06% vs 96.3% in
accuracy).
- Abstract（参考訳）: 近年の研究では、BERTのような事前学習言語モデル(PTLM)が、ある種の常識と事実的知識を持っていることが示されている。
彼らは、PTLMを「神経知識基盤」として、マスク付き単語を予測して使うことを約束していると示唆している。
驚くべきことに、これは数値コモンセンスの知識には役に立たない(例えば、鳥は通常2本の足を持つ)。
本稿では,ptlmsから数値コモンセンス知識を導出できるかどうか,また,このプロセスの堅牢性について検討する。
そこで本研究では,13.6kのマスキングワード予測プローブ(微調整用10.5k,テスト用3.1k)を含む診断データセットnumersenseを用いた新しい探索タスクを提案する。
解析の結果, (1) BERTとその強力な変種RoBERTaは, 微調整の前に診断データセットに悪影響を及ぼす, (2) 遠隔監視による微調整は, 改善をもたらす, (3) 最高の教師付きモデルは, 人的性能(精度54.06%対96.3%)と比較しても, 依然として低性能であることがわかった。
関連論文リスト
- Persistent Pre-Training Poisoning of LLMs [71.53046642099142]
我々の研究は、事前学習中に言語モデルも妥協できるかどうかを初めて評価した。
我々は、有害な敵に対する影響を測定するために、スクラッチから一連のLSMを事前訓練する。
我々の主な結果は、モデルの事前トレーニングデータセットの0.1%しか中毒にならず、4つの攻撃のうち3つがポストトレーニングを通じて持続するのに十分であるということです。
論文 参考訳（メタデータ） (2024-10-17T16:27:13Z) - Investigating Pre-trained Language Models on Cross-Domain Datasets, a
Step Closer to General AI [0.8889304968879164]
本研究では、事前学習された言語モデルが、異なる非言語タスクに一般化する能力について検討する。
私たちが使用した4つの事前訓練モデル、T5、BART、BERT、GPT-2は優れた結果を得た。
論文 参考訳（メタデータ） (2023-06-21T11:55:17Z) - Decouple knowledge from parameters for plug-and-play language modeling [77.5601135412186]
差別化可能なプラグインメモリ(DPM)を備えた事前学習モデルPlugLMを導入する。
鍵となる直感は、編集可能でスケーラブルなキーバリューメモリで、知識ストレージをモデルパラメータから切り離すことである。
PlugLMは4つのドメインで平均3.95のF1改善を実現している。
論文 参考訳（メタデータ） (2023-05-19T10:01:55Z) - Never guess what I heard... Rumor Detection in Finnish News: a Dataset
and a Baseline [1.0896567381206714]
本研究は,フィンランド語ニュースの見出しにおいて,うわさ検出に関する新しいデータセットを提示する。
2つのLSTMモデルと2つのBERTモデルを評価し,結果に大きな違いが認められた。
論文 参考訳（メタデータ） (2021-06-07T07:36:36Z) - Do Syntactic Probes Probe Syntax? Experiments with Jabberwocky Probing [45.834234634602566]
学習データにおける意味的手がかりは,構文的プローブが適切に構文を分離しないことを意味する。
私たちは、いくつかの人気のある言語モデルでプローブをトレーニングします。
論文 参考訳（メタデータ） (2021-06-04T15:46:39Z) - Are Larger Pretrained Language Models Uniformly Better? Comparing
Performance at the Instance Level [38.64433236359172]
BERT-Largeは、MNLI、SST-2、QQPのインスタンスの少なくとも1～4%でBERT-Miniよりも悪い。
ファインタニングノイズはモデルサイズとともに増加し、そのインスタンスレベルの精度は運動量を持つ。
以上の結果から,インスタンスレベルの予測は豊富な情報源を提供することが示唆された。
論文 参考訳（メタデータ） (2021-05-13T01:10:51Z) - How Can We Know When Language Models Know? On the Calibration of
Language Models for Question Answering [80.82194311274694]
言語モデルがいつ、自信を持って、特定のクエリに対する答えを知っているか、どのように知ることができるか?
我々は,T5,BART,GPT-2の3つの強力な生成モデルを検討した。
次に、そのようなモデルの校正方法を検討し、その信頼性スコアを正しさの確率と相関させる。
論文 参考訳（メタデータ） (2020-12-02T03:53:13Z) - On the Interplay Between Fine-tuning and Sentence-level Probing for
Linguistic Knowledge in Pre-trained Transformers [24.858283637038422]
本稿では,BERT,RoBERTa,ALBERTの3種類の事前学習モデルについて検討する。
探究タスクの微調整によって精度が大幅に変化することを発見した。
ファインチューニングは、実際に事前訓練されたモデルの表現を変えるが、ごく少数のケースでのみ、ファインチューニングは探索精度に肯定的な影響を及ぼす。
論文 参考訳（メタデータ） (2020-10-06T10:54:00Z) - Pretrained Language Model Embryology: The Birth of ALBERT [68.5801642674541]
ランダムなパラメータの集合からトチエント言語モデルへの発達過程について検討する。
その結果、ALBERTは、事前学習中に異なる学習速度で、音声の異なる部分(POS)のトークンを再構成し、予測することを学習していることがわかった。
これらの結果は、事前訓練されたモデルの知識が事前訓練の間に異なることを示唆し、事前訓練のステップを持つことは、必ずしもより包括的な知識を持つモデルを提供するとは限らないことを示唆している。
論文 参考訳（メタデータ） (2020-10-06T05:15:39Z) - DeBERTa: Decoding-enhanced BERT with Disentangled Attention [119.77305080520718]
2つの新しい手法を用いてBERTモデルとRoBERTaモデルを改善する新しいモデルアーキテクチャDeBERTaを提案する。
これらの手法により,モデル事前学習の効率化と,自然言語理解(NLU)と自然言語生成(NLG)の両方の性能向上が期待できる。
論文 参考訳（メタデータ） (2020-06-05T19:54:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。