論文の概要: Bag of Lies: Robustness in Continuous Pre-training BERT

• arxiv url: http://arxiv.org/abs/2406.09967v1
• Date: Fri, 14 Jun 2024 12:16:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-17 13:45:24.006620
• Title: Bag of Lies: Robustness in Continuous Pre-training BERT
• Title（参考訳）: Bag of Lies: 継続的な事前トレーニングBERTにおけるロバスト性
• Authors: Ine Gevers, Walter Daelemans,
• Abstract要約: 本研究の目的は、エンティティ知識に関するBERTの継続的な事前学習フェーズに関する洞察を得ることである。 BERTの事前トレーニングデータの最後の更新以来、このモデルは新型コロナウイルスに関するエンティティ知識をほとんど、あるいは全く持っていない。 ベースラインBERTモデルと,ファクトチェックベンチマークであるCheck-COVIDの事前学習版を比較した。
• 参考スコア（独自算出の注目度）: 2.4850657856181946
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This study aims to acquire more insights into the continuous pre-training phase of BERT regarding entity knowledge, using the COVID-19 pandemic as a case study. Since the pandemic emerged after the last update of BERT's pre-training data, the model has little to no entity knowledge about COVID-19. Using continuous pre-training, we control what entity knowledge is available to the model. We compare the baseline BERT model with the further pre-trained variants on the fact-checking benchmark Check-COVID. To test the robustness of continuous pre-training, we experiment with several adversarial methods to manipulate the input data, such as training on misinformation and shuffling the word order until the input becomes nonsensical. Surprisingly, our findings reveal that these methods do not degrade, and sometimes even improve, the model's downstream performance. This suggests that continuous pre-training of BERT is robust against misinformation. Furthermore, we are releasing a new dataset, consisting of original texts from academic publications in the LitCovid repository and their AI-generated false counterparts.
• Abstract（参考訳）: 本研究は、新型コロナウイルスのパンデミックをケーススタディとして、エンティティ知識に関するBERTの継続的な事前学習フェーズに関する洞察を得ることを目的としている。 BERTの事前トレーニングデータの最後の更新後にパンデミックが出現して以来、このモデルには新型コロナウイルスに関する実体的な知識はほとんどない。 継続的事前トレーニングを使用して、モデルで利用可能なエンティティ知識を制御します。 ベースラインBERTモデルと,ファクトチェックベンチマークであるCheck-COVIDの事前学習版を比較した。 連続事前学習のロバスト性をテストするために,誤報の訓練や単語順のシャッフルなど,入力データを操作するためのいくつかの逆法を実験した。 驚くべきことに、これらの手法は劣化せず、時には改善されないことが判明した。 これは、BERTの継続事前学習が誤情報に対して堅牢であることを示している。 さらに、LitCovidリポジトリ内の学術出版物と、AIが生成した偽のテキストからなる、新しいデータセットもリリースしています。

関連論文リスト

• Pre-training and Diagnosing Knowledge Base Completion Models [58.07183284468881]
  我々は,事実の集合から他の集合への知識伝達へのアプローチを,エンティティや関係マッチングを必要とせずに導入し,分析する。 主な貢献は、構造化されていないテキストから収集された事実の大規模事前学習を利用する方法である。 得られた事前学習モデルをよりよく理解するために,オープン知識ベースコンプリートのための事前学習モデルの解析のための新しいデータセットを導入する。
  論文  参考訳（メタデータ） (2024-01-27T15:20:43Z)
• Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
  我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。 画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2022-09-30T02:25:12Z)
• Continual Pre-Training Mitigates Forgetting in Language and Vision [43.80547864450793]
  絶え間なく事前訓練されたモデルは破滅的な忘れ物に対して堅牢であることを示す。 本稿では,自己指導型事前学習が,教師付きプロトコルよりも事前知識の保持に有効であることを示す実証的証拠を提供する。
  論文  参考訳（メタデータ） (2022-05-19T07:27:12Z)
• Knowledge Distillation as Efficient Pre-training: Faster Convergence, Higher Data-efficiency, and Better Transferability [53.27240222619834]
  効率的な事前学習としての知識蒸留は、学習した特徴表現を学習済みモデルから将来の下流タスクのための新しい学生モデルに効率的に転送することを目的としている。 提案手法は,3つの下流タスクにおける教師付き事前学習タスクと,10倍少ないデータと5倍少ない事前学習時間を必要とする9つの下流データセットとを比較検討する。
  論文  参考訳（メタデータ） (2022-03-10T06:23:41Z)
• On the Transferability of Pre-trained Language Models: A Study from Artificial Datasets [74.11825654535895]
  大規模未ラベルテキストデータ上での事前学習言語モデル(LM)により、ダウンストリームのパフォーマンスが極めて容易になる。 我々は,事前学習データに含まれる特定の特徴について,セマンティクス以外では,下流タスクのスクラッチからトレーニングしたデータよりも,事前学習したLMを優れているか検討した。
  論文  参考訳（メタデータ） (2021-09-08T10:39:57Z)
• The MultiBERTs: BERT Reproductions for Robustness Analysis [86.29162676103385]
  事前トレーニングの再実行は、パフォーマンスに関して、かなり異なる結論をもたらす可能性がある。 我々は25個のBERTベースのチェックポイントの集合であるMultiBERTを紹介する。 目標は、研究者が事前訓練の手順について、堅牢で統計的に正当化された結論を描けるようにすることである。
  論文  参考訳（メタデータ） (2021-06-30T15:56:44Z)
• Is BERT a Cross-Disciplinary Knowledge Learner? A Surprising Finding of Pre-trained Models' Transferability [74.11825654535895]
  BERTなどのテキストデータに予め訓練されたモデルのパワーを、一般的なトークンシーケンス分類アプリケーションに転送できるかどうかを検討します。 テキスト以外のデータでも、テキストに事前学習されたモデルはランダムなモデルよりも高速に収束する。
  論文  参考訳（メタデータ） (2021-03-12T09:19:14Z)
• A Systematic Evaluation of Transfer Learning and Pseudo-labeling with BERT-based Ranking Models [2.0498977512661267]
  BERTに基づく5つの英語データセット間のニューラルランキングモデルの転送性を評価する。 各コレクションには膨大な数のクエリがあり、フルショット評価モードを可能にします。 擬似ラベルのトレーニングは、転送学習と比較して、競争力や優れたモデルを生み出すことができる。
  論文  参考訳（メタデータ） (2021-03-04T21:08:06Z)
• GiBERT: Introducing Linguistic Knowledge into BERT through a Lightweight Gated Injection Method [29.352569563032056]
  本稿では,言語知識を単語埋め込みの形で,事前学習したBERTに明示的に注入する手法を提案する。 依存性ベースと逆適合の埋め込みを注入する場合、複数のセマンティックな類似性データセットのパフォーマンス改善は、そのような情報が有益であり、現在元のモデルから欠落していることを示している。
  論文  参考訳（メタデータ） (2020-10-23T17:00:26Z)
• Cost-effective Selection of Pretraining Data: A Case Study of Pretraining BERT on Social Media [18.21146856681127]
  領域固有のBERTモデルに関する最近の研究は、ドメイン内データ上でモデルが事前訓練された場合、下流タスクの有効性を向上させることができることを示している。 ツイートとフォーラムのテキストにそれぞれ2つのモデルを事前学習し、これらの2つのリソースの有効性を実証的に示す。 さらに,ドメイン内事前学習データに類似度を付与する方法について検討する。
  論文  参考訳（メタデータ） (2020-10-02T18:06:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。