論文の概要: Dynamic Language Models for Continuously Evolving Content

• arxiv url: http://arxiv.org/abs/2106.06297v1
• Date: Fri, 11 Jun 2021 10:33:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-14 20:50:35.361690
• Title: Dynamic Language Models for Continuously Evolving Content
• Title（参考訳）: コンテンツ継続的進化のための動的言語モデル
• Authors: Spurthi Amba Hombaiah and Tao Chen and Mingyang Zhang and Michael Bendersky and Marc Najork
• Abstract要約: 近年、BERTのような事前訓練された言語モデルは、コンテンツ理解タスクの最先端性を大幅に改善した。 本稿では,これらの言語モデルをウェブコンテンツの継続的な進化に適応させる方法について検討する。
• 参考スコア（独自算出の注目度）: 19.42658043326054
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The content on the web is in a constant state of flux. New entities, issues, and ideas continuously emerge, while the semantics of the existing conversation topics gradually shift. In recent years, pre-trained language models like BERT greatly improved the state-of-the-art for a large spectrum of content understanding tasks. Therefore, in this paper, we aim to study how these language models can be adapted to better handle continuously evolving web content. In our study, we first analyze the evolution of 2013 - 2019 Twitter data, and unequivocally confirm that a BERT model trained on past tweets would heavily deteriorate when directly applied to data from later years. Then, we investigate two possible sources of the deterioration: the semantic shift of existing tokens and the sub-optimal or failed understanding of new tokens. To this end, we both explore two different vocabulary composition methods, as well as propose three sampling methods which help in efficient incremental training for BERT-like models. Compared to a new model trained from scratch offline, our incremental training (a) reduces the training costs, (b) achieves better performance on evolving content, and (c) is suitable for online deployment. The superiority of our methods is validated using two downstream tasks. We demonstrate significant improvements when incrementally evolving the model from a particular base year, on the task of Country Hashtag Prediction, as well as on the OffensEval 2019 task.
• Abstract（参考訳）: web上のコンテンツは一定のフラックス状態にある。 新しいエンティティ、イシュー、アイデアが継続的に出現し、既存の会話トピックの意味が徐々に変化する。 近年、BERTのような事前訓練された言語モデルは、幅広いコンテンツ理解タスクの最先端性を大幅に改善した。 そこで本稿では,これらの言語モデルをウェブコンテンツの継続的な進化にどう適応させるかを検討する。 本研究は,2013～2019年のtwitterデータの進化を最初に分析し,過去のツイートに基づいてトレーニングされたbertモデルが,後年のデータに直接適用されると著しく劣化することを確認した。 そこで本研究では,既存のトークンの意味的変化と,新たなトークンの理解に失敗した2つの原因について検討する。 この目的のために,2つの異なる語彙合成法を探索し,BERT型モデルの効率的なインクリメンタルトレーニングを支援する3つのサンプリング法を提案する。 オフラインでスクラッチからトレーニングされた新しいモデルと比較すると、インクリメンタルトレーニング(a)はトレーニングコストを削減し、(b)コンテンツの進化においてよりよいパフォーマンスを達成し、(c)オンラインデプロイメントに適している。 本手法の優位性は2つの下流タスクを用いて検証する。 国別ハッシュタグ予測のタスクとOffensEval 2019タスクに基づいて,特定のベース年から段階的にモデルを進化させる際の大幅な改善を示す。

関連論文リスト

• Multi-Stage Knowledge Integration of Vision-Language Models for Continual Learning [79.46570165281084]
  蒸留法における人間の学習過程をエミュレートするマルチステージ知識統合ネットワーク(MulKI)を提案する。 Mulkiは、イデオロギーの排除、新しいイデオロギーの追加、イデオロギーの排除、コネクティクスの作りという4つの段階を通じてこれを達成している。 提案手法は,下流タスク間の連続学習をサポートしながら,ゼロショット能力の維持における大幅な改善を示す。
  論文  参考訳（メタデータ） (2024-11-11T07:36:19Z)
• VIBE: Topic-Driven Temporal Adaptation for Twitter Classification [9.476760540618903]
  我々は、過去のデータに基づいてトレーニングされたモデルが将来テストされる時間適応について研究する。 我々のモデルは、わずか3%のデータしか持たないが、従来の最先端の継続的な事前学習方法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2023-10-16T08:53:57Z)
• Meta-Learning Online Adaptation of Language Models [88.8947656843812]
  大規模言語モデルは、そのパラメータにおける驚くほど広い世界の知識を符号化する。 しかし、静的言語モデルの知識は時代遅れになり、モデルの効果的な「シェルフライフ」が制限される。
  論文  参考訳（メタデータ） (2023-05-24T11:56:20Z)
• Interpreting Language Models Through Knowledge Graph Extraction [42.97929497661778]
  BERTに基づく言語モデルを,学習過程の逐次的な段階において取得した知識のスナップショットを通じて比較する。 本稿では, クローズイン・ザ・ブランク文から知識グラフを抽出し, 知識獲得のタイムラインを提示する手法を提案する。 この分析を, BERTモデル(DistilBERT, BERT-base, RoBERTa)の事前学習変化の比較に拡張する。
  論文  参考訳（メタデータ） (2021-11-16T15:18:01Z)
• bert2BERT: Towards Reusable Pretrained Language Models [51.078081486422896]
  本稿では,既存のより小さな事前学習モデルの知識を大規模モデルに効果的に伝達できるbert2BERTを提案する。 bert2BERTは、ほぼ半分の大きさのモデルを再利用することで、BERT_BASEとGPT_BASEの事前トレーニングに約45%と47%の計算コストを節約する。
  論文  参考訳（メタデータ） (2021-10-14T04:05:25Z)
• A Comprehensive Comparison of Pre-training Language Models [0.5139874302398955]
  私たちは、同じテキスト量と同じトレーニングステップで、トランスフォーマーベースのモデルのリストを事前トレーニングします。 実験結果から、BERTの原点における最も改善点は、短いテキスト理解のためにより文脈的な情報を取得するためにRNN層を追加することである。
  論文  参考訳（メタデータ） (2021-06-22T02:12:29Z)
• Pre-Training BERT on Arabic Tweets: Practical Considerations [11.087099497830552]
  トレーニングセットのサイズ、形式と非公式のアラビア語の混合、言語前処理の5つのBERTモデルを事前訓練した。 すべてアラビア方言とソーシャルメディアをサポートすることを意図している。 新しいモデルは、いくつかの下流タスクで最新の結果を達成します。
  論文  参考訳（メタデータ） (2021-02-21T20:51:33Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
  言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。 言語モデルのための完全合成出力埋め込み層を提案する。 我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
  論文  参考訳（メタデータ） (2020-09-24T07:21:14Z)
• Pre-training Text Representations as Meta Learning [113.3361289756749]
  本稿では,下流タスクを効果的に学習するために,モデルがテキスト表現を学習する能力を直接最適化する学習アルゴリズムを提案する。 マルチタスク事前学習とモデル非依存型メタラーニングの間には,一連のメタトレインステップによる本質的な関係があることが示されている。
  論文  参考訳（メタデータ） (2020-04-12T09:05:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。