論文の概要: Temporal Adaptation of BERT and Performance on Downstream Document Classification: Insights from Social Media

• arxiv url: http://arxiv.org/abs/2104.08116v1
• Date: Fri, 16 Apr 2021 13:48:53 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-19 20:27:58.932016
• Title: Temporal Adaptation of BERT and Performance on Downstream Document Classification: Insights from Social Media
• Title（参考訳）: 下流文書分類におけるBERTの時間適応と性能:ソーシャルメディアからの考察
• Authors: Paul R\"ottger and Janet B. Pierrehumbert
• Abstract要約: 前の仕事は、BERTのような事前訓練された言語モデルをドメインに適応することで、ドメイン内下流タスクのパフォーマンスが向上することを示しています。 3年にわたるソーシャルメディアコメントのベンチマークコーパスを紹介します。 時間的適応は上流のタスクパフォーマンスを改善し、時間的微調整は下流のタスクパフォーマンスを改善する。
• 参考スコア（独自算出の注目度）: 10.66048003460524
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language use differs between domains and even within a domain, language use changes over time. Previous work shows that adapting pretrained language models like BERT to domain through continued pretraining improves performance on in-domain downstream tasks. In this article, we investigate whether adapting BERT to time in addition to domain can increase performance even further. For this purpose, we introduce a benchmark corpus of social media comments sampled over three years. The corpus consists of 36.36m unlabelled comments for adaptation and evaluation on an upstream masked language modelling task as well as 0.9m labelled comments for finetuning and evaluation on a downstream document classification task. We find that temporality matters for both tasks: temporal adaptation improves upstream task performance and temporal finetuning improves downstream task performance. However, we do not find clear evidence that adapting BERT to time and domain improves downstream task performance over just adapting to domain. Temporal adaptation captures changes in language use in the downstream task, but not those changes that are actually relevant to performance on it.
• Abstract（参考訳）: 言語の使用はドメインによって異なり、ドメイン内でも言語の使用は時間とともに変化する。 これまでの研究によると、BERTのような事前訓練済みの言語モデルを継続的に事前訓練することで、ドメイン内の下流タスクのパフォーマンスが向上している。 本稿では,領域に加え,BERTを時間に適応させることにより,さらなる性能向上を図る。 この目的のために,3年間にわたるソーシャルメディアコメントのベンチマークコーパスを導入する。 コーパスは、上流のマスキング言語モデリングタスクにおける適応と評価のための36.36mの未ラベルのコメントと、下流の文書分類タスクにおける微調整と評価のための0.9mのラベル付きコメントで構成されている。 時間的適応は上流タスクのパフォーマンスを改善し、時間的微調整は下流タスクのパフォーマンスを向上させる。 しかし、BERTを時間とドメインに適応させることが、単にドメインに適応することよりも下流タスクのパフォーマンスを改善するという明確な証拠は見つからない。 時間適応は、下流タスクにおける言語使用の変化をキャプチャするが、実際にパフォーマンスに関連する変更ではない。

関連論文リスト

• A Systematic Analysis on the Temporal Generalization of Language Models in Social Media [12.035331011654078]
  本稿では,ソーシャルメディア,特にTwitterの時間的変化に注目した。 本研究では,言語モデル(LM)の性能を時間的シフトで評価するための統一評価手法を提案する。
  論文  参考訳（メタデータ） (2024-05-15T05:41:06Z)
• Improving Domain Adaptation through Extended-Text Reading Comprehension [108.24709810480654]
  最近の研究は、適応型パターンによってフォーマットされた理解データを読み取るモデルが、ドメイン固有のタスクのパフォーマンスを大幅に改善できることを実証している。 しかし、これらのパターンはドメイン固有の知識を用いて生のコーパスを解析することができない。 AdaptLLMと比較して、ドメイン固有のタスクで5%以上の改善を実現している。
  論文  参考訳（メタデータ） (2024-01-14T13:11:31Z)
• P{\O}DA: Prompt-driven Zero-shot Domain Adaptation [27.524962843495366]
  我々は,対象領域の自然言語,すなわちプロンプトの一般的な記述のみを用いて,ソースドメイン上で訓練されたモデルを適用する。 本稿では,これらのプロンプト駆動による拡張が,セマンティックセグメンテーションのためのゼロショットドメイン適応の実行に有効であることを示す。
  論文  参考訳（メタデータ） (2022-12-06T18:59:58Z)
• Non-Parametric Domain Adaptation for End-to-End Speech Translation [72.37869362559212]
  E2E-ST(End-to-End Speech Translation)は、エラー伝播の低減、レイテンシの低減、パラメータの削減などにより注目されている。 本稿では,E2E-STシステムのドメイン適応を実現するために,ドメイン固有のテキスト翻訳コーパスを活用する新しい非パラメトリック手法を提案する。
  論文  参考訳（メタデータ） (2022-05-23T11:41:02Z)
• Non-Parametric Unsupervised Domain Adaptation for Neural Machine Translation [61.27321597981737]
  $k$NN-MTは、トレーニング済みニューラルネットワーク翻訳(NMT)モデルとドメイン固有のトークンレベルである$k$-nearest-neighbor検索を直接組み込むという有望な能力を示している。 対象言語におけるドメイン内単言語文を直接使用して,$k$-nearest-neighbor検索に有効なデータストアを構築する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-14T11:50:01Z)
• Knowledge Distillation for BERT Unsupervised Domain Adaptation [2.969705152497174]
  トレーニング済みの言語モデルであるBERTは、さまざまな自然言語処理タスクで大幅なパフォーマンス向上を実現している。 蒸留による逆順応法(AAD)を提案する。 ドメイン間感情分類におけるアプローチを30組のドメイン対で評価した。
  論文  参考訳（メタデータ） (2020-10-22T06:51:24Z)
• Domain Adversarial Fine-Tuning as an Effective Regularizer [80.14528207465412]
  自然言語処理(NLP)では、下流タスクに転送される事前訓練された言語モデル(LM)が、最先端の結果を得るために最近示されている。 標準的な微調整は、事前トレーニング中にキャプチャされた汎用ドメイン表現を分解することができる。 本稿では,新しい正規化手法である After; 有効正規化器としてのドメイン・アダクショナル・ファイン・チューニングを提案する。
  論文  参考訳（メタデータ） (2020-09-28T14:35:06Z)
• Feature Adaptation of Pre-Trained Language Models across Languages and Domains with Robust Self-Training [47.12438995938133]
  我々は、訓練済み言語モデル(PrLM)を微調整なしで新しいドメインに適用する。 PrLMから識別的特徴を学習するために,クラス認識型自己蒸留(CFd)を提案する。 2つの単言語および多言語Amazonレビューデータセットの実験は、CFdが継続的に自己学習のパフォーマンスを改善することができることを示している。
  論文  参考訳（メタデータ） (2020-09-24T08:04:37Z)
• Don't Stop Pretraining: Adapt Language Models to Domains and Tasks [81.99843216550306]
  バイオメディカルおよびコンピュータサイエンスの出版物、ニュース、レビュー)と8つの分類タスクについて調査する。 ドメイン内の事前トレーニング(ドメイン適応型事前トレーニング)の第2フェーズでは、パフォーマンスが向上する。 タスクの未ラベルデータ(タスク適応事前トレーニング)に適応することで、ドメイン適応事前トレーニング後のパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2020-04-23T04:21:19Z)
• Action Segmentation with Joint Self-Supervised Temporal Domain Adaptation [54.81021693364532]
  我々は,アクションセグメンテーションのバリエーションの問題に対処するために,ラベルのないビデオを利用する。 本稿では,2つの自己監督型補助タスクを含む自己監督型時間領域適応(SSTDA)を提案する。 3つの挑戦的なデータセットにおいて、SSTDAは最先端の手法よりも大きなマージンで優れている。
  論文  参考訳（メタデータ） (2020-03-05T18:52:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。