論文の概要: A Systematic Analysis on the Temporal Generalization of Language Models in Social Media

• arxiv url: http://arxiv.org/abs/2405.13017v1
• Date: Wed, 15 May 2024 05:41:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-27 02:58:21.264729
• Title: A Systematic Analysis on the Temporal Generalization of Language Models in Social Media
• Title（参考訳）: ソーシャルメディアにおける言語モデルの時間的一般化に関する体系的分析
• Authors: Asahi Ushio, Jose Camacho-Collados,
• Abstract要約: 本稿では,ソーシャルメディア,特にTwitterの時間的変化に注目した。 本研究では,言語モデル(LM)の性能を時間的シフトで評価するための統一評価手法を提案する。
• 参考スコア（独自算出の注目度）: 12.035331011654078
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In machine learning, temporal shifts occur when there are differences between training and test splits in terms of time. For streaming data such as news or social media, models are commonly trained on a fixed corpus from a certain period of time, and they can become obsolete due to the dynamism and evolving nature of online content. This paper focuses on temporal shifts in social media and, in particular, Twitter. We propose a unified evaluation scheme to assess the performance of language models (LMs) under temporal shift on standard social media tasks. LMs are tested on five diverse social media NLP tasks under different temporal settings, which revealed two important findings: (i) the decrease in performance under temporal shift is consistent across different models for entity-focused tasks such as named entity recognition or disambiguation, and hate speech detection, but not significant in the other tasks analysed (i.e., topic and sentiment classification); and (ii) continuous pre-training on the test period does not improve the temporal adaptability of LMs.
• Abstract（参考訳）: マシンラーニングでは、トレーニングとテストの分割に時間的な違いがある場合、時間的なシフトが発生する。 ニュースやソーシャルメディアなどのストリーミングデータでは、モデルは一定期間から一定のコーパスで訓練され、ダイナミズムやオンラインコンテンツの進化によって時代遅れになる可能性がある。 本稿では,ソーシャルメディア,特にTwitterの時間的変化に注目した。 本稿では,標準ソーシャルメディアタスクに対する時間的シフトの下で,言語モデル(LM)の性能を評価する統一評価手法を提案する。 LMは、異なる時間設定下で5つのソーシャルメディアNLPタスクでテストされ、2つの重要な発見が示された。 一 時間的シフトによるパフォーマンスの低下は、名前付きエンティティ認識や曖昧さ、ヘイトスピーチ検出などのエンティティ中心タスクのモデルによって一致しているが、他のタスク(トピックと感情の分類)では重要ではない。 (II) 試験期間における連続事前訓練は, LMの時間適応性を向上しない。

関連論文リスト

• LLMTemporalComparator: A Tool for Analysing Differences in Temporal Adaptations of Large Language Models [17.021220773165016]
  本研究では、異なる期間のデータに基づいて訓練された大規模言語モデル(LLM)における時間的不一致を分析することの課題に対処する。 本稿では,ユーザ定義クエリに基づく2つのLLMバージョンの出力を体系的に比較するシステムを提案する。
  論文  参考訳（メタデータ） (2024-10-05T15:17:07Z)
• Adaptive Cascading Network for Continual Test-Time Adaptation [12.718826132518577]
  そこで本研究では,テスト時に対象ドメインの列に事前学習したソースモデルを適応させることを目標とする連続的なテスト時間適応の問題について検討する。 テストタイムトレーニングの既存の方法には、いくつかの制限がある。
  論文  参考訳（メタデータ） (2024-07-17T01:12:57Z)
• Towards Effective Time-Aware Language Representation: Exploring Enhanced Temporal Understanding in Language Models [24.784375155633427]
  BiTimeBERT 2.0は、テンポラリニュース記事コレクションに事前トレーニングされた新しい言語モデルである。 それぞれの目的は、時間情報のユニークな側面を目標としている。 その結果、BiTimeBERT 2.0はBERTや他の既存のトレーニング済みモデルよりも優れています。
  論文  参考訳（メタデータ） (2024-06-04T00:30:37Z)
• Revisiting Dynamic Evaluation: Online Adaptation for Large Language Models [88.47454470043552]
  我々は、動的評価(動的評価)としても知られる、テスト時の言語モデルのパラメータをオンラインで微調整する問題を考察する。 オンライン適応はパラメータを時間的に変化する状態に変換し、メモリを重み付けしたコンテキスト長拡張の形式を提供する。
  論文  参考訳（メタデータ） (2024-03-03T14:03:48Z)
• Subspace Chronicles: How Linguistic Information Emerges, Shifts and Interacts during Language Model Training [56.74440457571821]
  我々は、構文、意味論、推論を含むタスクを、200万の事前学習ステップと5つのシードで分析する。 タスクや時間にまたがる重要な学習フェーズを特定し、その間にサブスペースが出現し、情報を共有し、後に専門化するために混乱する。 この結果は,モデル解釈可能性,マルチタスク学習,限られたデータからの学習に影響を及ぼす。
  論文  参考訳（メタデータ） (2023-10-25T09:09:55Z)
• UniTime: A Language-Empowered Unified Model for Cross-Domain Time Series Forecasting [59.11817101030137]
  この研究はドメイン境界を超越する統一モデルパラダイムを提唱する。 効果的なクロスドメインモデルを学ぶことは、以下の課題を提示します。 効果的なドメイン間時系列学習のためのUniTimeを提案する。
  論文  参考訳（メタデータ） (2023-10-15T06:30:22Z)
• Learning to Exploit Temporal Structure for Biomedical Vision-Language Processing [53.89917396428747]
  視覚言語処理における自己教師あり学習は、画像とテキストのモダリティのセマンティックアライメントを利用する。 トレーニングと微調整の両方で利用できる場合、事前のイメージとレポートを明示的に説明します。 我々のアプローチはBioViL-Tと呼ばれ、テキストモデルと共同で訓練されたCNN-Transformerハイブリッドマルチイメージエンコーダを使用する。
  論文  参考訳（メタデータ） (2023-01-11T16:35:33Z)
• Generic Temporal Reasoning with Differential Analysis and Explanation [61.96034987217583]
  時間差分解析でギャップを埋めるTODAYという新しいタスクを導入する。 TODAYは、システムがインクリメンタルな変化の効果を正しく理解できるかどうかを評価する。 共同学習においてTODAYの指導スタイルと説明アノテーションが有効であることを示す。
  論文  参考訳（メタデータ） (2022-12-20T17:40:03Z)
• Time Will Change Things: An Empirical Study on Dynamic Language Understanding in Social Media Classification [5.075802830306718]
  我々は、実験的にソーシャルメディアのNLUを動的に研究し、モデルが過去のデータに基づいてトレーニングされ、将来のテストが行われる。 自動エンコーディングと擬似ラベルが協調して、動的性の最良の堅牢性を示すことを示す。
  論文  参考訳（メタデータ） (2022-10-06T12:18:28Z)
• Time Waits for No One! Analysis and Challenges of Temporal Misalignment [42.106972477571226]
  時間的ミスアライメントの効果を定量化するために、異なるドメインにまたがる8つの多様なタスクのスイートを構築します。 時間的不整合がタスクパフォーマンスに与える影響は,以前報告されたよりも強い。 我々の研究は、NLPモデルの時間的堅牢性を改善するために、継続的な研究を動機付けている。
  論文  参考訳（メタデータ） (2021-11-14T18:29:19Z)
• Combating Temporal Drift in Crisis with Adapted Embeddings [58.4558720264897]
  言語の使用は時間とともに変化し、NLPシステムの有効性に影響を与える可能性がある。 本研究は,危機時の言論変化に対応する方法を検討する。
  論文  参考訳（メタデータ） (2021-04-17T13:11:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。