論文の概要: VIBE: Topic-Driven Temporal Adaptation for Twitter Classification

• arxiv url: http://arxiv.org/abs/2310.10191v3
• Date: Sat, 4 Nov 2023 17:32:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-07 20:12:00.924304
• Title: VIBE: Topic-Driven Temporal Adaptation for Twitter Classification
• Title（参考訳）: vibe: twitter分類のためのトピック駆動時間適応
• Authors: Yuji Zhang, Jing Li, Wenjie Li
• Abstract要約: 我々は、過去のデータに基づいてトレーニングされたモデルが将来テストされる時間適応について研究する。 我々のモデルは、わずか3%のデータしか持たないが、従来の最先端の継続的な事前学習方法よりも大幅に優れていた。
• 参考スコア（独自算出の注目度）: 9.476760540618903
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Language features are evolving in real-world social media, resulting in the deteriorating performance of text classification in dynamics. To address this challenge, we study temporal adaptation, where models trained on past data are tested in the future. Most prior work focused on continued pretraining or knowledge updating, which may compromise their performance on noisy social media data. To tackle this issue, we reflect feature change via modeling latent topic evolution and propose a novel model, VIBE: Variational Information Bottleneck for Evolutions. Concretely, we first employ two Information Bottleneck (IB) regularizers to distinguish past and future topics. Then, the distinguished topics work as adaptive features via multi-task training with timestamp and class label prediction. In adaptive learning, VIBE utilizes retrieved unlabeled data from online streams created posterior to training data time. Substantial Twitter experiments on three classification tasks show that our model, with only 3% of data, significantly outperforms previous state-of-the-art continued-pretraining methods.
• Abstract（参考訳）: 言語機能は現実世界のソーシャルメディアで進化しており、ダイナミックスにおけるテキスト分類のパフォーマンスが低下している。 この課題に対処するために、過去のデータに基づいてトレーニングされたモデルが将来テストされる時間適応について研究する。 以前のほとんどの作業は、事前トレーニングや知識更新の継続に重点を置いており、騒がしいソーシャルメディアデータでのパフォーマンスを損なう可能性がある。 この問題に取り組むために,潜在トピック進化のモデル化を通じて特徴変化を反映し,新しいモデルであるvibe: variational information bottleneck for evolutionsを提案する。 具体的には、まず2つのInformation Bottleneck(IB)レギュレータを使用し、過去と将来のトピックを区別する。 次に,タイムスタンプとクラスラベル予測を用いたマルチタスクトレーニングによる適応機能として機能する。 適応学習では、VIBEは、後進的に生成されたオンラインストリームから取得した未ラベルデータをトレーニングデータ時間に利用する。 twitterによる3つの分類タスクの実験では、データのわずか3%のモデルが、これまでの最先端のトレーニング方法を大きく上回っていることが分かりました。

関連論文リスト

• Adaptive Rentention & Correction for Continual Learning [114.5656325514408]
  連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。 アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。 ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2024-05-23T08:43:09Z)
• ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
  認知のための行動認識型身体学習(ALP)について紹介する。 ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。 ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-16T21:51:04Z)
• Time Series Contrastive Learning with Information-Aware Augmentations [57.45139904366001]
  コントラスト学習の鍵となる要素は、いくつかの先行を示唆する適切な拡張を選択して、実現可能な正のサンプルを構築することである。 対照的な学習タスクやデータセットに意味のある時系列データの増大をどうやって見つけるかは、未解決の問題である。 本稿では,時系列表現学習のための最適な拡張を適応的に選択する情報認識拡張を用いた新しいコントラスト学習手法であるInfoTSを提案する。
  論文  参考訳（メタデータ） (2023-03-21T15:02:50Z)
• Time Will Change Things: An Empirical Study on Dynamic Language Understanding in Social Media Classification [5.075802830306718]
  我々は、実験的にソーシャルメディアのNLUを動的に研究し、モデルが過去のデータに基づいてトレーニングされ、将来のテストが行われる。 自動エンコーディングと擬似ラベルが協調して、動的性の最良の堅牢性を示すことを示す。
  論文  参考訳（メタデータ） (2022-10-06T12:18:28Z)
• Time-Varying Propensity Score to Bridge the Gap between the Past and Present [104.46387765330142]
  本稿では,データ分布の段階的変化を検出するための時間変化確率スコアを提案する。 実装のさまざまな方法を示し、さまざまな問題について評価する。
  論文  参考訳（メタデータ） (2022-10-04T07:21:49Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)
• Building for Tomorrow: Assessing the Temporal Persistence of Text Classifiers [18.367109894193486]
  テキスト分類モデルの性能は、分類すべき新しいデータがトレーニングに使用されるデータからより遠い時間に低下する可能性がある。 これにより、時間とともに持続することを目的としたテキスト分類モデルの設計に関する重要な研究上の疑問が提起される。 6～19年間にわたる3つのデータセットの縦断分類実験を行った。
  論文  参考訳（メタデータ） (2022-05-11T12:21:14Z)
• Training Dynamics for Text Summarization Models [45.62439188988816]
  我々は、ニュース要約に着目して、世代モデルのトレーニングダイナミクスを分析する。 異なるデータセット (CNN/DM, XSum, MediaSum) と要約特性を用いて, モデルが微調整プロセスの異なる段階で何を学習するかを検討する。 コピー動作などの特性は、トレーニングプロセスの早い段階で学習され、これらの観察はドメイン間で堅牢であることがわかった。 一方, 隠蔽事実の幻覚などの事実誤りは後期に学習され, この行動は領域によって多様である。
  論文  参考訳（メタデータ） (2021-10-15T21:13:41Z)
• Learning Neural Models for Natural Language Processing in the Face of Distributional Shift [10.990447273771592]
  特定のデータセットでひとつのタスクを実行するための強力な神経予測器をトレーニングするNLPのパラダイムが、さまざまなアプリケーションで最先端のパフォーマンスを実現している。 データ分布が定常である、すなわち、トレーニングとテストの時間の両方で、データは固定された分布からサンプリングされる、という仮定に基づいて構築される。 この方法でのトレーニングは、人間が絶えず変化する情報の流れの中で学習し、操作できる方法と矛盾する。 データ分散がモデル寿命の経過とともにシフトすることが期待される実世界のユースケースに不適応である。
  論文  参考訳（メタデータ） (2021-09-03T14:29:20Z)
• Dynamic Language Models for Continuously Evolving Content [19.42658043326054]
  近年、BERTのような事前訓練された言語モデルは、コンテンツ理解タスクの最先端性を大幅に改善した。 本稿では,これらの言語モデルをウェブコンテンツの継続的な進化に適応させる方法について検討する。
  論文  参考訳（メタデータ） (2021-06-11T10:33:50Z)
• Reducing Representation Drift in Online Continual Learning [87.71558506591937]
  私たちは、エージェントが制限されたメモリと計算で変化する分布から学ぶ必要があるオンライン連続学習パラダイムを研究します。 この作業では、入ってくるデータストリームに未観測のクラスサンプルが導入されることにより、事前に観測されたデータの表現の変化に焦点を合わせます。
  論文  参考訳（メタデータ） (2021-04-11T15:19:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。