論文の概要: The future is different: Large pre-trained language models fail in prediction tasks

• arxiv url: http://arxiv.org/abs/2211.00384v1
• Date: Tue, 1 Nov 2022 11:01:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-02 12:40:00.637959
• Title: The future is different: Large pre-trained language models fail in prediction tasks
• Title（参考訳）: 未来は違う: 大きな事前学習された言語モデルは予測タスクに失敗する
• Authors: Kostadin Cvejoski, Rams\'es J. S\'anchez, C\'esar Ojeda
• Abstract要約: WALLSTREETBETS, ASKSCIENCE, THE DONALD, POLITICSの4つの新しいREDDITデータセットを紹介した。 まず,トピック分布が時間とともに変化するサブレディットからのポストの人気を予測した場合,LPLMは平均88%の性能低下を示すことを実証的に実証した。 次に、ニューラル変動動的トピックモデルとアテンションメカニズムを利用して、回帰タスクの時間的言語モデル表現を推論する簡単な手法を提案する。
• 参考スコア（独自算出の注目度）: 2.9005223064604078
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large pre-trained language models (LPLM) have shown spectacular success when fine-tuned on downstream supervised tasks. Yet, it is known that their performance can drastically drop when there is a distribution shift between the data used during training and that used at inference time. In this paper we focus on data distributions that naturally change over time and introduce four new REDDIT datasets, namely the WALLSTREETBETS, ASKSCIENCE, THE DONALD, and POLITICS sub-reddits. First, we empirically demonstrate that LPLM can display average performance drops of about 88% (in the best case!) when predicting the popularity of future posts from sub-reddits whose topic distribution changes with time. We then introduce a simple methodology that leverages neural variational dynamic topic models and attention mechanisms to infer temporal language model representations for regression tasks. Our models display performance drops of only about 40% in the worst cases (2% in the best ones) when predicting the popularity of future posts, while using only about 7% of the total number of parameters of LPLM and providing interpretable representations that offer insight into real-world events, like the GameStop short squeeze of 2021
• Abstract（参考訳）: 大規模事前学習型言語モデル(LPLM)は、下流の教師付きタスクを微調整することで大きな成功を収めた。 しかし、トレーニング中に使用するデータと推論時に使用するデータの間に分散シフトが発生した場合、パフォーマンスが劇的に低下することが知られている。 本稿では、時間とともに自然に変化するデータ分布に着目し、WALLSTREETBETS、ASKSCIENCE、The DONALD、POLITICSという4つの新しいREDDITデータセットを導入する。 まず、lplmは、時間とともにトピックの分布が変化するサブredditからの将来の投稿の人気を予測する際に、平均88%(ベストケース!)のパフォーマンス低下を示すことができることを実証する。 次に、ニューラル変動動的トピックモデルとアテンションメカニズムを利用して、回帰タスクの時間言語モデル表現を推論する簡単な手法を提案する。 私たちのモデルは、将来の投稿の人気を予測する場合、最悪の場合(最高のケースでは2%)、パフォーマンス低下の約40%しか表示しませんが、lplmのパラメータの総数の約7%しか使用せず、2021年のgamestop short squeezeのような現実世界のイベントについての洞察を提供する解釈可能な表現を提供しています。

関連論文リスト

• Predicting Emergent Capabilities by Finetuning [98.9684114851891]
  微調整された言語モデルでは,出現頻度の低いモデルに展開するスケーリングのポイントをシフトできることがわかった。 提案手法は4つの標準NLPベンチマークを用いて検証する。 いくつかのケースでは、最大4倍の計算でトレーニングされたモデルが出現したかどうかを正確に予測できる。
  論文  参考訳（メタデータ） (2024-11-25T01:48:09Z)
• Zero-Shot Load Forecasting with Large Language Models [40.604618284659736]
  本稿では,Chronos モデルで表される高度な LLM フレームワークを用いたゼロショット負荷予測手法を提案する。 トレーニング済みの広範な知識を利用することで、Chronosモデルは、広範なデータ固有のトレーニングを必要とせずに、データスカースシナリオの正確な負荷予測を可能にする。
  論文  参考訳（メタデータ） (2024-11-18T07:39:46Z)
• Fairness Hub Technical Briefs: Definition and Detection of Distribution Shift [0.5825410941577593]
  分散シフトは機械学習タスクにおいて一般的な状況であり、モデルのトレーニングに使用されるデータは、モデルが現実世界に適用されるデータとは異なる。 本稿では,教育環境における分布変化の定義と検出に焦点をあてる。
  論文  参考訳（メタデータ） (2024-05-23T05:29:36Z)
• Learning Defect Prediction from Unrealistic Data [57.53586547895278]
  事前訓練されたコードのモデルは、コード理解と生成タスクに人気がある。 このようなモデルは大きい傾向があり、訓練データの総量を必要とする。 人工的に注入されたバグのある関数など、はるかに大きくてもより現実的なデータセットを持つモデルをトレーニングすることが一般的になった。 このようなデータで訓練されたモデルは、実際のプログラムでは性能が劣りながら、同様のデータでのみうまく機能する傾向にある。
  論文  参考訳（メタデータ） (2023-11-02T01:51:43Z)
• On the Connection between Pre-training Data Diversity and Fine-tuning Robustness [66.30369048726145]
  下流の有効ロバスト性に影響を与える主な要因はデータ量である。 各種自然および合成データソースから抽出した事前学習分布について,本研究の成果を示す。
  論文  参考訳（メタデータ） (2023-07-24T05:36:19Z)
• Correlated Time Series Self-Supervised Representation Learning via Spatiotemporal Bootstrapping [13.988624652592259]
  時系列分析は多くの実業界で重要な役割を担っている。 本稿では,個別インスタンスを対象とした時間段階表現学習フレームワークを提案する。 学習した表現の上に訓練された線形回帰モデルにより、ほとんどの場合、我々のモデルは最高のパフォーマンスを示す。
  論文  参考訳（メタデータ） (2023-06-12T09:42:16Z)
• Learn What Is Possible, Then Choose What Is Best: Disentangling One-To-Many Relations in Language Through Text-based Games [3.615981646205045]
  望ましい振る舞いをエミュレートできる言語モデルをトレーニングするアプローチを提案する。 テキストベースのゲームをテストベッドとして使用することで、PASAは個別の潜伏変数を用いて異なる動作範囲をキャプチャする。 その結果,従来の最先端モデルよりも49%の実証的改善が得られた。
  論文  参考訳（メタデータ） (2023-04-14T17:11:26Z)
• ASPEST: Bridging the Gap Between Active Learning and Selective Prediction [56.001808843574395]
  選択予測は、不確実な場合の予測を棄却する信頼性のあるモデルを学ぶことを目的としている。 アクティブラーニングは、最も有意義な例を問うことで、ラベリングの全体、すなわち人間の依存度を下げることを目的としている。 本研究では,移動対象領域からより情報のあるサンプルを検索することを目的とした,新たな学習パラダイムである能動的選択予測を導入する。
  論文  参考訳（メタデータ） (2023-04-07T23:51:07Z)
• Zero-shot meta-learning for small-scale data from human subjects [10.320654885121346]
  我々は,サンプル外テストデータに対する限られたトレーニングデータを用いて,新しい予測タスクに迅速に適応するフレームワークを開発した。 本モデルでは, 介入による遅延処理効果を学習し, 設計上はマルチタスク予測を自然に処理できる。 我々のモデルは、より広い人口への小型人間研究の一般化を向上するために重要である。
  論文  参考訳（メタデータ） (2022-03-29T17:42:04Z)
• FitVid: Overfitting in Pixel-Level Video Prediction [117.59339756506142]
  われわれはFitVidという新しいアーキテクチャを導入し、一般的なベンチマークに厳しいオーバーフィッティングを行えるようにした。 FitVidは、4つの異なるメトリクスで4つの異なるビデオ予測ベンチマークで現在の最先端モデルを上回っている。
  論文  参考訳（メタデータ） (2021-06-24T17:20:21Z)
• Back2Future: Leveraging Backfill Dynamics for Improving Real-time Predictions in Future [73.03458424369657]
  公衆衛生におけるリアルタイム予測では、データ収集は簡単で要求の多いタスクである。 過去の文献では「バックフィル」現象とそのモデル性能への影響についてはほとんど研究されていない。 我々は、与えられたモデルの予測をリアルタイムで洗練することを目的とした、新しい問題とニューラルネットワークフレームワークBack2Futureを定式化する。
  論文  参考訳（メタデータ） (2021-06-08T14:48:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。