論文の概要: Self-Supervised Contrastive Pre-Training for Multivariate Point Processes

• arxiv url: http://arxiv.org/abs/2402.00987v1
• Date: Thu, 1 Feb 2024 20:05:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-05 17:52:23.753823
• Title: Self-Supervised Contrastive Pre-Training for Multivariate Point Processes
• Title（参考訳）: 多変量点過程に対する自己教師付きコントラスト事前学習
• Authors: Xiao Shou, Dharmashankar Subramanian, Debarun Bhattacharjya, Tian Gao, Kristin P. Bennet
• Abstract要約: 変圧器エンコーダを用いた多変量点プロセスのための自己教師型学習のための新しいパラダイムを提案する。 具体的には、ランダムなイベントエポックをマスクするだけでなく、イベントが発生しないランダムにサンプリングされた"ボイド"エポックを挿入するエンコーダのための新しい事前学習戦略を設計する。 合成データセットと3つの実応用を用いた次世代予測課題における提案手法の有効性を実証する。
• 参考スコア（独自算出の注目度）: 38.898053582052725
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervision is one of the hallmarks of representation learning in the increasingly popular suite of foundation models including large language models such as BERT and GPT-3, but it has not been pursued in the context of multivariate event streams, to the best of our knowledge. We introduce a new paradigm for self-supervised learning for multivariate point processes using a transformer encoder. Specifically, we design a novel pre-training strategy for the encoder where we not only mask random event epochs but also insert randomly sampled "void" epochs where an event does not occur; this differs from the typical discrete-time pretext tasks such as word-masking in BERT but expands the effectiveness of masking to better capture continuous-time dynamics. To improve downstream tasks, we introduce a contrasting module that compares real events to simulated void instances. The pre-trained model can subsequently be fine-tuned on a potentially much smaller event dataset, similar conceptually to the typical transfer of popular pre-trained language models. We demonstrate the effectiveness of our proposed paradigm on the next-event prediction task using synthetic datasets and 3 real applications, observing a relative performance boost of as high as up to 20% compared to state-of-the-art models.
• Abstract（参考訳）: 自己監督は,BERTやGPT-3といった大規模言語モデルを含む,急速に普及している基礎モデルの表現学習の指標の1つであるが,多変量イベントストリームの文脈では,私たちの知る限りでは追求されていない。 変圧器エンコーダを用いた多変量点プロセスのための自己教師型学習のための新しいパラダイムを提案する。 具体的には、ランダムなイベントエポックをマスクするだけでなく、イベントが発生しないランダムにサンプリングされた"ボイド"エポックを挿入するエンコーダのための新しい事前学習戦略を設計する。 下流タスクを改善するために、実イベントと擬似空洞インスタンスを比較するコントラストモジュールを導入する。 事前トレーニングされたモデルは、一般的な事前トレーニングされた言語モデルの典型的な転送と同様、より小さなイベントデータセットで微調整することができる。 本稿では,合成データセットと3つの実応用を用いた次世代予測タスクにおける提案手法の有効性を実証し,最先端モデルと比較して最大20%の性能向上を観測した。

関連論文リスト

• Faster Language Models with Better Multi-Token Prediction Using Tensor Decomposition [5.575078692353885]
  本稿では, 精度を損なうことなくサンプリング効率を向上させることを目的とした, 変圧器のマルチトークン予測のための新しいモデルを提案する。 階数=r$標準確率分解に一般化することにより、複数のトークンを同時に予測する改良されたモデルを開発する。
  論文  参考訳（メタデータ） (2024-10-23T11:06:36Z)
• Inverse Dynamics Pretraining Learns Good Representations for Multitask Imitation [66.86987509942607]
  このようなパラダイムを模倣学習でどのように行うべきかを評価する。 本稿では,事前学習コーパスがマルチタスクのデモンストレーションから成り立つ環境について考察する。 逆動力学モデリングはこの設定に適していると主張する。
  論文  参考訳（メタデータ） (2023-05-26T14:40:46Z)
• Ti-MAE: Self-Supervised Masked Time Series Autoencoders [16.98069693152999]
  本稿では,Ti-MAEという新しいフレームワークを提案する。 Ti-MAEは、埋め込み時系列データをランダムにマスクアウトし、オートエンコーダを学び、ポイントレベルでそれらを再構築する。 いくつかの公開実世界のデータセットの実験では、マスク付きオートエンコーディングのフレームワークが生データから直接強力な表現を学習できることが示されている。
  論文  参考訳（メタデータ） (2023-01-21T03:20:23Z)
• Masked Autoencoding for Scalable and Generalizable Decision Making [93.84855114717062]
  MaskDPは、強化学習と行動クローンのためのシンプルでスケーラブルな自己教師付き事前学習手法である。 我々は,MaskDPモデルにより,単一ゴールや複数ゴール到達といった新しいBCタスクへのゼロショット転送能力が得られることを発見した。
  論文  参考訳（メタデータ） (2022-11-23T07:04:41Z)
• Multi-scale Attention Flow for Probabilistic Time Series Forecasting [68.20798558048678]
  マルチスケールアテンション正規化フロー(MANF)と呼ばれる非自己回帰型ディープラーニングモデルを提案する。 我々のモデルは累積誤差の影響を回避し、時間の複雑さを増大させない。 本モデルは,多くの多変量データセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-05-16T07:53:42Z)
• Entropy optimized semi-supervised decomposed vector-quantized variational autoencoder model based on transfer learning for multiclass text classification and generation [3.9318191265352196]
  多クラステキスト分類とテキスト生成のための半教師付き離散潜在変数モデルを提案する。 提案モデルは,量子化変圧器モデルの学習に伝達学習の概念を用いる。 実験結果から,提案モデルが最先端モデルを大幅に上回ったことが示唆された。
  論文  参考訳（メタデータ） (2021-11-10T07:07:54Z)
• The Effectiveness of Discretization in Forecasting: An Empirical Study on Neural Time Series Models [15.281725756608981]
  ニューラル予測アーキテクチャの予測性能に及ぼすデータ入力および出力変換の影響について検討する。 バイナリ化は実値入力の正規化に比べてほぼ常に性能が向上することがわかった。
  論文  参考訳（メタデータ） (2020-05-20T15:09:28Z)
• Train No Evil: Selective Masking for Task-Guided Pre-Training [97.03615486457065]
  一般的な事前学習と微調整の間を選択的にマスキングするタスク誘導事前学習段階を付加した3段階のフレームワークを提案する。 提案手法は,50%未満のコストで同等あるいはさらに優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-04-21T03:14:22Z)
• A Multi-Channel Neural Graphical Event Model with Negative Evidence [76.51278722190607]
  イベントデータセットは、タイムライン上で不規則に発生するさまざまなタイプのイベントのシーケンスである。 基礎となる強度関数を推定するために,非パラメトリックディープニューラルネットワーク手法を提案する。
  論文  参考訳（メタデータ） (2020-02-21T23:10:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。