論文の概要: Event Stream GPT: A Data Pre-processing and Modeling Library for Generative, Pre-trained Transformers over Continuous-time Sequences of Complex Events

• arxiv url: http://arxiv.org/abs/2306.11547v2
• Date: Wed, 21 Jun 2023 14:02:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-22 10:29:33.575328
• Title: Event Stream GPT: A Data Pre-processing and Modeling Library for Generative, Pre-trained Transformers over Continuous-time Sequences of Complex Events
• Title（参考訳）: event stream gpt: 複合イベントの連続時間列上の生成・事前学習トランスフォーマーのためのデータ前処理・モデリングライブラリ
• Authors: Matthew B. A. McDermott, Bret Nestor, Peniel Argaw, Isaac Kohane
• Abstract要約: Event Stream GPT(ESGPT)は、連続的なイベントシーケンスのためのGPTを構築するためのエンドツーエンドプロセスを合理化するオープンソースライブラリである。 ESGPTでは、最小構成ファイルのみを指定することで、フレキシブルで基礎モデルスケールの入力データセットを構築することができる。
• 参考スコア（独自算出の注目度）: 2.9330609943398525
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Generative, pre-trained transformers (GPTs, a.k.a. "Foundation Models") have reshaped natural language processing (NLP) through their versatility in diverse downstream tasks. However, their potential extends far beyond NLP. This paper provides a software utility to help realize this potential, extending the applicability of GPTs to continuous-time sequences of complex events with internal dependencies, such as medical record datasets. Despite their potential, the adoption of foundation models in these domains has been hampered by the lack of suitable tools for model construction and evaluation. To bridge this gap, we introduce Event Stream GPT (ESGPT), an open-source library designed to streamline the end-to-end process for building GPTs for continuous-time event sequences. ESGPT allows users to (1) build flexible, foundation-model scale input datasets by specifying only a minimal configuration file, (2) leverage a Hugging Face compatible modeling API for GPTs over this modality that incorporates intra-event causal dependency structures and autoregressive generation capabilities, and (3) evaluate models via standardized processes that can assess few and even zero-shot performance of pre-trained models on user-specified fine-tuning tasks.
• Abstract（参考訳）: 生成前訓練型トランスフォーマー(GPT、別名「創始モデル」)は、様々な下流タスクの汎用性を通じて自然言語処理(NLP)を再構築した。 しかし、その潜在能力はNLPを超えている。 本稿では,この可能性を実現するためのソフトウェアユーティリティを提供し,GPTの適用性を医療記録データセットなどの内部依存関係を持つ複雑なイベントの連続的なシーケンスに拡張する。 それらの可能性にもかかわらず、これらのドメインにおける基礎モデルの採用は、モデルの構築と評価に適したツールの欠如によって妨げられている。 このギャップを埋めるために、連続的なイベントシーケンスのためのGPTを構築するためのエンドツーエンドプロセスを合理化するオープンソースライブラリであるEvent Stream GPT(ESGPT)を紹介します。 ESGPTは,(1)最小構成ファイルのみを指定してフレキシブルで基礎モデルスケールの入力データセットを構築すること,(2) 内部因果依存性構造と自己回帰生成機能を備えたGPT用のHugging Face互換モデリングAPIを活用すること,(3) ユーザが指定した微調整タスクにおいて,事前訓練されたモデルのほとんど,あるいはゼロショットのパフォーマンスを評価できない標準化プロセスによるモデル評価を可能にする。

関連論文リスト

• Generative Pretrained Hierarchical Transformer for Time Series Forecasting [3.739587363053192]
  予測のための新しい生成事前学習型階層型トランスフォーマーアーキテクチャ,textbfGPHTを提案する。 主流の自己教師付き事前学習モデルと教師付きモデルを用いて,8つのデータセット上で十分な実験を行う。 その結果、GPHTは、従来の長期予測タスクにおいて、様々な微調整およびゼロ/フェーショット学習設定のベースラインモデルを上回ることを示した。
  論文  参考訳（メタデータ） (2024-02-26T11:54:54Z)
• Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
  本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。 事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。 多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
  論文  参考訳（メタデータ） (2024-02-04T06:55:55Z)
• Cumulative Distribution Function based General Temporal Point Processes [49.758080415846884]
  CuFunモデルは、累積分布関数(CDF)を中心に回転するTPPに対する新しいアプローチを表す 提案手法は従来のTPPモデリングに固有のいくつかの重要な問題に対処する。 コントリビューションには、先駆的なCDFベースのTPPモデルの導入、過去の事象情報を将来の事象予測に組み込む方法論の開発が含まれている。
  論文  参考訳（メタデータ） (2024-02-01T07:21:30Z)
• TrackGPT -- A generative pre-trained transformer for cross-domain entity trajectory forecasting [0.0]
  本稿では,GPT(Generative Pre-trained Transformer)に基づく実体軌道予測モデルであるTrackGPTを紹介する。 TrackGPTは、多様なエンティティ時系列データセット間で正確な予測を生成することができる、先駆的なGPTモデルである。 我々は最先端のディープラーニング技術に対するベンチマークを行い、TrackGPTの予測能力が正確性、信頼性、モジュール性において優れていることを示す。
  論文  参考訳（メタデータ） (2024-01-29T20:05:14Z)
• TEMPO: Prompt-based Generative Pre-trained Transformer for Time Series Forecasting [24.834846119163885]
  本稿では,時系列表現を効果的に学習できる新しいフレームワークTEMPOを提案する。 TEMPOは、様々な領域のデータから現実世界の時間現象を動的にモデル化する機能を拡張する。
  論文  参考訳（メタデータ） (2023-10-08T00:02:25Z)
• Efficient Federated Prompt Tuning for Black-box Large Pre-trained Models [62.838689691468666]
  我々は,各ローカルデータセットを最適に活用するためのフェデレートブラックボックス・プロンプト・チューニング(Fed-BBPT)を提案する。 Fed-BBPTは、ローカルユーザーがレギュラーアグリゲーションを通じてプロンプトジェネレータを協調的に訓練するのを支援する中央サーバーに重点を置いている。 大規模な微調整とは対照的に、Fed-BBPTは、PTMストレージとローカルマシンの微調整に関連するメモリの課題を、十分にサイドステップで解決している。
  論文  参考訳（メタデータ） (2023-10-04T19:30:49Z)
• LMFlow: An Extensible Toolkit for Finetuning and Inference of Large Foundation Models [31.121714473817793]
  ファンデーションモデルは、従来のアプローチをはるかに超越した、一般的な人間レベルのインテリジェンスを達成するための優れた能力を示してきた。 ほとんどの基礎モデルの重大な欠点は、特殊ドメインやタスク固有のアプリケーションのパフォーマンスにある。 本稿では,一般基礎モデルのドメイン・タスク・アウェア・ファインタニングを簡略化することを目的としたLMFlowを紹介する。
  論文  参考訳（メタデータ） (2023-06-21T17:58:25Z)
• TSGM: A Flexible Framework for Generative Modeling of Synthetic Time Series [61.436361263605114]
  時系列データは、研究者と産業組織間のデータの共有を妨げるため、しばしば不足または非常に敏感である。 本稿では,合成時系列の生成モデリングのためのオープンソースフレームワークである時系列生成モデリング(TSGM)を紹介する。
  論文  参考訳（メタデータ） (2023-05-19T10:11:21Z)
• DSEE: Dually Sparsity-embedded Efficient Tuning of Pre-trained Language Models [152.29364079385635]
  事前訓練されたモデルが大きくなればなるほど、微調整のプロセスは時間がかかり、計算コストがかかる可能性がある。 本稿では,重み更新と最終モデルの重み付けに先立って,疎度を活用することで,資源・パラメータ効率の微調整を行うフレームワークを提案する。 提案するフレームワークは,Dually Sparsity-Embeded Efficient Tuning (DSEE)と呼ばれ,パラメータ効率のよい微調整とリソース効率の推論という2つの重要な目標を達成することを目的としている。
  論文  参考訳（メタデータ） (2021-10-30T03:29:47Z)
• Transformer Hawkes Process [79.16290557505211]
  本稿では,長期的依存関係を捕捉する自己認識機構を利用したTransformer Hawkes Process (THP) モデルを提案する。 THPは、有意なマージンによる可能性と事象予測の精度の両方の観点から、既存のモデルより優れている。 本稿では、THPが関係情報を組み込む際に、複数の点過程を学習する際の予測性能の改善を実現する具体例を示す。
  論文  参考訳（メタデータ） (2020-02-21T13:48:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。