論文の概要: PLUTUS: A Well Pre-trained Large Unified Transformer can Unveil Financial Time Series Regularities
- arxiv url: http://arxiv.org/abs/2408.10111v1
- Date: Mon, 19 Aug 2024 15:59:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-20 15:43:09.819840
- Title: PLUTUS: A Well Pre-trained Large Unified Transformer can Unveil Financial Time Series Regularities
- Title（参考訳）: PLUTUS:十分に訓練された大型統一トランスフォーマー
- Authors: Yuanjian Xu, Anxian Liu, Jianing Hao, Zhenzhuo Li, Shichang Meng, Guang Zhang,
- Abstract要約: 金融時系列モデリングは市場行動の理解と予測に不可欠である。
従来のモデルは、非線形性、非定常性、高ノイズレベルのために複雑なパターンを捉えるのに苦労している。
textbfPre-trained textbfLarge textbfUnified textbfTransformer-based model。
- 参考スコア（独自算出の注目度）: 0.848210898747543
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Financial time series modeling is crucial for understanding and predicting market behaviors but faces challenges such as non-linearity, non-stationarity, and high noise levels. Traditional models struggle to capture complex patterns due to these issues, compounded by limitations in computational resources and model capacity. Inspired by the success of large language models in NLP, we introduce \textbf{PLUTUS}, a \textbf{P}re-trained \textbf{L}arge \textbf{U}nified \textbf{T}ransformer-based model that \textbf{U}nveils regularities in financial time \textbf{S}eries. PLUTUS uses an invertible embedding module with contrastive learning and autoencoder techniques to create an approximate one-to-one mapping between raw data and patch embeddings. TimeFormer, an attention based architecture, forms the core of PLUTUS, effectively modeling high-noise time series. We incorporate a novel attention mechanisms to capture features across both variable and temporal dimensions. PLUTUS is pre-trained on an unprecedented dataset of 100 billion observations, designed to thrive in noisy financial environments. To our knowledge, PLUTUS is the first open-source, large-scale, pre-trained financial time series model with over one billion parameters. It achieves state-of-the-art performance in various tasks, demonstrating strong transferability and establishing a robust foundational model for finance. Our research provides technical guidance for pre-training financial time series data, setting a new standard in the field.
- Abstract（参考訳）: 金融時系列モデリングは市場行動の理解と予測には不可欠であるが、非線形性、非定常性、高騒音レベルといった課題に直面している。
従来のモデルでは、計算資源の制限とモデル容量が混在するこれらの問題のために複雑なパターンを捉えるのに苦労している。
NLPにおける大きな言語モデルの成功に触発されて、金融時間における正規性を付与する \textbf{P}re-trained \textbf{L}arge \textbf{U}nified \textbf{T}ransformer-based modelを紹介した。
PLUTUSは、対照的な学習とオートエンコーダ技術を備えた可逆的な埋め込みモジュールを使用して、生データとパッチの埋め込みの間の近似1対1マッピングを作成する。
注意に基づくアーキテクチャであるTimeFormerはPLUTUSのコアを形成し、高ノイズの時系列を効果的にモデル化する。
可変次元と時間次元の両方にまたがる特徴を捉えるために,新しい注意機構を組み込んだ。
PLUTUSは前例のない1000億の観測データに基づいて事前訓練されている。
我々の知る限り、PLUTUSは10億以上のパラメータを持つ最初のオープンソース、大規模、事前訓練された金融時系列モデルである。
様々なタスクにおける最先端のパフォーマンスを達成し、強力な転送可能性を示し、ファイナンスのための堅牢な基盤モデルを確立する。
本研究は、金融時系列データの事前学習のための技術的ガイダンスを提供し、この分野における新しい基準を設定している。
関連論文リスト
- Generative Pretrained Hierarchical Transformer for Time Series Forecasting [3.739587363053192]
予測のための新しい生成事前学習型階層型トランスフォーマーアーキテクチャ,textbfGPHTを提案する。
主流の自己教師付き事前学習モデルと教師付きモデルを用いて,8つのデータセット上で十分な実験を行う。
その結果、GPHTは、従来の長期予測タスクにおいて、様々な微調整およびゼロ/フェーショット学習設定のベースラインモデルを上回ることを示した。
論文 参考訳（メタデータ） (2024-02-26T11:54:54Z) - Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。
Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。
Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-02-04T20:00:45Z) - Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。
事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。
多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
論文 参考訳（メタデータ） (2024-02-04T06:55:55Z) - TFMQ-DM: Temporal Feature Maintenance Quantization for Diffusion Models [52.454274602380124]
拡散モデルは非常に時間ステップ$t$に大きく依存し、良好なマルチラウンドデノジングを実現している。
本稿では,時間情報ブロック上に構築した時間的特徴保守量子化(TFMQ)フレームワークを提案する。
先駆的なブロック設計により、時間情報認識再構成(TIAR)と有限集合キャリブレーション(FSC)を考案し、完全な時間的特徴を整列させる。
論文 参考訳（メタデータ） (2023-11-27T12:59:52Z) - Lag-Llama: Towards Foundation Models for Probabilistic Time Series
Forecasting [54.04430089029033]
本稿では,デコーダのみの変換器アーキテクチャに基づく時系列予測のための汎用基礎モデルであるLag-Llamaを提案する。
Lag-Llamaは、複数のドメインからの多様な時系列データの大規模なコーパスで事前訓練され、強力なゼロショット一般化能力を示す。
このような未確認データセットの比較的小さな部分で微調整を行うと、Lag-Llamaは最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2023-10-12T12:29:32Z) - Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
時系列予測は多くの実世界の力学系において重要な意味を持つ。
時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。
Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
論文 参考訳（メタデータ） (2023-10-03T01:31:25Z) - Modality-aware Transformer for Financial Time series Forecasting [3.401797102198429]
我々は,textitModality-aware Transformer という,新しいマルチモーダルトランスモデルを提案する。
本モデルでは,対象とする時系列を効果的に予測するために,分類的テキストと数値的時系列の両方のパワーを探索することに長けている。
財務データセットに関する我々の実験は、Modality-aware Transformerが既存の手法より優れていることを示した。
論文 参考訳（メタデータ） (2023-10-02T14:22:41Z) - Incorporating Pre-trained Model Prompting in Multimodal Stock Volume
Movement Prediction [22.949484374773967]
本稿では,PromptをベースとしたMUltimodal Stock volumE予測モデル(ProMUSE)を提案する。
金融ニュースの理解を深めるために、事前訓練された言語モデルを使用します。
また, この問題を緩和するため, 核融合ヘッドの横にある一方向の頭部を保ちながら, 新たな異方性コントラストアライメントを提案する。
論文 参考訳（メタデータ） (2023-09-11T16:47:01Z) - Large Language Models with Controllable Working Memory [64.71038763708161]
大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。
これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。
モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
論文 参考訳（メタデータ） (2022-11-09T18:58:29Z) - Modeling Financial Time Series using LSTM with Trainable Initial Hidden
States [0.0]
本稿では,ディープラーニングモデルを用いた金融時系列のモデリング手法を提案する。
トレーニング可能な初期隠れ状態を備えたLong Short-Term Memory (LSTM) ネットワークを使用する。
論文 参考訳（メタデータ） (2020-07-14T06:36:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。