論文の概要: Time-FFM: Towards LM-Empowered Federated Foundation Model for Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2405.14252v2
• Date: Sat, 25 May 2024 11:02:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-28 11:47:21.716703
• Title: Time-FFM: Towards LM-Empowered Federated Foundation Model for Time Series Forecasting
• Title（参考訳）: Time-FFM:時系列予測のためのLMを活用したフェデレーションモデルを目指して
• Authors: Qingxiang Liu, Xu Liu, Chenghao Liu, Qingsong Wen, Yuxuan Liang,
• Abstract要約: 我々は、事前訓練されたLMを活用して時系列予測のためのFederated Foundation ModelであるTime-FFMを提案する。 総合的な実験により、Time-FFMは最先端の予測よりも優れており、効果的に数発・ゼロショットの予測が可能であることが示唆された。
• 参考スコア（独自算出の注目度）: 43.56193749300678
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Unlike natural language processing and computer vision, the development of Foundation Models (FMs) for time series forecasting is blocked due to data scarcity. While recent efforts are focused on building such FMs by unlocking the potential of language models (LMs) for time series analysis, dedicated parameters for various downstream forecasting tasks need training, which hinders the common knowledge sharing across domains. Moreover, data owners may hesitate to share the access to local data due to privacy concerns and copyright protection, which makes it impossible to simply construct a FM on cross-domain training instances. To address these issues, we propose Time-FFM, a Federated Foundation Model for Time series forecasting by leveraging pretrained LMs. Specifically, we begin by transforming time series into the modality of text tokens. To bootstrap LMs for time series reasoning, we propose a prompt adaption module to determine domain-customized prompts dynamically instead of artificially. Given the data heterogeneity across domains, we design a personalized federated training strategy by learning global encoders and local prediction heads. Our comprehensive experiments indicate that Time-FFM outperforms state-of-the-arts and promises effective few-shot and zero-shot forecaster.
• Abstract（参考訳）: 自然言語処理やコンピュータビジョンとは異なり、時系列予測のためのファンデーションモデル(FM)の開発はデータ不足のためブロックされている。 近年、時系列解析のための言語モデル(LM)の可能性を解き放つことによるFMの構築に重点を置いているが、下流予測タスクの専用パラメータにはトレーニングが必要であるため、ドメイン間の共通知識の共有を妨げている。 さらに、データ所有者は、プライバシー上の懸念と著作権保護のために、ローカルデータへのアクセスを共有することをためらう可能性がある。 これらの課題に対処するために,予め訓練されたLMを利用して時系列予測を行うFederated Foundation Model for Time seriesを提案する。 具体的には、時系列をテキストトークンのモダリティに変換することから始める。 時系列推論のためのLMのブートストラップを行うために,ドメインカストマイズされたプロンプトを動的に決定するプロンプト適応モジュールを提案する。 ドメイン間のデータの均一性を考慮し、グローバルエンコーダとローカル予測ヘッドを学習することで、個人化された訓練戦略を設計する。 総合的な実験により、Time-FFMは最先端の予測よりも優れており、効果的に数発・ゼロショットの予測が可能であることが示唆された。

関連論文リスト

• PeFAD: A Parameter-Efficient Federated Framework for Time Series Anomaly Detection [51.20479454379662]
  私たちはaを提案します。 フェデレートされた異常検出フレームワークであるPeFADは、プライバシーの懸念が高まっている。 我々は、4つの実際のデータセットに対して広範な評価を行い、PeFADは既存の最先端ベースラインを最大28.74%上回っている。
  論文  参考訳（メタデータ） (2024-06-04T13:51:08Z)
• Learning Transferable Time Series Classifier with Cross-Domain Pre-training from Language Model [16.111833380226184]
  CrossTimeNetは、さまざまなドメインから転送可能な知識を学ぶための、新しいクロスドメインSSL学習フレームワークである。 CrossTimeNetの重要な特徴の1つは、新しく設計された時系列トークン化モジュールである。 我々は、様々な時系列分類領域にわたる実世界のシナリオにおいて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-03-19T02:32:47Z)
• Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
  マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-04T20:00:45Z)
• AutoTimes: Autoregressive Time Series Forecasters via Large Language Models [67.83502953961505]
  本稿では,時系列セグメントを埋め込み空間に独立に投影し,任意の長さで将来予測を自動回帰的に生成する自動回帰時系列予測器としてAutoTimesを提案する。 AutoTimesは、高度なLSMベースの予測装置と比較して、0.1%のトレーニング可能なパラメータと5倍以上のトレーニング/推論のスピードアップで最先端を実現している。
  論文  参考訳（メタデータ） (2024-02-04T06:59:21Z)
• UniTime: A Language-Empowered Unified Model for Cross-Domain Time Series Forecasting [59.11817101030137]
  この研究はドメイン境界を超越する統一モデルパラダイムを提唱する。 効果的なクロスドメインモデルを学ぶことは、以下の課題を提示します。 効果的なドメイン間時系列学習のためのUniTimeを提案する。
  論文  参考訳（メタデータ） (2023-10-15T06:30:22Z)
• Prompting-based Temporal Domain Generalization [10.377683220196873]
  本稿では,時間領域の一般化に対する新しいプロンプトベースアプローチを提案する。 本手法は,グローバルなプロンプト,ドメイン固有のプロンプト,ドリフト認識プロンプトを学習することで,時間的ドリフトに訓練されたモデルを適用する。 分類,回帰,時系列予測タスクの実験は,提案手法の汎用性を実証している。
  論文  参考訳（メタデータ） (2023-10-03T22:40:56Z)
• Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
  時系列予測は多くの実世界の力学系において重要な意味を持つ。 時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
  論文  参考訳（メタデータ） (2023-10-03T01:31:25Z)
• Self-Adaptive Forecasting for Improved Deep Learning on Non-Stationary Time-Series [20.958959332978726]
  SAFは、バックキャストに基づく予測に先立って自己適応段階を統合する」 提案手法は,符号化された表現を進化する分布に効率よく適応させることにより,より優れた一般化を実現する。 時系列データが医療や金融などの非定常性で知られる領域における合成および実世界のデータセットについて、SAFの顕著なメリットを実証する。
  論文  参考訳（メタデータ） (2022-02-04T21:54:10Z)
• Improving the Accuracy of Global Forecasting Models using Time Series Data Augmentation [7.38079566297881]
  GFM(Global Forecasting Models)として知られる多くの時系列のセットでトレーニングされた予測モデルは、競争や実世界のアプリケーションを予測する上で有望な結果を示している。 本稿では,GFMモデルのベースライン精度を向上させるための,データ拡張に基づく新しい予測フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-08-06T13:52:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。