論文の概要: Time-FFM: Towards LM-Empowered Federated Foundation Model for Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2405.14252v4
• Date: Tue, 08 Oct 2024 02:40:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-10 14:27:20.871934
• Title: Time-FFM: Towards LM-Empowered Federated Foundation Model for Time Series Forecasting
• Title（参考訳）: Time-FFM:時系列予測のためのLMを活用したフェデレーションモデルを目指して
• Authors: Qingxiang Liu, Xu Liu, Chenghao Liu, Qingsong Wen, Yuxuan Liang,
• Abstract要約: 我々は、事前訓練されたLMを活用して時系列予測のためのFederated Foundation ModelであるTime-FFMを提案する。 総合的な実験により、Time-FFMは最先端の予測よりも優れており、効果的に数発・ゼロショットの予測が可能であることが示唆された。
• 参考スコア（独自算出の注目度）: 43.56193749300678
• License:
• Abstract: Unlike natural language processing and computer vision, the development of Foundation Models (FMs) for time series forecasting is blocked due to data scarcity. While recent efforts are focused on building such FMs by unlocking the potential of language models (LMs) for time series analysis, dedicated parameters for various downstream forecasting tasks need training, which hinders the common knowledge sharing across domains. Moreover, data owners may hesitate to share the access to local data due to privacy concerns and copyright protection, which makes it impossible to simply construct a FM on cross-domain training instances. To address these issues, we propose Time-FFM, a Federated Foundation Model for Time series forecasting by leveraging pretrained LMs. Specifically, we begin by transforming time series into the modality of text tokens. To bootstrap LMs for time series reasoning, we propose a prompt adaption module to determine domain-customized prompts dynamically instead of artificially. Given the data heterogeneity across domains, we design a personalized federated training strategy by learning global encoders and local prediction heads. Our comprehensive experiments indicate that Time-FFM outperforms state-of-the-arts and promises effective few-shot and zero-shot forecaster.
• Abstract（参考訳）: 自然言語処理やコンピュータビジョンとは異なり、時系列予測のためのファンデーションモデル(FM)の開発はデータ不足のためブロックされている。 近年、時系列解析のための言語モデル(LM)の可能性を解き放つことによるFMの構築に重点を置いているが、下流予測タスクの専用パラメータにはトレーニングが必要であるため、ドメイン間の共通知識の共有を妨げている。 さらに、データ所有者は、プライバシー上の懸念と著作権保護のために、ローカルデータへのアクセスを共有することをためらう可能性がある。 これらの課題に対処するために,予め訓練されたLMを利用して時系列予測を行うFederated Foundation Model for Time seriesを提案する。 具体的には、時系列をテキストトークンのモダリティに変換することから始める。 時系列推論のためのLMのブートストラップを行うために,ドメインカストマイズされたプロンプトを動的に決定するプロンプト適応モジュールを提案する。 ドメイン間のデータの均一性を考慮し、グローバルエンコーダとローカル予測ヘッドを学習することで、個人化された訓練戦略を設計する。 総合的な実験により、Time-FFMは最先端の予測よりも優れており、効果的に数発・ゼロショットの予測が可能であることが示唆された。

関連論文リスト

• Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
  コンテキスト・イズ・キー (Context is Key) (CiK) は、時系列予測ベンチマークであり、様々な種類のテキストコンテキストと数値データをペアリングする。 我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。 実験では、文脈情報の導入の重要性を強調し、LLMに基づく予測モデルを用いた場合の驚くべき性能を示すとともに、それらの重要な欠点を明らかにした。
  論文  参考訳（メタデータ） (2024-10-24T17:56:08Z)
• Moirai-MoE: Empowering Time Series Foundation Models with Sparse Mixture of Experts [103.725112190618]
  本稿では,単一入出力プロジェクション層を用いたMoirai-MoEを紹介するとともに,多種多様な時系列パターンのモデリングを専門家の疎結合に委ねる。 39のデータセットに対する大規模な実験は、既存の基盤モデルよりも、分配シナリオとゼロショットシナリオの両方において、Moirai-MoEの優位性を実証している。
  論文  参考訳（メタデータ） (2024-10-14T13:01:11Z)
• A federated large language model for long-term time series forecasting [4.696083734269233]
  長距離時系列予測に適した連合型大言語モデル(LLM)であるFedTimeを提案する。 エッジデバイスやクライアントを別のクラスタに分割するために、K平均クラスタリングを採用しています。 また、チャンネルの独立性やパッチの適用により、ローカルなセマンティック情報をよりよく保存する。
  論文  参考訳（メタデータ） (2024-07-30T02:38:27Z)
• PeFAD: A Parameter-Efficient Federated Framework for Time Series Anomaly Detection [51.20479454379662]
  私たちはaを提案します。 フェデレートされた異常検出フレームワークであるPeFADは、プライバシーの懸念が高まっている。 我々は、4つの実際のデータセットに対して広範な評価を行い、PeFADは既存の最先端ベースラインを最大28.74%上回っている。
  論文  参考訳（メタデータ） (2024-06-04T13:51:08Z)
• Cross-Domain Pre-training with Language Models for Transferable Time Series Representations [32.8353465232791]
  CrossTimeNetは、さまざまなドメインから転送可能な知識を学ぶための、新しいクロスドメインSSL学習フレームワークである。 CrossTimeNetの重要な特徴の1つは、新しく設計された時系列トークン化モジュールである。 我々は、様々な時系列分類領域にわたる実世界のシナリオにおいて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-03-19T02:32:47Z)
• UniTime: A Language-Empowered Unified Model for Cross-Domain Time Series Forecasting [59.11817101030137]
  この研究はドメイン境界を超越する統一モデルパラダイムを提唱する。 効果的なクロスドメインモデルを学ぶことは、以下の課題を提示します。 効果的なドメイン間時系列学習のためのUniTimeを提案する。
  論文  参考訳（メタデータ） (2023-10-15T06:30:22Z)
• Prompting-based Temporal Domain Generalization [10.377683220196873]
  本稿では,時間領域の一般化に対する新しいプロンプトベースアプローチを提案する。 本手法は,グローバルなプロンプト,ドメイン固有のプロンプト,ドリフト認識プロンプトを学習することで,時間的ドリフトに訓練されたモデルを適用する。 分類,回帰,時系列予測タスクの実験は,提案手法の汎用性を実証している。
  論文  参考訳（メタデータ） (2023-10-03T22:40:56Z)
• Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
  時系列予測は多くの実世界の力学系において重要な意味を持つ。 時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
  論文  参考訳（メタデータ） (2023-10-03T01:31:25Z)
• Self-Adaptive Forecasting for Improved Deep Learning on Non-Stationary Time-Series [20.958959332978726]
  SAFは、バックキャストに基づく予測に先立って自己適応段階を統合する」 提案手法は,符号化された表現を進化する分布に効率よく適応させることにより,より優れた一般化を実現する。 時系列データが医療や金融などの非定常性で知られる領域における合成および実世界のデータセットについて、SAFの顕著なメリットを実証する。
  論文  参考訳（メタデータ） (2022-02-04T21:54:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。