論文の概要: A federated large language model for long-term time series forecasting
- arxiv url: http://arxiv.org/abs/2407.20503v1
- Date: Tue, 30 Jul 2024 02:38:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-31 18:28:58.131385
- Title: A federated large language model for long-term time series forecasting
- Title(参考訳): 長期時系列予測のための連合型大言語モデル
- Authors: Raed Abdel-Sater, A. Ben Hamza,
- Abstract要約: 長距離時系列予測に適した連合型大言語モデル(LLM)であるFedTimeを提案する。
エッジデバイスやクライアントを別のクラスタに分割するために、K平均クラスタリングを採用しています。
また、チャンネルの独立性やパッチの適用により、ローカルなセマンティック情報をよりよく保存する。
- 参考スコア(独自算出の注目度): 4.696083734269233
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Long-term time series forecasting in centralized environments poses unique challenges regarding data privacy, communication overhead, and scalability. To address these challenges, we propose FedTime, a federated large language model (LLM) tailored for long-range time series prediction. Specifically, we introduce a federated pre-trained LLM with fine-tuning and alignment strategies. Prior to the learning process, we employ K-means clustering to partition edge devices or clients into distinct clusters, thereby facilitating more focused model training. We also incorporate channel independence and patching to better preserve local semantic information, ensuring that important contextual details are retained while minimizing the risk of information loss. We demonstrate the effectiveness of our FedTime model through extensive experiments on various real-world forecasting benchmarks, showcasing substantial improvements over recent approaches. In addition, we demonstrate the efficiency of FedTime in streamlining resource usage, resulting in reduced communication overhead.
- Abstract(参考訳): 中央集権環境での時系列予測は、データプライバシ、通信オーバーヘッド、スケーラビリティに関する固有の課題をもたらす。
これらの課題に対処するために、長距離時系列予測に適した連合型大言語モデル(LLM)であるFedTimeを提案する。
具体的には、ファインチューニングとアライメント戦略を備えたフェデレーション付きプレトレーニングLDMを導入する。
学習プロセスの前には、エッジデバイスやクライアントを別のクラスタに分割するためにK平均クラスタリングを使用します。
また、チャネルの独立性やパッチの適用により、ローカルな意味情報をよりよく保存し、重要なコンテキストの詳細が保持され、情報損失のリスクを最小限に抑える。
我々はFedTimeモデルの有効性を、様々な実世界の予測ベンチマークで広範な実験を通して実証し、最近のアプローチよりも大幅に改善されていることを示す。
さらに、リソース使用量の合理化におけるFedTimeの効率性を実証し、通信オーバーヘッドを低減した。
関連論文リスト
- PeFAD: A Parameter-Efficient Federated Framework for Time Series Anomaly Detection [51.20479454379662]
私たちはaを提案します。
フェデレートされた異常検出フレームワークであるPeFADは、プライバシーの懸念が高まっている。
我々は、4つの実際のデータセットに対して広範な評価を行い、PeFADは既存の最先端ベースラインを最大28.74%上回っている。
論文 参考訳(メタデータ) (2024-06-04T13:51:08Z) - Share Your Secrets for Privacy! Confidential Forecasting with Vertical Federated Learning [5.584904689846748]
製造業における主な課題は、データプライバシと、小さくノイズの多いデータセットへの過度な適合である。
本稿では、以下の重要な特徴を示す新しいフレームワークである「VFLによる秘かに共有された時系列予測」を提案する。
以上の結果から,STVの予測精度は集中型手法に匹敵することがわかった。
論文 参考訳(メタデータ) (2024-05-31T12:27:38Z) - Time-FFM: Towards LM-Empowered Federated Foundation Model for Time Series Forecasting [43.56193749300678]
我々は、事前訓練されたLMを活用して時系列予測のためのFederated Foundation ModelであるTime-FFMを提案する。
総合的な実験により、Time-FFMは最先端の予測よりも優れており、効果的に数発・ゼロショットの予測が可能であることが示唆された。
論文 参考訳(メタデータ) (2024-05-23T07:31:10Z) - UniCL: A Universal Contrastive Learning Framework for Large Time Series Models [18.005358506435847]
時系列分析は、金融から医療まで、さまざまな重要なアプリケーションにおいて重要な役割を果たす。
従来の教師付き学習手法は、まず各タスクにおける時系列データの広範なラベルを注釈付けする。
本稿では,時系列基礎モデルの事前学習を目的とした,普遍的でスケーラブルなコントラスト学習フレームワークUniCLを紹介する。
論文 参考訳(メタデータ) (2024-05-17T07:47:11Z) - Adapting to Length Shift: FlexiLength Network for Trajectory Prediction [53.637837706712794]
軌道予測は、自律運転、ロボット工学、シーン理解など、様々な応用において重要な役割を果たしている。
既存のアプローチは主に、一般に標準入力時間を用いて、公開データセットの予測精度を高めるために、コンパクトなニューラルネットワークの開発に重点を置いている。
本稿では,様々な観測期間に対する既存の軌道予測の堅牢性を高めるための,汎用的で効果的なフレームワークFlexiLength Network(FLN)を紹介する。
論文 参考訳(メタデータ) (2024-03-31T17:18:57Z) - Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
時系列予測は多くの実世界の力学系において重要な意味を持つ。
時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。
Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
論文 参考訳(メタデータ) (2023-10-03T01:31:25Z) - Dynamic Scheduling for Federated Edge Learning with Streaming Data [56.91063444859008]
我々は,長期的エネルギー制約のある分散エッジデバイスにおいて,トレーニングデータを時間とともにランダムに生成するフェデレーションエッジ学習(FEEL)システムを検討する。
限られた通信リソースとレイテンシ要件のため、各イテレーションでローカルトレーニングプロセスに参加するのはデバイスのサブセットのみである。
論文 参考訳(メタデータ) (2023-05-02T07:41:16Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳(メタデータ) (2021-11-28T19:03:39Z) - Byzantine-robust Federated Learning through Spatial-temporal Analysis of
Local Model Updates [6.758334200305236]
フェデレートラーニング(FL)は、複数の分散クライアント(モバイルデバイスなど)が、クライアントにローカルにトレーニングデータを保持しながら、協調的に集中的なモデルをトレーニングすることを可能にする。
本稿では,これらの障害と攻撃を空間的・時間的観点から緩和することを提案する。
具体的には、パラメータ空間におけるそれらの幾何学的性質を活用することにより、不正な更新を検出し、排除するためにクラスタリングに基づく手法を用いる。
論文 参考訳(メタデータ) (2021-07-03T18:48:11Z) - Privacy-preserving Traffic Flow Prediction: A Federated Learning
Approach [61.64006416975458]
本稿では,フェデレート学習に基づくGated Recurrent Unit Neural Network Algorithm (FedGRU) というプライバシ保護機械学習手法を提案する。
FedGRUは、現在の集中学習方法と異なり、安全なパラメータアグリゲーション機構を通じて、普遍的な学習モデルを更新する。
FedGRUの予測精度は、先進的なディープラーニングモデルよりも90.96%高い。
論文 参考訳(メタデータ) (2020-03-19T13:07:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。