Fugu-MT 論文翻訳(概要): A federated large language model for long-term time series forecasting

論文の概要: A federated large language model for long-term time series forecasting

arxiv url: http://arxiv.org/abs/2407.20503v1
Date: Tue, 30 Jul 2024 02:38:27 GMT
ステータス: 処理完了
システム内更新日: 2024-07-31 18:28:58.131385
Title: A federated large language model for long-term time series forecasting
Title（参考訳）: 長期時系列予測のための連合型大言語モデル
Authors: Raed Abdel-Sater, A. Ben Hamza,
Abstract要約: 長距離時系列予測に適した連合型大言語モデル(LLM)であるFedTimeを提案する。エッジデバイスやクライアントを別のクラスタに分割するために、K平均クラスタリングを採用しています。また、チャンネルの独立性やパッチの適用により、ローカルなセマンティック情報をよりよく保存する。
参考スコア（独自算出の注目度）: 4.696083734269233
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Long-term time series forecasting in centralized environments poses unique challenges regarding data privacy, communication overhead, and scalability. To address these challenges, we propose FedTime, a federated large language model (LLM) tailored for long-range time series prediction. Specifically, we introduce a federated pre-trained LLM with fine-tuning and alignment strategies. Prior to the learning process, we employ K-means clustering to partition edge devices or clients into distinct clusters, thereby facilitating more focused model training. We also incorporate channel independence and patching to better preserve local semantic information, ensuring that important contextual details are retained while minimizing the risk of information loss. We demonstrate the effectiveness of our FedTime model through extensive experiments on various real-world forecasting benchmarks, showcasing substantial improvements over recent approaches. In addition, we demonstrate the efficiency of FedTime in streamlining resource usage, resulting in reduced communication overhead.
Abstract（参考訳）: 中央集権環境での時系列予測は、データプライバシ、通信オーバーヘッド、スケーラビリティに関する固有の課題をもたらす。これらの課題に対処するために、長距離時系列予測に適した連合型大言語モデル(LLM)であるFedTimeを提案する。具体的には、ファインチューニングとアライメント戦略を備えたフェデレーション付きプレトレーニングLDMを導入する。学習プロセスの前には、エッジデバイスやクライアントを別のクラスタに分割するためにK平均クラスタリングを使用します。また、チャネルの独立性やパッチの適用により、ローカルな意味情報をよりよく保存し、重要なコンテキストの詳細が保持され、情報損失のリスクを最小限に抑える。我々はFedTimeモデルの有効性を、様々な実世界の予測ベンチマークで広範な実験を通して実証し、最近のアプローチよりも大幅に改善されていることを示す。さらに、リソース使用量の合理化におけるFedTimeの効率性を実証し、通信オーバーヘッドを低減した。

関連論文リスト

Tackling Data Heterogeneity in Federated Time Series Forecasting [61.021413959988216]
時系列予測は、エネルギー消費予測、病気の伝染モニタリング、天気予報など、様々な実世界の応用において重要な役割を果たす。既存のほとんどのメソッドは、分散デバイスから中央クラウドサーバに大量のデータを収集する、集中的なトレーニングパラダイムに依存しています。本稿では,情報合成データを補助的知識キャリアとして生成することにより,データの均一性に対処する新しいフレームワークであるFed-TRENDを提案する。
論文参考訳（メタデータ） (2024-11-24T04:56:45Z)
FedDTPT: Federated Discrete and Transferable Prompt Tuning for Black-Box Large Language Models [14.719919025265224]
特定のシナリオからのデータを調整した大きな言語モデル(LLM)は、プライバシリークのリスクを引き起こす。ブラックボックス大言語モデルに対して,フェデレートされた離散的かつ転送可能なプロンプトチューニングであるFedDTPTを初めて提案する。提案手法は,ブラックボックス設定における非IDデータに対する高い精度,通信オーバーヘッドの低減,ロバスト性を実現する。
論文参考訳（メタデータ） (2024-11-01T19:19:23Z)
Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
コンテキスト・イズ・キー (Context is Key) (CiK) は、時系列予測ベンチマークであり、様々な種類のテキストコンテキストと数値データをペアリングする。我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。実験では、文脈情報の導入の重要性を強調し、LLMに基づく予測モデルを用いた場合の驚くべき性能を示すとともに、それらの重要な欠点を明らかにした。
論文参考訳（メタデータ） (2024-10-24T17:56:08Z)
Reprogramming Foundational Large Language Models(LLMs) for Enterprise Adoption for Spatio-Temporal Forecasting Applications: Unveiling a New Era in Copilot-Guided Cross-Modal Time Series Representation Learning [0.0]
パティオ時間予測は、輸送システム、物流、サプライチェーン管理など、様々な分野において重要な役割を担っている。本稿では,オープンソースの大規模・小規模言語モデル(LLM,LM)と従来の予測手法を組み合わせたハイブリッド手法を提案する。
論文参考訳（メタデータ） (2024-08-26T16:11:53Z)
Advancing Enterprise Spatio-Temporal Forecasting Applications: Data Mining Meets Instruction Tuning of Language Models For Multi-modal Time Series Analysis in Low-Resource Settings [0.0]
パティオ時間予測は輸送、物流、サプライチェーン管理において重要である。本稿では,従来の予測手法の強みと小言語モデルの命令チューニングを融合した動的マルチモーダル手法を提案する。我々のフレームワークは、推論速度とデータプライバシ/セキュリティを維持しながら、計算とメモリの要求を低減したオンプレミスのカスタマイズを可能にする。
論文参考訳（メタデータ） (2024-08-24T16:32:58Z)
FedLog: Personalized Federated Classification with Less Communication and More Flexibility [24.030147353437382]
フェデレーション表現学習(FRL)は、ローカルデータから効果的な特徴抽出によるパーソナライズされたフェデレーションモデルを学習することを目的としている。オーバヘッドを低減するため、生モデルパラメータの代わりに十分なデータサマリーを共有することを提案する。
論文参考訳（メタデータ） (2024-07-11T09:40:29Z)
PeFAD: A Parameter-Efficient Federated Framework for Time Series Anomaly Detection [51.20479454379662]
私たちはaを提案します。フェデレートされた異常検出フレームワークであるPeFADは、プライバシーの懸念が高まっている。我々は、4つの実際のデータセットに対して広範な評価を行い、PeFADは既存の最先端ベースラインを最大28.74%上回っている。
論文参考訳（メタデータ） (2024-06-04T13:51:08Z)
Share Your Secrets for Privacy! Confidential Forecasting with Vertical Federated Learning [5.584904689846748]
製造業における主な課題は、データプライバシと、小さくノイズの多いデータセットへの過度な適合である。本稿では、以下の重要な特徴を示す新しいフレームワークである「VFLによる秘かに共有された時系列予測」を提案する。以上の結果から,STVの予測精度は集中型手法に匹敵することがわかった。
論文参考訳（メタデータ） (2024-05-31T12:27:38Z)
Adapting to Length Shift: FlexiLength Network for Trajectory Prediction [53.637837706712794]
軌道予測は、自律運転、ロボット工学、シーン理解など、様々な応用において重要な役割を果たしている。既存のアプローチは主に、一般に標準入力時間を用いて、公開データセットの予測精度を高めるために、コンパクトなニューラルネットワークの開発に重点を置いている。本稿では,様々な観測期間に対する既存の軌道予測の堅牢性を高めるための,汎用的で効果的なフレームワークFlexiLength Network(FLN)を紹介する。
論文参考訳（メタデータ） (2024-03-31T17:18:57Z)
Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文参考訳（メタデータ） (2021-11-28T19:03:39Z)
Privacy-preserving Traffic Flow Prediction: A Federated Learning Approach [61.64006416975458]
本稿では,フェデレート学習に基づくGated Recurrent Unit Neural Network Algorithm (FedGRU) というプライバシ保護機械学習手法を提案する。 FedGRUは、現在の集中学習方法と異なり、安全なパラメータアグリゲーション機構を通じて、普遍的な学習モデルを更新する。 FedGRUの予測精度は、先進的なディープラーニングモデルよりも90.96%高い。
論文参考訳（メタデータ） (2020-03-19T13:07:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。