Fugu-MT 論文翻訳(概要): Federated Foundation Models on Heterogeneous Time Series

論文の概要: Federated Foundation Models on Heterogeneous Time Series

arxiv url: http://arxiv.org/abs/2412.08906v1
Date: Thu, 12 Dec 2024 03:38:01 GMT
ステータス: 翻訳完了
システム内更新日: 2024-12-13 13:31:47.575768
Title: Federated Foundation Models on Heterogeneous Time Series
Title（参考訳）: 不均一時系列に関するフェデレーションモデル
Authors: Shengchao Chen, Guodong Long, Jing Jiang, Chengqi Zhang,
Abstract要約: 主な目的は、Transformerアーキテクチャ上でモデルをトレーニングするためのトークンとして共有サブシーケンスを抽出するために、ドメイン間の時系列データセットを融合することである。本稿では,時系列基礎モデルトレーニング(FFTS)における不均一性に対処する新しいフェデレーション学習手法を提案する。新たに学習された時系列基礎モデルは、予測、計算、異常検出を含むクロスドメイン時系列解析タスクにおいて優れた一般化能力を達成する。
参考スコア（独自算出の注目度）: 36.229082478423585
License:
Abstract: Training a general-purpose time series foundation models with robust generalization capabilities across diverse applications from scratch is still an open challenge. Efforts are primarily focused on fusing cross-domain time series datasets to extract shared subsequences as tokens for training models on Transformer architecture. However, due to significant statistical heterogeneity across domains, this cross-domain fusing approach doesn't work effectively as the same as fusing texts and images. To tackle this challenge, this paper proposes a novel federated learning approach to address the heterogeneity in time series foundation models training, namely FFTS. Specifically, each data-holding organization is treated as an independent client in a collaborative learning framework with federated settings, and then many client-specific local models will be trained to preserve the unique characteristics per dataset. Moreover, a new regularization mechanism will be applied to both client-side and server-side, thus to align the shared knowledge across heterogeneous datasets from different domains. Extensive experiments on benchmark datasets demonstrate the effectiveness of the proposed federated learning approach. The newly learned time series foundation models achieve superior generalization capabilities on cross-domain time series analysis tasks, including forecasting, imputation, and anomaly detection.
Abstract（参考訳）: スクラッチから様々なアプリケーションにまたがる堅牢な一般化機能を備えた汎用時系列基盤モデルのトレーニングは、依然としてオープンな課題である。主な目的は、Transformerアーキテクチャ上でモデルをトレーニングするためのトークンとして共有サブシーケンスを抽出するために、ドメイン間の時系列データセットを融合することである。しかし、ドメイン間の統計的不均一性により、このドメイン間の融合アプローチは、テキストや画像の融合ほど効果的に機能しない。そこで本研究では,時系列基礎モデルトレーニング(FFTS)における不均一性に対処する新しいフェデレーション学習手法を提案する。具体的には、各データ保持組織は、フェデレートされた設定を備えた協調学習フレームワークで独立したクライアントとして扱われ、その後、データセットごとに固有の特性を保持するために、多くのクライアント固有のローカルモデルがトレーニングされる。さらに、クライアント側とサーバ側の両方に新しい正規化メカニズムを適用し、異なるドメインからの異種データセット間で共有された知識を整合させる。ベンチマークデータセットの大規模な実験は、提案したフェデレーション学習手法の有効性を示す。新たに学習された時系列基礎モデルは、予測、計算、異常検出を含むクロスドメイン時系列解析タスクにおいて優れた一般化能力を達成する。

関連論文リスト

Learning Latent Spaces for Domain Generalization in Time Series Forecasting [60.29403194508811]
時系列予測は多くの実世界のアプリケーションにおいて不可欠であるが、見つからない関連ドメインをうまく一般化するモデルの開発はまだ未定である。本稿では,ドメイン間の時間的依存関係を規定する潜在因子をマイニングすることで時系列予測におけるドメイン一般化の枠組みを提案する。提案手法では,新しい条件付き$beta$-Variational Autoencoder (VAE) を用いて,時系列データをトレンド周期および季節成分に分解する。
論文参考訳（メタデータ） (2024-12-15T12:41:53Z)
Federated Learning of Dynamic Bayesian Network via Continuous Optimization from Time Series Data [2.4305626489408465]
現実のシナリオでは、データは複数のエンティティに分散され、動的ベイズネットワークを協調的に学習しようとする。本研究では,同種時系列データから動的ベイズネットワークの構造を推定するフェデレート学習手法を提案する。そして、このアプローチを、パーソナライズされたフェデレーション学習フレームワークにおいて、近似演算子を正規化項として組み込むことにより、異種時系列データに拡張する。
論文参考訳（メタデータ） (2024-12-13T03:09:35Z)
Tackling Data Heterogeneity in Federated Time Series Forecasting [61.021413959988216]
時系列予測は、エネルギー消費予測、病気の伝染モニタリング、天気予報など、様々な実世界の応用において重要な役割を果たす。既存のほとんどのメソッドは、分散デバイスから中央クラウドサーバに大量のデータを収集する、集中的なトレーニングパラダイムに依存しています。本稿では,情報合成データを補助的知識キャリアとして生成することにより,データの均一性に対処する新しいフレームワークであるFed-TRENDを提案する。
論文参考訳（メタデータ） (2024-11-24T04:56:45Z)
Towards Generalisable Time Series Understanding Across Domains [10.350643783811174]
時系列の不均一性を扱うために特別に設計された新しい事前学習パラダイムを導入する。本稿では、学習可能なドメインシグネチャ、二重マスキング戦略、正規化相互相関損失を持つトークンサを提案する。私たちのコードと事前訓練されたウェイトはhttps://www.oetu.com/oetu/otis.comで公開されています。
論文参考訳（メタデータ） (2024-10-09T17:09:30Z)
PeFAD: A Parameter-Efficient Federated Framework for Time Series Anomaly Detection [51.20479454379662]
私たちはaを提案します。フェデレートされた異常検出フレームワークであるPeFADは、プライバシーの懸念が高まっている。我々は、4つの実際のデータセットに対して広範な評価を行い、PeFADは既存の最先端ベースラインを最大28.74%上回っている。
論文参考訳（メタデータ） (2024-06-04T13:51:08Z)
NuwaTS: a Foundation Model Mending Every Incomplete Time Series [24.768755438620666]
textbfNuwaTSは,事前学習型言語モデルを用いて時系列計算を行う新しいフレームワークである。 NuwaTSは、任意のドメインにまたがる欠落したデータをインプットするために適用することができる。我々はNuwaTSが予測などの他の時系列タスクに一般化していることを示す。
論文参考訳（メタデータ） (2024-05-24T07:59:02Z)
UniCL: A Universal Contrastive Learning Framework for Large Time Series Models [18.005358506435847]
時系列分析は、金融から医療まで、さまざまな重要なアプリケーションにおいて重要な役割を果たす。従来の教師付き学習手法は、まず各タスクにおける時系列データの広範なラベルを注釈付けする。本稿では,時系列基礎モデルの事前学習を目的とした,普遍的でスケーラブルなコントラスト学習フレームワークUniCLを紹介する。
論文参考訳（メタデータ） (2024-05-17T07:47:11Z)
Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文参考訳（メタデータ） (2023-12-22T02:12:08Z)
UniTime: A Language-Empowered Unified Model for Cross-Domain Time Series Forecasting [59.11817101030137]
この研究はドメイン境界を超越する統一モデルパラダイムを提唱する。効果的なクロスドメインモデルを学ぶことは、以下の課題を提示します。効果的なドメイン間時系列学習のためのUniTimeを提案する。
論文参考訳（メタデータ） (2023-10-15T06:30:22Z)
Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
論文参考訳（メタデータ） (2023-07-12T16:28:21Z)
Distilling Universal and Joint Knowledge for Cross-Domain Model Compression on Time Series Data [18.41222232863567]
ドメイン間モデル圧縮のためのUniversal and joint knowledge distillation (UNI-KD) と呼ばれる新しいエンドツーエンドフレームワークを提案する。特に、ソースドメインとターゲットドメインにまたがる普遍的特徴レベル知識と、教師から生徒モデルに共通する共同ロジットレベル知識の両方を、逆学習方式で転送することを提案する。
論文参考訳（メタデータ） (2023-07-07T01:48:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。