論文の概要: Transformer Training Strategies for Forecasting Multiple Load Time
Series
- arxiv url: http://arxiv.org/abs/2306.10891v2
- Date: Mon, 24 Jul 2023 15:16:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-25 20:44:49.793251
- Title: Transformer Training Strategies for Forecasting Multiple Load Time
Series
- Title(参考訳): 複数負荷時系列予測のための変圧器訓練戦略
- Authors: Matthias Hertel, Maximilian Beichter, Benedikt Heidrich, Oliver
Neumann, Benjamin Sch\"afer, Ralf Mikut, Veit Hagenmeyer
- Abstract要約: 我々はトランスフォーマー負荷予測モデルが伝達学習戦略の恩恵を受けるかどうかを評価する。
数百のクライアントからの負荷時系列を含む2つのデータセットを用いた実験では,グローバルトレーニング戦略が優れていることがわかった。
線形モデル、多層パーセプトロン、LSTMと比較すると、トランスフォーマーはグローバルトレーニング戦略でトレーニングされた場合の負荷予測に有効である。
- 参考スコア(独自算出の注目度): 0.18472148461613158
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the smart grid of the future, accurate load forecasts on the level of
individual clients can help to balance supply and demand locally and to prevent
grid outages. While the number of monitored clients will increase with the
ongoing smart meter rollout, the amount of data per client will always be
limited. We evaluate whether a Transformer load forecasting model benefits from
a transfer learning strategy, where a global univariate model is trained on the
load time series from multiple clients. In experiments with two datasets
containing load time series from several hundred clients, we find that the
global training strategy is superior to the multivariate and local training
strategies used in related work. On average, the global training strategy
results in 21.8% and 12.8% lower forecasting errors than the two other
strategies, measured across forecasting horizons from one day to one month into
the future. A comparison to linear models, multi-layer perceptrons and LSTMs
shows that Transformers are effective for load forecasting when they are
trained with the global training strategy.
- Abstract(参考訳): 将来のスマートグリッドでは、個々のクライアントレベルでの正確な負荷予測が、供給と需要のバランスをローカルに保ち、グリッドの停止を防ぐのに役立つ。
監視対象のクライアントの数は、現在進行中のsmartmeterロールアウトで増加するが、クライアント毎のデータ量は、常に制限される。
トランスフォーマー負荷予測モデルが、複数のクライアントからの負荷時系列に基づいてグローバル不定値モデルが訓練される転送学習戦略の利点があるかどうかを評価する。
数百のクライアントからの負荷時系列を含む2つのデータセットを用いた実験では、グローバルトレーニング戦略が関連する作業で使用される多変量および局所トレーニング戦略よりも優れていることが判明した。
平均すると、グローバルなトレーニング戦略は、他の2つの戦略よりも21.8%と12.8%の予測誤差を発生させ、1日から1ヶ月の予測地平線をまたいで測定する。
線形モデル、多層パーセプトロン、LSTMと比較すると、トランスフォーマーはグローバルトレーニング戦略でトレーニングされた場合の負荷予測に有効である。
関連論文リスト
- LEFL: Low Entropy Client Sampling in Federated Learning [6.436397118145477]
Federated Learning(FL)は、複数のクライアントが協力して、プライベートデータを使用して単一のグローバルモデルを最適化する、機械学習パラダイムである。
本稿では,モデルが学習した高レベルの特徴に基づいて,クライアントのクラスタリングを1回行うことで,新たなサンプリング手法LEFLを提案する。
提案手法で選択したサンプルクライアントは,グローバルなデータ分布に対して,相対エントロピーが低いことを示す。
論文 参考訳(メタデータ) (2023-12-29T01:44:20Z) - Speed Up Federated Learning in Heterogeneous Environment: A Dynamic
Tiering Approach [5.504000607257414]
フェデレートラーニング(FL)は、トレーニングデータを分散化してプライベートにしながら、モデルを協調的にトレーニングすることを可能にする。
FLを用いたモデルのトレーニングにおける重要な障害の1つは、様々なタスクサイズだけでなく、不均一な計算と通信能力を持つデバイスのリソース制約である。
本稿では、動的タイリングに基づくフェデレート学習(DTFL)システムを提案する。このシステムでは、遅いクライアントがモデルの一部を動的にサーバにオフロードし、リソース制約を緩和し、トレーニングを高速化する。
論文 参考訳(メタデータ) (2023-12-09T19:09:19Z) - Secure short-term load forecasting for smart grids with
transformer-based federated learning [0.0]
電力負荷予測は、需要と供給収支を補助するスマートグリッドの中で不可欠なタスクである。
きめ細かい負荷プロファイルは、ユーザの消費電力の挙動を公開できるため、プライバシやセキュリティ上の懸念が高まる。
本稿では,短期電力負荷予測のためのフェデレーション学習を用いた変圧器を用いた新しい深層学習手法を提案する。
論文 参考訳(メタデータ) (2023-10-26T15:27:55Z) - Client-side Gradient Inversion Against Federated Learning from Poisoning [59.74484221875662]
フェデレートラーニング(FL)により、分散参加者は、データを中央サーバに直接共有することなく、グローバルモデルをトレーニングできる。
近年の研究では、FLは元のトレーニングサンプルの再構築を目的とした勾配反転攻撃(GIA)に弱いことが判明している。
本稿では,クライアント側から起動可能な新たな攻撃手法であるクライアント側中毒性グレーディエント・インバージョン(CGI)を提案する。
論文 参考訳(メタデータ) (2023-09-14T03:48:27Z) - Efficient Semi-Supervised Federated Learning for Heterogeneous
Participants [23.664515443297674]
そこで本研究では,SFLをクラスタリング正規化して,未ラベルおよび非IIDクライアントデータを用いたより実践的なシナリオ下でSFLを実行する,新しいセミSFLシステムを提案する。
我々のシステムは、トレーニングデータセットの3.0倍のスピードアップを提供し、通信コストを目標精度まで約70.3%削減する。
論文 参考訳(メタデータ) (2023-07-29T02:35:37Z) - DynamicFL: Balancing Communication Dynamics and Client Manipulation for
Federated Learning [6.9138560535971605]
Federated Learning(FL)は、数百万のエッジデバイスにわたる分散データを活用することで、グローバルモデルをトレーニングすることを目的としている。
地理的に分散したエッジデバイスと非常にダイナミックなネットワークが混在していることを考えると、参加するデバイスからすべてのモデル更新を集約すると、FLでは必然的な長期遅延が発生する。
本稿では,クライアント操作戦略を特別に設計した大規模エッジデバイスにおける通信力学とデータ品質を考慮した新しいFLフレームワークであるDynamicFLを提案する。
論文 参考訳(メタデータ) (2023-07-16T19:09:31Z) - Emergent Agentic Transformer from Chain of Hindsight Experience [96.56164427726203]
簡単なトランスフォーマーベースモデルが時間差と模倣学習に基づくアプローチの両方と競合することを示す。
単純なトランスフォーマーベースのモデルが時間差と模倣学習ベースのアプローチの両方で競合するのはこれが初めてである。
論文 参考訳(メタデータ) (2023-05-26T00:43:02Z) - Integrating Local Real Data with Global Gradient Prototypes for
Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。
データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。
本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
論文 参考訳(メタデータ) (2023-01-25T03:18:10Z) - Optimizing Server-side Aggregation For Robust Federated Learning via
Subspace Training [80.03567604524268]
クライアント間の非IIDデータ分散と中毒攻撃は、現実世界のフェデレーション学習システムにおける2つの大きな課題である。
サーバ側集約プロセスを最適化する汎用的なアプローチであるSmartFLを提案する。
本稿では,SmartFLの収束と一般化能力に関する理論的解析を行う。
論文 参考訳(メタデータ) (2022-11-10T13:20:56Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳(メタデータ) (2022-03-05T02:31:32Z) - SMART: Simultaneous Multi-Agent Recurrent Trajectory Prediction [72.37440317774556]
本稿では,将来の軌道予測における2つの重要な課題に対処する手法を提案する。
エージェントの数に関係なく、トレーニングデータと予測と一定時間の推測の両方において、マルチモーダリティ。
論文 参考訳(メタデータ) (2020-07-26T08:17:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。