論文の概要: Transformer Training Strategies for Forecasting Multiple Load Time
Series
- arxiv url: http://arxiv.org/abs/2306.10891v1
- Date: Mon, 19 Jun 2023 12:36:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-21 17:59:00.101667
- Title: Transformer Training Strategies for Forecasting Multiple Load Time
Series
- Title(参考訳): 複数負荷時系列予測のための変圧器訓練戦略
- Authors: Matthias Hertel, Maximilian Beichter, Benedikt Heidrich, Oliver
Neumann, Benjamin Sch\"afer, Ralf Mikut, Veit Hagenmeyer
- Abstract要約: 将来のスマートグリッドでは、エネルギー供給者の個々のクライアントのレベルで正確な負荷予測が提供されなければならない。
複数のクライアントからの負荷時系列データに基づいてグローバルモデルをトレーニングするトランスフォーマーのメリットを検証した。
線形モデルと多層パーセプトロンとの比較により、トランスフォーマーは正しい戦略で訓練されたときに電気的負荷予測に有効であることが示された。
- 参考スコア(独自算出の注目度): 0.18472148461613158
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent work uses Transformers for load forecasting, which are the state of
the art for sequence modeling tasks in data-rich domains. In the smart grid of
the future, accurate load forecasts must be provided on the level of individual
clients of an energy supplier. While the total amount of electrical load data
available to an energy supplier will increase with the ongoing smart meter
rollout, the amount of data per client will always be limited. We test whether
the Transformer benefits from a transfer learning strategy, where a global
model is trained on the load time series data from multiple clients. We find
that the global model is superior to two other training strategies commonly
used in related work: multivariate models and local models. A comparison to
linear models and multi-layer perceptrons shows that Transformers are effective
for electrical load forecasting when they are trained with the right strategy.
- Abstract(参考訳): 最近の研究では、データリッチドメインにおけるシーケンスモデリングタスクの最先端であるロード予測にTransformerを使用している。
将来のスマートグリッドでは、エネルギー供給者の個々のクライアントのレベルで正確な負荷予測が提供されなければならない。
エネルギー供給者の利用可能な電力負荷データの総量は、現在進行中のスマートメーターのロールアウトによって増加するが、クライアント毎のデータ量は、常に制限される。
我々は、グローバルモデルが複数のクライアントからの負荷時系列データに基づいてトレーニングされる、トランスフォーマーが転送学習戦略の恩恵を受けるかどうかをテストする。
グローバルモデルは,多変量モデルと局所モデルという,関連する作業で一般的に使用される2つのトレーニング戦略よりも優れていることがわかった。
線形モデルと多層パーセプトロンとの比較により、トランスフォーマーは正しい戦略で訓練されたときに電気的負荷予測に有効であることが示された。
関連論文リスト
- LEFL: Low Entropy Client Sampling in Federated Learning [6.436397118145477]
Federated Learning(FL)は、複数のクライアントが協力して、プライベートデータを使用して単一のグローバルモデルを最適化する、機械学習パラダイムである。
本稿では,モデルが学習した高レベルの特徴に基づいて,クライアントのクラスタリングを1回行うことで,新たなサンプリング手法LEFLを提案する。
提案手法で選択したサンプルクライアントは,グローバルなデータ分布に対して,相対エントロピーが低いことを示す。
論文 参考訳(メタデータ) (2023-12-29T01:44:20Z) - Speed Up Federated Learning in Heterogeneous Environment: A Dynamic
Tiering Approach [5.504000607257414]
フェデレートラーニング(FL)は、トレーニングデータを分散化してプライベートにしながら、モデルを協調的にトレーニングすることを可能にする。
FLを用いたモデルのトレーニングにおける重要な障害の1つは、様々なタスクサイズだけでなく、不均一な計算と通信能力を持つデバイスのリソース制約である。
本稿では、動的タイリングに基づくフェデレート学習(DTFL)システムを提案する。このシステムでは、遅いクライアントがモデルの一部を動的にサーバにオフロードし、リソース制約を緩和し、トレーニングを高速化する。
論文 参考訳(メタデータ) (2023-12-09T19:09:19Z) - Secure short-term load forecasting for smart grids with
transformer-based federated learning [0.0]
電力負荷予測は、需要と供給収支を補助するスマートグリッドの中で不可欠なタスクである。
きめ細かい負荷プロファイルは、ユーザの消費電力の挙動を公開できるため、プライバシやセキュリティ上の懸念が高まる。
本稿では,短期電力負荷予測のためのフェデレーション学習を用いた変圧器を用いた新しい深層学習手法を提案する。
論文 参考訳(メタデータ) (2023-10-26T15:27:55Z) - Client-side Gradient Inversion Against Federated Learning from Poisoning [59.74484221875662]
フェデレートラーニング(FL)により、分散参加者は、データを中央サーバに直接共有することなく、グローバルモデルをトレーニングできる。
近年の研究では、FLは元のトレーニングサンプルの再構築を目的とした勾配反転攻撃(GIA)に弱いことが判明している。
本稿では,クライアント側から起動可能な新たな攻撃手法であるクライアント側中毒性グレーディエント・インバージョン(CGI)を提案する。
論文 参考訳(メタデータ) (2023-09-14T03:48:27Z) - Efficient Semi-Supervised Federated Learning for Heterogeneous
Participants [23.664515443297674]
そこで本研究では,SFLをクラスタリング正規化して,未ラベルおよび非IIDクライアントデータを用いたより実践的なシナリオ下でSFLを実行する,新しいセミSFLシステムを提案する。
我々のシステムは、トレーニングデータセットの3.0倍のスピードアップを提供し、通信コストを目標精度まで約70.3%削減する。
論文 参考訳(メタデータ) (2023-07-29T02:35:37Z) - DynamicFL: Balancing Communication Dynamics and Client Manipulation for
Federated Learning [6.9138560535971605]
Federated Learning(FL)は、数百万のエッジデバイスにわたる分散データを活用することで、グローバルモデルをトレーニングすることを目的としている。
地理的に分散したエッジデバイスと非常にダイナミックなネットワークが混在していることを考えると、参加するデバイスからすべてのモデル更新を集約すると、FLでは必然的な長期遅延が発生する。
本稿では,クライアント操作戦略を特別に設計した大規模エッジデバイスにおける通信力学とデータ品質を考慮した新しいFLフレームワークであるDynamicFLを提案する。
論文 参考訳(メタデータ) (2023-07-16T19:09:31Z) - Emergent Agentic Transformer from Chain of Hindsight Experience [96.56164427726203]
簡単なトランスフォーマーベースモデルが時間差と模倣学習に基づくアプローチの両方と競合することを示す。
単純なトランスフォーマーベースのモデルが時間差と模倣学習ベースのアプローチの両方で競合するのはこれが初めてである。
論文 参考訳(メタデータ) (2023-05-26T00:43:02Z) - Integrating Local Real Data with Global Gradient Prototypes for
Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。
データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。
本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
論文 参考訳(メタデータ) (2023-01-25T03:18:10Z) - Optimizing Server-side Aggregation For Robust Federated Learning via
Subspace Training [80.03567604524268]
クライアント間の非IIDデータ分散と中毒攻撃は、現実世界のフェデレーション学習システムにおける2つの大きな課題である。
サーバ側集約プロセスを最適化する汎用的なアプローチであるSmartFLを提案する。
本稿では,SmartFLの収束と一般化能力に関する理論的解析を行う。
論文 参考訳(メタデータ) (2022-11-10T13:20:56Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳(メタデータ) (2022-03-05T02:31:32Z) - SMART: Simultaneous Multi-Agent Recurrent Trajectory Prediction [72.37440317774556]
本稿では,将来の軌道予測における2つの重要な課題に対処する手法を提案する。
エージェントの数に関係なく、トレーニングデータと予測と一定時間の推測の両方において、マルチモーダリティ。
論文 参考訳(メタデータ) (2020-07-26T08:17:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。