論文の概要: Transformer Training Strategies for Forecasting Multiple Load Time Series

• arxiv url: http://arxiv.org/abs/2306.10891v1
• Date: Mon, 19 Jun 2023 12:36:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-21 17:59:00.101667
• Title: Transformer Training Strategies for Forecasting Multiple Load Time Series
• Title（参考訳）: 複数負荷時系列予測のための変圧器訓練戦略
• Authors: Matthias Hertel, Maximilian Beichter, Benedikt Heidrich, Oliver Neumann, Benjamin Sch\"afer, Ralf Mikut, Veit Hagenmeyer
• Abstract要約: 将来のスマートグリッドでは、エネルギー供給者の個々のクライアントのレベルで正確な負荷予測が提供されなければならない。 複数のクライアントからの負荷時系列データに基づいてグローバルモデルをトレーニングするトランスフォーマーのメリットを検証した。 線形モデルと多層パーセプトロンとの比較により、トランスフォーマーは正しい戦略で訓練されたときに電気的負荷予測に有効であることが示された。
• 参考スコア（独自算出の注目度）: 0.18472148461613158
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work uses Transformers for load forecasting, which are the state of the art for sequence modeling tasks in data-rich domains. In the smart grid of the future, accurate load forecasts must be provided on the level of individual clients of an energy supplier. While the total amount of electrical load data available to an energy supplier will increase with the ongoing smart meter rollout, the amount of data per client will always be limited. We test whether the Transformer benefits from a transfer learning strategy, where a global model is trained on the load time series data from multiple clients. We find that the global model is superior to two other training strategies commonly used in related work: multivariate models and local models. A comparison to linear models and multi-layer perceptrons shows that Transformers are effective for electrical load forecasting when they are trained with the right strategy.
• Abstract（参考訳）: 最近の研究では、データリッチドメインにおけるシーケンスモデリングタスクの最先端であるロード予測にTransformerを使用している。 将来のスマートグリッドでは、エネルギー供給者の個々のクライアントのレベルで正確な負荷予測が提供されなければならない。 エネルギー供給者の利用可能な電力負荷データの総量は、現在進行中のスマートメーターのロールアウトによって増加するが、クライアント毎のデータ量は、常に制限される。 我々は、グローバルモデルが複数のクライアントからの負荷時系列データに基づいてトレーニングされる、トランスフォーマーが転送学習戦略の恩恵を受けるかどうかをテストする。 グローバルモデルは,多変量モデルと局所モデルという,関連する作業で一般的に使用される2つのトレーニング戦略よりも優れていることがわかった。 線形モデルと多層パーセプトロンとの比較により、トランスフォーマーは正しい戦略で訓練されたときに電気的負荷予測に有効であることが示された。

関連論文リスト

• Tackling Data Heterogeneity in Federated Time Series Forecasting [61.021413959988216]
  時系列予測は、エネルギー消費予測、病気の伝染モニタリング、天気予報など、様々な実世界の応用において重要な役割を果たす。 既存のほとんどのメソッドは、分散デバイスから中央クラウドサーバに大量のデータを収集する、集中的なトレーニングパラダイムに依存しています。 本稿では,情報合成データを補助的知識キャリアとして生成することにより,データの均一性に対処する新しいフレームワークであるFed-TRENDを提案する。
  論文  参考訳（メタデータ） (2024-11-24T04:56:45Z)
• Electrical Load Forecasting in Smart Grid: A Personalized Federated Learning Approach [9.687203504689563]
  スマートグリッドの電力管理と安定性には電力負荷予測が不可欠である。 従来の機械学習(ML)手法は負荷予測によく使用されるが、データ共有は必要である。 フェデレートラーニング(FL)は、データ交換なしでローカルSMで分散MLモデルを実行することでこの問題に対処できる。
  論文  参考訳（メタデータ） (2024-11-15T22:44:50Z)
• F-FOMAML: GNN-Enhanced Meta-Learning for Peak Period Demand Forecasting with Proxy Data [65.6499834212641]
  本稿では,需要予測をメタラーニング問題として定式化し,F-FOMAMLアルゴリズムを開発した。 タスク固有のメタデータを通してドメインの類似性を考慮することにより、トレーニングタスクの数が増加するにつれて過剰なリスクが減少する一般化を改善した。 従来の最先端モデルと比較して,本手法では需要予測精度が著しく向上し,内部自動販売機データセットでは平均絶対誤差が26.24%,JD.comデータセットでは1.04%削減された。
  論文  参考訳（メタデータ） (2024-06-23T21:28:50Z)
• LEFL: Low Entropy Client Sampling in Federated Learning [6.436397118145477]
  Federated Learning(FL)は、複数のクライアントが協力して、プライベートデータを使用して単一のグローバルモデルを最適化する、機械学習パラダイムである。 本稿では,モデルが学習した高レベルの特徴に基づいて,クライアントのクラスタリングを1回行うことで,新たなサンプリング手法LEFLを提案する。 提案手法で選択したサンプルクライアントは,グローバルなデータ分布に対して,相対エントロピーが低いことを示す。
  論文  参考訳（メタデータ） (2023-12-29T01:44:20Z)
• Speed Up Federated Learning in Heterogeneous Environment: A Dynamic Tiering Approach [5.504000607257414]
  フェデレートラーニング(FL)は、トレーニングデータを分散化してプライベートにしながら、モデルを協調的にトレーニングすることを可能にする。 FLを用いたモデルのトレーニングにおける重要な障害の1つは、様々なタスクサイズだけでなく、不均一な計算と通信能力を持つデバイスのリソース制約である。 本稿では、動的タイリングに基づくフェデレート学習(DTFL)システムを提案する。このシステムでは、遅いクライアントがモデルの一部を動的にサーバにオフロードし、リソース制約を緩和し、トレーニングを高速化する。
  論文  参考訳（メタデータ） (2023-12-09T19:09:19Z)
• Secure short-term load forecasting for smart grids with transformer-based federated learning [0.0]
  電力負荷予測は、需要と供給収支を補助するスマートグリッドの中で不可欠なタスクである。 きめ細かい負荷プロファイルは、ユーザの消費電力の挙動を公開できるため、プライバシやセキュリティ上の懸念が高まる。 本稿では,短期電力負荷予測のためのフェデレーション学習を用いた変圧器を用いた新しい深層学習手法を提案する。
  論文  参考訳（メタデータ） (2023-10-26T15:27:55Z)
• DynamicFL: Balancing Communication Dynamics and Client Manipulation for Federated Learning [6.9138560535971605]
  Federated Learning(FL)は、数百万のエッジデバイスにわたる分散データを活用することで、グローバルモデルをトレーニングすることを目的としている。 地理的に分散したエッジデバイスと非常にダイナミックなネットワークが混在していることを考えると、参加するデバイスからすべてのモデル更新を集約すると、FLでは必然的な長期遅延が発生する。 本稿では,クライアント操作戦略を特別に設計した大規模エッジデバイスにおける通信力学とデータ品質を考慮した新しいFLフレームワークであるDynamicFLを提案する。
  論文  参考訳（メタデータ） (2023-07-16T19:09:31Z)
• Integrating Local Real Data with Global Gradient Prototypes for Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
  フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。 データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。 本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
  論文  参考訳（メタデータ） (2023-01-25T03:18:10Z)
• Optimizing Server-side Aggregation For Robust Federated Learning via Subspace Training [80.03567604524268]
  クライアント間の非IIDデータ分散と中毒攻撃は、現実世界のフェデレーション学習システムにおける2つの大きな課題である。 サーバ側集約プロセスを最適化する汎用的なアプローチであるSmartFLを提案する。 本稿では,SmartFLの収束と一般化能力に関する理論的解析を行う。
  論文  参考訳（メタデータ） (2022-11-10T13:20:56Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• SMART: Simultaneous Multi-Agent Recurrent Trajectory Prediction [72.37440317774556]
  本稿では,将来の軌道予測における2つの重要な課題に対処する手法を提案する。 エージェントの数に関係なく、トレーニングデータと予測と一定時間の推測の両方において、マルチモーダリティ。
  論文  参考訳（メタデータ） (2020-07-26T08:17:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。