論文の概要: PowerPM: Foundation Model for Power Systems
- arxiv url: http://arxiv.org/abs/2408.04057v3
- Date: Thu, 3 Oct 2024 14:40:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-08 12:22:45.592777
- Title: PowerPM: Foundation Model for Power Systems
- Title（参考訳）: PowerPM:パワーシステムの基礎モデル
- Authors: Shihao Tu, Yupeng Zhang, Jing Zhang, Zhendong Fu, Yin Zhang, Yang Yang,
- Abstract要約: 本稿では,ETSデータをモデル化するための基盤モデルPowerPMを提案し,電力系統の大規模オフザシェルフモデルを提供する。
実験では、プライベートデータとパブリックデータからなる5つの実世界のシナリオデータセットについて検討した。
- 参考スコア（独自算出の注目度）: 14.23719033102609
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The emergence of abundant electricity time series (ETS) data provides ample opportunities for various applications in the power systems, including demand-side management, grid stability, and consumer behavior analysis. Deep learning models have advanced ETS modeling by effectively capturing sequence dependence. Nevertheless, learning a generic representation of ETS data for various applications remains challenging due to the inherently complex hierarchical structure of ETS data. Moreover, ETS data exhibits intricate temporal dependencies and is suscepti ble to the influence of exogenous variables. Furthermore, different instances exhibit diverse electricity consumption behavior. In this paper, we propose a foundation model PowerPM to model ETS data, providing a large-scale, off-the-shelf model for power systems. PowerPM consists of a temporal encoder and a hierarchical encoder. The temporal encoder captures both temporal dependencies in ETS data, considering exogenous variables. The hierarchical encoder models the correlation between hierarchy. Furthermore, PowerPM leverages a novel self-supervised pretraining framework consisting of masked ETS modeling and dual-view contrastive learning, which enable PowerPM to capture temporal dependency within ETS windows and aware the discrepancy across ETS windows, providing two different perspectives to learn generic representation. Our experiments involve five real world scenario datasets, comprising private and public data. Through pre-training on massive ETS data, PowerPM achieves SOTA performance on diverse downstream tasks within the private dataset. Impressively, when transferred to the public datasets, PowerPM maintains its superiority, showcasing its remarkable generalization ability across various tasks and domains. Moreover, ablation studies, few-shot experiments provide additional evidence of the effectiveness of our model.
- Abstract（参考訳）: 豊富な電気時系列データ(ETS)の出現は、需要側管理、グリッド安定性、消費者行動分析など、電力システムにおける様々な応用に十分な機会を提供する。
深層学習モデルは、シーケンス依存を効果的に捉えて高度なETSモデリングを行う。
しかし、ETSデータの本質的に複雑な階層構造のため、様々なアプリケーションに対するETSデータの一般的な表現を学習することは依然として困難である。
さらに、ETSデータは複雑な時間的依存関係を示し、外因性変数の影響を受けやすい。
さらに、異なるインスタンスは多様な電力消費挙動を示す。
本稿では,ETSデータをモデル化する基盤モデルPowerPMを提案し,電力系統の大規模オフザシェルフモデルを提供する。
PowerPMは時間エンコーダと階層エンコーダで構成される。
時間エンコーダは、外因性変数を考慮して、ETSデータ内の両方の時間的依存関係をキャプチャする。
階層エンコーダは階層間の相関をモデル化する。
さらに、PowerPMは、マスク付きETSモデリングとデュアルビューコントラスト学習を組み合わせた、新しい自己教師型事前学習フレームワークを活用して、ETSウィンドウ内の時間依存性を捕捉し、ETSウィンドウ間の不一致を認識し、汎用表現を学ぶための2つの異なる視点を提供する。
実験では、プライベートデータとパブリックデータからなる5つの実世界のシナリオデータセットについて検討した。
大規模なETSデータの事前トレーニングを通じて、PowerPMはプライベートデータセット内のさまざまな下流タスクでSOTAパフォーマンスを達成する。
印象的なことに、パブリックデータセットに転送されると、PowerPMはその優位性を維持し、さまざまなタスクやドメインにわたる顕著な一般化能力を示している。
さらに, アブレーション実験, 少数ショット実験により, モデルの有効性が示唆された。
関連論文リスト
- Tackling Data Heterogeneity in Federated Time Series Forecasting [61.021413959988216]
時系列予測は、エネルギー消費予測、病気の伝染モニタリング、天気予報など、様々な実世界の応用において重要な役割を果たす。
既存のほとんどのメソッドは、分散デバイスから中央クラウドサーバに大量のデータを収集する、集中的なトレーニングパラダイムに依存しています。
本稿では,情報合成データを補助的知識キャリアとして生成することにより,データの均一性に対処する新しいフレームワークであるFed-TRENDを提案する。
論文 参考訳（メタデータ） (2024-11-24T04:56:45Z) - Synthesizing Multimodal Electronic Health Records via Predictive Diffusion Models [69.06149482021071]
EHRPDと呼ばれる新しいEHRデータ生成モデルを提案する。
時間間隔推定を組み込んだ拡散モデルである。
我々は2つの公開データセットで実験を行い、忠実さ、プライバシー、実用性の観点からEPHPDを評価する。
論文 参考訳（メタデータ） (2024-06-20T02:20:23Z) - Synthetic location trajectory generation using categorical diffusion
models [50.809683239937584]
拡散モデル(DPM)は急速に進化し、合成データのシミュレーションにおける主要な生成モデルの一つとなっている。
本稿では,個人が訪れた物理的位置を表す変数列である合成個別位置軌跡(ILT)の生成にDPMを用いることを提案する。
論文 参考訳（メタデータ） (2024-02-19T15:57:39Z) - TEMPO: Prompt-based Generative Pre-trained Transformer for Time Series Forecasting [24.834846119163885]
本稿では,時系列表現を効果的に学習できる新しいフレームワークTEMPOを提案する。
TEMPOは、様々な領域のデータから現実世界の時間現象を動的にモデル化する機能を拡張する。
論文 参考訳（メタデータ） (2023-10-08T00:02:25Z) - Communication-Efficient Design of Learning System for Energy Demand
Forecasting of Electrical Vehicles [5.704507128756151]
時系列エネルギー利用予測問題に対する機械学習の応用は、様々な要因により難しい課題である。
本稿では,トランスアーキテクチャの最近の進歩を組み合わせた通信効率のよい時系列予測モデルを提案する。
提案モデルでは,トレーニング中のデータレートを著しく低減しつつ,性能が同等であることが示されている。
論文 参考訳（メタデータ） (2023-09-04T00:30:25Z) - iPDP: On Partial Dependence Plots in Dynamic Modeling Scenarios [7.772337176239137]
説明可能な人工知能(XAI)では、よく確立された部分依存プロット(PDP)のようなポストホックな説明技法が使用される。
非定常学習環境における時間依存的特徴効果を抽出するために,PDP上に拡張された新しいモデルに依存しないXAIフレームワークを提案する。
論文 参考訳（メタデータ） (2023-06-13T13:56:56Z) - Robustness and Generalization Performance of Deep Learning Models on
Cyber-Physical Systems: A Comparative Study [71.84852429039881]
調査は、センサーの故障やノイズなど、様々な摂動を扱うモデルの能力に焦点を当てている。
我々は,これらのモデルの一般化と伝達学習能力を,アウト・オブ・ディストリビューション(OOD)サンプルに公開することによって検証する。
論文 参考訳（メタデータ） (2023-06-13T12:43:59Z) - SERT: A Transfomer Based Model for Spatio-Temporal Sensor Data with
Missing Values for Environmental Monitoring [0.0]
センサーから収集されたデータは、故障した機器やメンテナンス上の問題によって、しばしば値が失われる。
計算を必要とせず、欠落したデータを処理しながら、多変量時間予測を行うことのできる2つのモデルを提案する。
論文 参考訳（メタデータ） (2023-06-05T17:06:23Z) - Towards Long-Term Time-Series Forecasting: Feature, Pattern, and
Distribution [57.71199089609161]
長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。
トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。
LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
論文 参考訳（メタデータ） (2023-01-05T13:59:29Z) - On Disentanglement in Gaussian Process Variational Autoencoders [3.403279506246879]
時系列データ上で異なるタスクに成功しているモデルを最近導入した。
本モデルでは,各潜伏チャネルをGP前にモデル化し,構造的変動分布を用いることで,データの時間的構造を利用する。
実世界の医療時系列データから有意義な不整合表現を学習できる証拠を提供する。
論文 参考訳（メタデータ） (2021-02-10T15:49:27Z) - Transformer Hawkes Process [79.16290557505211]
本稿では,長期的依存関係を捕捉する自己認識機構を利用したTransformer Hawkes Process (THP) モデルを提案する。
THPは、有意なマージンによる可能性と事象予測の精度の両方の観点から、既存のモデルより優れている。
本稿では、THPが関係情報を組み込む際に、複数の点過程を学習する際の予測性能の改善を実現する具体例を示す。
論文 参考訳（メタデータ） (2020-02-21T13:48:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。