論文の概要: An Efficient and Explainable Transformer-Based Few-Shot Learning for Modeling Electricity Consumption Profiles Across Thousands of Domains
- arxiv url: http://arxiv.org/abs/2408.08399v2
- Date: Thu, 22 Aug 2024 13:29:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-23 18:36:08.902674
- Title: An Efficient and Explainable Transformer-Based Few-Shot Learning for Modeling Electricity Consumption Profiles Across Thousands of Domains
- Title（参考訳）: 何千もの領域にわたる電力消費プロファイルのモデル化のための効率よく説明可能な変圧器ベースFew-Shot学習
- Authors: Weijie Xia, Gao Peng, Chenguang Wang, Peter Palensky, Eric Pauwels, Pedro P. Vergara,
- Abstract要約: 電力流通システムの運用・計画には電力消費プロファイル(ECP)が不可欠である。
従来のECPモデリング手法は、十分なECPデータの可用性を前提としている。
データスカースシナリオにおけるECPモデリングのための有望なソリューションとして、いくつかのショットラーニングが登場した。
- 参考スコア（独自算出の注目度）: 3.7766655715106174
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Electricity Consumption Profiles (ECPs) are crucial for operating and planning power distribution systems, especially with the increasing numbers of various low-carbon technologies such as solar panels and electric vehicles. Traditional ECP modeling methods typically assume the availability of sufficient ECP data. However, in practice, the accessibility of ECP data is limited due to privacy issues or the absence of metering devices. Few-shot learning (FSL) has emerged as a promising solution for ECP modeling in data-scarce scenarios. Nevertheless, standard FSL methods, such as those used for images, are unsuitable for ECP modeling because (1) these methods usually assume several source domains with sufficient data and several target domains. However, in the context of ECP modeling, there may be thousands of source domains with a moderate amount of data and thousands of target domains. (2) Standard FSL methods usually involve cumbersome knowledge transfer mechanisms, such as pre-training and fine-tuning, whereas ECP modeling requires more lightweight methods. (3) Deep learning models often lack explainability, hindering their application in industry. This paper proposes a novel FSL method that exploits Transformers and Gaussian Mixture Models (GMMs) for ECP modeling to address the above-described issues. Results show that our method can accurately restore the complex ECP distribution with a minimal amount of ECP data (e.g., only 1.6\% of the complete domain dataset) while it outperforms state-of-the-art time series modeling methods, maintaining the advantages of being both lightweight and interpretable. The project is open-sourced at https://github.com/xiaweijie1996/TransformerEM-GMM.git.
- Abstract（参考訳）: 電力消費プロファイル(ECP)は、特にソーラーパネルや電気自動車などの様々な低炭素技術の増加に伴い、電力流通システムの運用と計画に不可欠である。
従来のECPモデリング手法は、一般的に十分なECPデータの可用性を前提としている。
しかし、実際には、プライバシー上の問題や計測装置がないため、ECPデータのアクセシビリティは制限されている。
FSL(Few-shot Learning)は、データスカースシナリオにおけるECPモデリングのための有望なソリューションとして登場した。
しかしながら、画像に使用されるような標準のFSL法は、1) 十分なデータを持つ複数のソースドメインと複数のターゲットドメインを仮定するので、ECPモデリングには適さない。
しかし、ECPモデリングの文脈では、適度な量のデータと数千のターゲットドメインを持つ何千ものソースドメインが存在するかもしれません。
2)標準FSL法は通常,事前学習や微調整などの煩雑な知識伝達機構を含むが,ECPモデリングではより軽量な手法が必要である。
(3) 深層学習モデルは、しばしば説明責任を欠き、産業における応用を妨げる。
本稿では,トランスフォーマーとガウス混合モデル(GMM)を利用した新しいFSL手法を提案する。
以上の結果から,提案手法はECPデータを最小限(例:完全ドメインデータセットの1.6.%)で精度良く復元できる一方で,最新時系列モデリング手法よりも優れており,軽量かつ解釈可能な長所を保っていることがわかった。
プロジェクトはhttps://github.com/xiaweijie 1996/TransformerEM-GMM.gitでオープンソース化されている。
関連論文リスト
- Dynamic Self-Distillation via Previous Mini-batches for Fine-tuning Small Language Models [26.52225051132963]
自己蒸留(SelfD)は、教師の指導なしに生徒モデルが学習できるように、推奨可能な代替手段として現れる。
我々は、前回のミニバッチ(DynSDPB)からDynamic SelfDというモデル非依存およびタスク非依存の手法を導入する。
エンコーダのみのLMとデコーダのみのLMにおいてDynSDPBの優れた性能を示す。
論文 参考訳（メタデータ） (2024-11-25T23:37:48Z) - Step-wise Distribution Alignment Guided Style Prompt Tuning for Source-free Cross-domain Few-shot Learning [53.60934432718044]
クロスドメインの少数ショット学習手法は、アクセス不能なソースデータとトレーニング戦略により、大規模事前学習モデルの課題に直面している。
本稿では,ステップワイド配向ガイド型プロンプトチューニング(StepSPT)を紹介する。
StepSPTは予測分布最適化を通じて暗黙的にドメインギャップを狭める。
論文 参考訳（メタデータ） (2024-11-15T09:34:07Z) - Language Models as Zero-shot Lossless Gradient Compressors: Towards
General Neural Parameter Prior Models [66.1595537904019]
大型言語モデル(LLM)はゼロショット設定でグラデーション先行として振る舞うことができる。
本稿では,LSMと算術符号を統合する新しい手法であるLM-GCを紹介する。
論文 参考訳（メタデータ） (2024-09-26T13:38:33Z) - Federated Transfer Learning with Task Personalization for Condition Monitoring in Ultrasonic Metal Welding [3.079885946230076]
本稿ではトランスファーラーニングについて述べる。
分散分散学習フレームワークでデータ機能を提供するFTLTP(Federated Task Task Architecture)。
FTL-TPフレームワークは、様々な製造アプリケーションに容易に適用できる。
論文 参考訳（メタデータ） (2024-04-20T05:31:59Z) - Heterogeneous Federated Learning with Splited Language Model [22.65325348176366]
フェデレート・スプリット・ラーニング(FSL)は、実際には有望な分散学習パラダイムである。
本稿では,前訓練画像変換器(PIT)をFedVと呼ばれる初期モデルとして利用し,トレーニングプロセスの高速化とモデルロバスト性の向上を図る。
我々は、実世界のデータセット、異なる部分的デバイス参加、異種データ分割におけるPITを用いたFSL手法の体系的評価を初めて行った。
論文 参考訳（メタデータ） (2024-03-24T07:33:08Z) - Federated Bayesian Deep Learning: The Application of Statistical Aggregation Methods to Bayesian Models [0.9940108090221528]
集約戦略は、分散決定論的モデルの重みとバイアスをプールまたはフューズするために開発されている。
決定論的モデルに対するFLスキームに付随するアグリゲーション手法の簡単な適用は不可能か、あるいは準最適性能をもたらすかを示す。
論文 参考訳（メタデータ） (2024-03-22T15:02:24Z) - Adapting Large Language Models for Content Moderation: Pitfalls in Data
Engineering and Supervised Fine-tuning [79.53130089003986]
大規模言語モデル(LLM)は、様々なドメインでタスクを処理するための実現可能なソリューションとなっている。
本稿では、コンテンツモデレーションのためにプライベートにデプロイ可能なLLMモデルを微調整する方法を紹介する。
論文 参考訳（メタデータ） (2023-10-05T09:09:44Z) - Towards Efficient Task-Driven Model Reprogramming with Foundation Models [52.411508216448716]
ビジョンファウンデーションモデルは、非常に大きなモデルキャパシティと幅広いトレーニングデータから恩恵を受け、印象的なパワーを示す。
しかし、実際には、下流のシナリオは限られた計算資源や効率上の考慮のため、小さなモデルしかサポートできない。
これは、ファンデーションモデルの現実的な応用に重要な課題をもたらします。
論文 参考訳（メタデータ） (2023-04-05T07:28:33Z) - Unifying Synergies between Self-supervised Learning and Dynamic
Computation [53.66628188936682]
SSLとDCのパラダイム間の相互作用に関する新しい視点を提示する。
SSL設定において、スクラッチから高密度かつゲートされたサブネットワークを同時に学習することは可能であることを示す。
密集エンコーダとゲートエンコーダの事前学習における共進化は、良好な精度と効率のトレードオフをもたらす。
論文 参考訳（メタデータ） (2023-01-22T17:12:58Z) - Ensemble Distillation for Robust Model Fusion in Federated Learning [72.61259487233214]
Federated Learning(FL)は、多くのデバイスが機械学習モデルを協調的にトレーニングする機械学習環境である。
現在のトレーニングスキームのほとんどでは、サーバモデルのパラメータと更新されたパラメータをクライアント側から平均化することで、中央モデルを洗練します。
本研究では,モデル融合のためのアンサンブル蒸留法を提案する。
論文 参考訳（メタデータ） (2020-06-12T14:49:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。